Inférence distribuée et routage intelligent (llm-d)
Séparer le traitement du prompt et la génération, router selon le cache et la charge. Approche récente : suivre l'état du projet avant de l'adopter en production.
Dans la roadmap
Prérequis
Ressources
- llm-d
Référence open source
- Gateway API Inference Extension
Référence open source