Serveur d'inférence vLLM
Serveur d'inférence open source à fort débit (batching continu, cache de clés-valeurs paginé, API compatible OpenAI). Réglages clés : mémoire GPU, longueur de contexte, parallélisme.
Dans la roadmap
Ressources
- Documentation vLLM
Référence open source