Plongée au coeur des LLM à long contexte

Les grands modèles de langage (LLM) ont révolutionné la résolution de problèmes en langue naturelle, mais connaissez-vous leurs limites ? Les LLM ont des tailles de fenêtre de contexte variant considérablement, allant de 4k à 2M de tokens, mais que cela implique-t-il concrètement ?

Dans cette session, nous aborderons les points suivants via exemples illustrés et démos :

• Qu’est-ce que la fenêtre de contexte d’un LLM ?
• Quelle est la relation entre données, tokens, performances et coûts ?
• En pratique, comment peut-on pousser les LLM dans leurs limites ?
• Quels sont les cas d’usage uniquement résolus grâce à un long contexte ?
• Quelles sont les différences avec une approche RAG (Retrieval Augmented Generation) ?