Un token est l'unité de base que les modèles de langage (LLM) utilisent pour traiter le texte. Contrairement à ce qu'on pourrait penser, un token n'est pas un mot complet. C'est un fragment de texte — parfois un mot entier, parfois une partie de mot, parfois un caractère seul.
Par exemple, la phrase « L'intelligence artificielle » peut être découpée en tokens comme « L' », « intelligence », « art », « ifici », « elle ». En moyenne, un token correspond environ à 0,75 mot en anglais et à 0,5 mot en français (car le français utilise plus de caractères par mot).
Les tokens sont importants pour trois raisons :
- Limitation de contexte : chaque modèle a une fenêtre de contexte maximale (nombre de tokens qu'il peut traiter en une fois). GPT-4 peut gérer jusqu'à 128 000 tokens.
- Coût : les API d'IA facturent à la fois les tokens d'entrée (votre prompt) et de sortie (la réponse). Maîtriser son nombre de tokens permet de contrôler ses coûts.
- Performance : un texte plus long (plus de tokens) prend plus de temps et de ressources à traiter.
Optimiser vos prompts pour réduire le nombre de tokens tout en conservant la qualité est une compétence clé pour utiliser l'IA de manière économique.
Vous voulez optimiser vos coûts d'API IA ? Demandez un conseil personnalisé.