Jeton

Votre mouvement d’apprentissage

S’orienterClarifier un terme, une source, une personne ou un événement.

Pourquoi cette page existe

Les pages de référence soutiennent l’apprentissage sans vous obliger à abandonner votre question ou parcours.

Ce que vous en retirerez

Un jeton est une unité dans laquelle l’entrée ou le résultat d’un modèle est découpé pour être traité.

Avant de commencer

Utilisez ces pages seules ou revenez à l’objet qui vous y a conduit.

Faites ceci maintenant

Trouvez le fait ou la relation nécessaire, puis revenez à votre objectif.

À faire maintenantClarifier ce conceptLe plan indique le résultat, le temps, les prérequis, l’action immédiate et la suite préparée.Autre parcours valableExaminer les SourcesVoir la provenance, la revue et les limites des preuves.

Compte

Glossaire connecté

Jeton

Un jeton est une unité dans laquelle l’entrée ou le résultat d’un modèle est découpé pour être traité.

Plan pour cette page

Comprendre un concept dans un langage simple et le relier à des idées voisines.

Vous repartirez avec: Il peut s’agir d’un mot, morceau de mot, signe, octet ou autre unité apprise. Le tokenizer associe le contenu à des identifiants avant traitement ; le nombre de jetons n’est donc pas celui des mots.
Temps: 3–8 min
Avant de commencer: Aucun prérequis. Gardez un exemple réel en tête.
Faites ceci maintenant: Lisez l’explication, puis comparez l’exemple à l’idée reçue.

Étape suivante préparéeEssayer l’expérience de contexte

JetonUn jeton est une unité dans laquelle l’entrée ou le résultat d’un modèle est découpé pour être traité.

Grand modèle de langage
Plongement vectoriel
Fenêtre de contexte

Explication

Il peut s’agir d’un mot, morceau de mot, signe, octet ou autre unité apprise. Le tokenizer associe le contenu à des identifiants avant traitement ; le nombre de jetons n’est donc pas celui des mots.

Exemple

Un tokenizer peut découper un mot rare en plusieurs morceaux tout en traitant un mot court fréquent comme un seul jeton.

Pourquoi cela compte

Les jetons affectent limites de contexte, étapes de génération, latence et souvent prix. Des langues et écritures différentes exigent parfois des nombres différents pour un sens proche.

Idée reçue

Idée reçue : un jeton égale toujours un mot. Correction : les frontières varient selon modèle, texte et langue.

Concepts liés

Suivez les relations, pas seulement l’alphabet

Grand modèle de langageUn grand modèle de langage, ou LLM, est un modèle riche en paramètres entraîné sur des séquences linguistiques pour prédire et générer des jetons en contexte.Plongement vectorielUn plongement est un vecteur numérique qui représente un élément afin de mesurer ou apprendre des relations utiles.Fenêtre de contexteUne fenêtre de contexte est la quantité limitée d’informations tokenisées qu’un modèle peut considérer ensemble pendant une génération ou inférence.

Essayer l’expérience de contexte

Sources et périmètre

Ce qui soutient cet objet

Machine Learning GlossaryGoogle for Developers

Définit les jetons et la tokenisation ; les limites exactes des jetons dépendent du tokeniseur et du langage du modèle.

Ouvrir la source

Loading page content...

…