Modèle multimodal

Votre mouvement d’apprentissage

S’orienterClarifier un terme, une source, une personne ou un événement.

Pourquoi cette page existe

Les pages de référence soutiennent l’apprentissage sans vous obliger à abandonner votre question ou parcours.

Ce que vous en retirerez

Un modèle multimodal traite ou produit plusieurs types de données comme texte, image, son, vidéo ou signaux de capteurs.

Avant de commencer

Utilisez ces pages seules ou revenez à l’objet qui vous y a conduit.

Faites ceci maintenant

Trouvez le fait ou la relation nécessaire, puis revenez à votre objectif.

À faire maintenantClarifier ce conceptLe plan indique le résultat, le temps, les prérequis, l’action immédiate et la suite préparée.Autre parcours valableExaminer les SourcesVoir la provenance, la revue et les limites des preuves.

Compte

Glossaire connecté

Modèle multimodal

Un modèle multimodal traite ou produit plusieurs types de données comme texte, image, son, vidéo ou signaux de capteurs.

Plan pour cette page

Comprendre un concept dans un langage simple et le relier à des idées voisines.

Vous repartirez avec: Il peut traduire entre modalités, les combiner dans une représentation ou utiliser l’une pour guider l’autre. Prendre en charge plusieurs modalités ne signifie pas les comprendre également ni les aligner parfaitement.
Temps: 3–8 min
Avant de commencer: Aucun prérequis. Gardez un exemple réel en tête.
Faites ceci maintenant: Lisez l’explication, puis comparez l’exemple à l’idée reçue.

Étape suivante préparéeExplorer la carte des modalités de l’IA

Modèle multimodalUn modèle multimodal traite ou produit plusieurs types de données comme texte, image, son, vidéo ou signaux de capteurs.

Modèle
IA générative
Média synthétique

Explication

Il peut traduire entre modalités, les combiner dans une représentation ou utiliser l’une pour guider l’autre. Prendre en charge plusieurs modalités ne signifie pas les comprendre également ni les aligner parfaitement.

Exemple

Une personne fournit l’image d’un graphique et une question écrite ; le modèle renvoie une interprétation textuelle des tendances visibles.

Pourquoi cela compte

Ces systèmes facilitent accessibilité et interactions riches tout en ajoutant erreurs de perception, temps, provenance, confidentialité et correspondance entre modalités.

Idée reçue

Idée reçue : multimodal signifie que le modèle vit le monde comme une personne. Correction : il traite plusieurs types encodés au moyen de relations de calcul apprises.

Concepts liés

Suivez les relations, pas seulement l’alphabet

ModèleUn modèle est une représentation apprise ou conçue qui associe des entrées à des résultats pour une tâche ou famille de tâches définie.IA générativeL’IA générative produit texte, images, son, vidéo, code ou autre contenu en réponse à un contexte et à des contrôles.Média synthétiqueUn média synthétique est un texte, une image, un son, une vidéo ou autre média créé ou substantiellement modifié par génération informatique.

Explorer la carte des modalités de l’IA

Sources et périmètre

Ce qui soutient cet objet

Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence ProfileU.S. National Institute of Standards and Technology

Gère les risques liés au texte, à l’image, à l’audio, à la vidéo générés et aux modalités associées ; les capacités et les évaluations restent spécifiques au modèle.

Ouvrir la source

Loading page content...

…