J'enseigne dans plusieurs établissements d'enseignement supérieur. L'IA générative est utilisée à toutes les sauces. Voici toutefois une (énorme) limite à son utilisation : répondre à une question informative.

Une question informative se pose lorsqu'on recherche une information précise. Combien y a-t-il de hangars à Bordeaux entre la place de la Bourse et le pont Chaban-Delmas ? Quelle est la note (sur combien d'avis) de la version illustrée de Harry Potter à l'école des sorciers sur Amazon ? Quel est le prix moyen d'une paire de chaussures pour enfants chez Veja ?

Vous obtiendrez toujours une réponse si vous demandez l'une de ces questions à n'importe quel grand modèle de langage (ou LLM pour Large Language Model). Mais seulement cette réponse est-elle exacte ? Si par nature les LLM excellent dans certaines tâches, ils sont fondamentalement limités dans leur capacité à répondre à des questions informatives. Voici pourquoi.

Pourquoi l'IA générative ne peut pas réaliser une étude de marché ?

Supposons que vous devez réaliser une étude de marché ou une analyse concurrentielle. Voici le genre de question que vous pourriez vous poser :

Quelle est la note moyenne et la synthèse des avis des trois articles les plus vendus [par mon principal concurrent] sur Amazon ?

J'ai tenté un exercice avec 15 étudiant·e·s. La question était simple : Quelle est la note et le nombre d'avis de la version illustrée par Minalima d'Harry Potter à l'école des sorciers sur Amazon ?

En allant sur Amazon, nous obtenions une note moyenne de 4,8 sur 1253 avis (au 21 février 2025 à 10:00 CET). Voici maintenant les réponses obtenues par ChatGPT.

À gauche, toutes les réponses obtenues en posant la question telle quelle. À droite, les réponses obtenues en fournissant l'URL du produit.

Manque de précision

Sans URL

Regardons seulement les réponses obtenues dans la partie de gauche ; ou plutôt leur éclatement. 1 253 avis, ce n'est pas 12 240. Alors pourquoi toutes les réponses convergent vers le 18 juin 1815 lorsque je demande à ChatGPT de me donner la date de la bataille de Waterloo, mais vont-elles de 1 207 à 12 240 lorsque je demande au même ChatGPT de me donner le nombre d'avis Amazon ?

Tout simplement parce que les LLM sont par essence probabilistes. Dis simplement, ils déterminent la probabilité d'obtenir telle ou telle chaîne de caractère dans une énorme dictée à trous. Pour cela, ils utilisent des données d'entraînement (id est tout l'internet à un instant T). Or, s'il existe pléthore de sites internet édictant que la bataille de Waterloo a bien eu lieu le 18 juin 1815, le nombre d'avis sur Amazon est beaucoup plus disparate. C'est pourquoi vous pouvez être beaucoup plus confiant·e·s lorsque ChatGPT vous donne la date de la bataille de Waterloo que lorsqu'il vous donne le nombre d'avis Amazon pour cette version illustrée d'Harry Potter.

Avec l'URL

Regardons maintenant les réponses de la partie de droite, celles où l'URL de la source a été fourni. Ce qui saute aux yeux, c'est que le nombre d'avis est toujours éclaté. Il va cette fois-ci de 230 à 6 000 avis. C'est bien là l'illustration du caractère probabiliste des réponses générées par un LLM !

Pour près de 2/3 des étudiant·e·s ayant demandé à ChatGPT d'aller chercher l'information grâce à l'URL fourni, le LLM répond qu'il ne peut effectuer de requête sur internet. Et dans le tiers des cas restant, il fournit des réponses allant de 230 à 6 000 avis. On comprend aisément qu'en fait, ChatGPT (4o) n'a tout simplement pas la capacité d'exécuter des recherches ciblées sur internet. Il a tout simplement inventé une réponse.

Les hallucinations sont fréquentes

En fait, il "invente" toujours ses réponses. Seulement, ses réponses "inventées" convergent vers une réalité objective lorsque son corpus d'apprentissage converge vers cette même réalité objective. C'est pourquoi des solutions d'IA se limitant à un corpus circonscrit et délimité de connaissances comme Klark (made with ❤️ in Bordeaux) sont si performantes. Elles utilisent des techniques avancées comme le RAG (Retrieval-augmented generation ; simplement, le corpus de connaissance est limité à la base de connaissance interne de l'entreprise) ou encore le CAG (même principe, mais on va utiliser la mémoire temporaire d'un système, le cache).

Le risque d'hallucination d'un LLM est autrement très élevé si vous recherchez une information précise où il n'existe pas un nombre important de textes convergeant vers une réponse bien précise. C'est pourquoi vous devriez éviter d'utiliser ChatGPT, Copilot, Gemini, etc. pour préparer un rendez-vous client. Vous risquez d'exposer de fausses informations à votre interlocuteur et le faire halluciner… mais négativement !

Les LLM sont d'excellents assistants pour la rédaction, la synthèse, et l'analyse de concepts généraux, mais pour des informations factuelles précises et à jour, les moteurs de recherche comme Google restent indispensables car ils indexent et accèdent aux données en temps réel.

Remarque de Claude.ai à la lecture de cet article. 🐒

---

Comment transformer votre entreprise grâce à l'intelligence artificielle ?

L'IA promet d'augmenter nos capacités créatives et analytiques, mais ses limites sont souvent sous-estimées. Érable Studio accompagne les dirigeants dans leur transformation numérique : diagnostic 360°, identification des cas d'usage à fort impact, et construction d'outils sur-mesure calibrés sur la morphologie de votre entreprise.

✅ Un diagnostic lucide de vos processus et de vos frictions.

✅ Des cas d'usage concrets, ancrés dans votre réalité opérationnelle.

✅ Une approche pragmatique : pas d'IA washing, que des résultats mesurables.

Prochaine étape → contact@erable.io

---