Non c'est pas une limite "demo" dans une recherche ou quoi ou qu'est-ce. C'est plus compliqué que ca. C'est lié à la techno utilisée.
J'explique:
La techno n'est PAS une base de donnée ni une base de connaissance combiné à un algorithme déductif. C'est juste un ensemble de poids dans un système de calcul qui permet de prédire le prochain mot en fonction des précédents (le contexte).
Quand on l'interroge sur l'âne et l'oeuf tout seul: le mots suivants sont orientés mammifère et "ne ponds pas d'oeuf" (
essayez de le faire parler des Ornithorynques après ca.) C'est la réponse que tu as obtenue. Il est dans un contexte "wikipedia/encyclopédie", il récite ce qu'il a appris. Et c'est très correct.
Si en revanche, tu lui parle de comparer "oeuf de poule" et "oeuf d'âne" il est dans un contexte qu'il ne connait pas (vu que ca n'existe pas). Au mieux il est en mode comparaison, donc l'un plus grand que l'autre mais il n'en sais pas plus. Or quand une IA générative ne sait pas, elle invente, tel un enfant qui ne sait pas et invente aussi. Elle est conçue pour ca. Elle nous invente donc une histoire à propos de la couleur et de la taille des oeufs d'ânes parce qu'elle ne sait rien dessus. Et là on dit "c'est buggé/limité" alors que non: c'est le fondement même des IA génératives (rappelez vous midjourney et dall-e): inventer ! Tout n'est qu'invention avec elles.
C'est là le problème: c'est de faire passer cette IA pour une encyclopédie qui connait tout sur tout. C'est juste un modèle de langage ultra généraliste capable d'invention. C'est là toute l'arnaque Chat-GPT depuis l'arrivée de Microsoft et de sa volonté de l'utiliser pour remplacer Bing (et niker Google). Du coup, les fails au sujet du futur Bing sont légions et
délicieux à lire. On se demande même si Microsoft va finalement réussir à maitriser cette IA qui perds ses nerfs et insulte ses utilisateurs.
Parmi les langages qui est son domaine de compétence (ne lui demandez pas de dessiner un truc), on trouve aussi des langages de programmation. Raconter une histoire qui a du sens ou générer un script python qui fait sens c'est la même chose pour une IA qui a été entrainée pour ca, surtout quand on passe son temps à la questionner afin de générer des scripts hyper simples dont on trouve des milliers de versions dans la nature (snake n'est pas un programme complexe).
En revanche, rédiger une démonstration mathématique, faire des raisonnements physiques, ben ca elle le fait mal, très mal. Car ces opérations ne supportent pas l'invention dont elle fait preuve. Ce sont des activités incompatibles avec cette techno à mon sens et à d'
autres aussi (résumé: même avec un dataset énorme pleine de démonstrations pas à pas de pleins de théorèmes, GPT3 a de très mauvaises performances. Pour moi, ce type de réseau n'est pas "câblé" pour faire des démonstrations mathématiques. Les démonstration mathématiques marchent différemment de la production du langage).