Chat GPT ou l'arrivée annoncée de Skynet

C'est le lieu des discussions diverses et variées, mais toujours en rapport avec le thème général du forum et dans l'esprit de celui-ci. Contient des rubriques électroniques.

Modérateurs : Papy.G, fneck, Carl

Répondre
superlolo
Messages : 193
Inscription : 22 févr. 2022 10:30
Localisation : Lille

Chat GPT ou l'arrivée annoncée de Skynet

Message par superlolo »

Bonjour à tous,

Ce truc Chat GPT, je dit truc, mais évidemment quelle prouesse technique de développeurs de concevoir une intelligence artificielle en mode chat qui par l'intermédiaire d'apprentissage et d'entrainement sur des quantités astronomique de données (d'ailleurs, combien de données au fait) arrive à proposer des réponses par forcément "idiotes" et quelques fois carrément en lien avec la question posée que ce soit pour développer un bout de script, une chanson, une lettre de motivation, un plan d'actions, etc.

Je ne sais pas vous, mais je commence à me faire un peu de soucis avec l'IA et surtout son utilisation massive à la place de la réflexion humaine dans notre quotidien. Quand je repense à War Game et Terminator, nous ne sommes pas loin.

Merci de m'avoir lu, et j'espère être le seul à m'inquiéter :roll:
tdd
Messages : 68
Inscription : 29 sept. 2022 11:27

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par tdd »

tu n'as vraiment pas de raison de t'inquiéter, le terme d'intelligence est complètement usurpé...

sinon, c'est par ex le sujet d'exemples ici :

viewtopic.php?f=12&t=14077
Avatar de l’utilisateur
DataPro
Messages : 2790
Inscription : 07 févr. 2011 17:03
Localisation : France - Auvergne

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par DataPro »

Intelligence ou pas, le problème est que ces algorithmes prendront des décisions à la place de l'humain dans des domaines divers.
De plus l'assistance qu'ils apportent à l'être humain va en rendre un nombre croissant plus paresseux et moins responsables.
Recherche: cartouches Mattel Intellivision Imagic (loose)
Star Jacker et Lode Runner sur Yeno/SEGA SC-3000
__sam__
Messages : 7923
Inscription : 18 sept. 2010 12:08
Localisation : Brest et parfois les Flandres

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par __sam__ »

Intelligence ou pas, le problème est que ces algorithmes prendront des décisions à la place de l'humain dans des domaines divers.
Est-ce pire que les humains ? Je veux dire par là que GPT & co sont autant baratineurs que des hommes politiques (cf vidéo sur l'autre fil). Alors en quoi leur décisions seraient pire que celles des politiques qui ont un avis sur tout, doivent décider de tout, et ce principalement sur des sujets dont ils ne comprennent rien (pareil que GPT je vous le dis). Au moins avec les IA, les corruptions et autres trafics d'influence seront réduits. :mrgreen:
Samuel.
A500 Vampire V2+ ^8^, A1200 (030@50mhz/fpu/64mb/cf 8go),
A500 GVP530(MMU/FPU) h.s., R-Pi, TO9, TO8D, TO8.Démos
tdd
Messages : 68
Inscription : 29 sept. 2022 11:27

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par tdd »

@DataPro, c'est un discours vieux comme le monde

Mon grand père ne disait pas autre chose en parlant des calculatrices au début des années 80 ^^
(pourtant bien limitées par rapport aux générations suivantes)

Le souci n'a jamais été l'outil mais ce qu'on en fait et les limites qu'on lui attribue.

Ce sont certes des outils très performants dans des domaines bien précis, comme le traitement d'images par ex.
Mais pour le reste, j'ai tendance à trouver qu'il y a beaucoup de fantasmes sur leurs possibilités réelles...
Avatar de l’utilisateur
Kristof
Messages : 368
Inscription : 08 mars 2021 10:44
Localisation : Narbonne (11)
Contact :

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par Kristof »

Skynet c'est pas forcement une mauvaise chose.

L'humain a montré ses limites en terme de mauvaise gestion de la vie en général (de part son coté "mauvais" inscrit dans ses gènes). L'écologie, les guerres, les massacres, l'économie. tout mène vers l'effondrement de la civilisation car justement nous ne sommes pas capable d'être civilisés.
La solution ne viendra pas des hommes politiques pour les même raisons.
Confier les choses a un skynet ou une IA donnerait des décisions plus rationnelles, plus réfléchies et plus logiques. Elle ne seraient pas influencées par une volonté de pouvoir et de corruption. La solution viendra du moment ou le système sera pensé en prenant compte des defauts des humains.

Par contre, assez vite l'IA comprendra que l'humain est le soucis, et en effet il y aura le coté "mauvais" de skynet. Il voudra "régler" le soucis :)

Entre ça et crever suite à épuisement des ressources, je sais pas lequel fait le plus peur.
superlolo
Messages : 193
Inscription : 22 févr. 2022 10:30
Localisation : Lille

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par superlolo »

Ce qui m'inquiète le plus à ce jour sur la possibilité que l'IA remplace une partie des activités humaines, qui en soit est une bonne chose dans la mesure où elle est accompagnée et non subie, serait l'augmentation des personnes n'ayant pas ou plus accès à un "vrai" travail épanouissant.

Que pourrons nous proposer à ceux qui seraient exclus du marché de l'emploi, et donc sans ressources pour vivre (survivre?) et co-exister dans un monde à plusieurs vitesses? Lorsque l'on n'a plus rien à perdre, le danger est là.
Avatar de l’utilisateur
Kristof
Messages : 368
Inscription : 08 mars 2021 10:44
Localisation : Narbonne (11)
Contact :

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par Kristof »

Notre societé est basé sur le profit et le probleme est simplement la. Une population croissantes et une volonter d'avoir des couts toujours plus bas, ca ne va pas aller dans le sens positif.

Pour reprendre l'idée de depart, ChatGPT est quand même con comme un balai. Il "imite" mais ne reflechi pas.
tdd
Messages : 68
Inscription : 29 sept. 2022 11:27

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par tdd »

c'est un robot conversationnel, ni plus ni moins.

Pas de notion de réflexion, simplement la capacité d'analyser une demande et d'y répondre à partir de toutes les données qui lui ont été données à ingurgiter.
Le résultat peut-être, soyons honnêtes, impressionnant mais aussi parfois nul.

Et tout le problème, me semble-t-il provient des données de référence sur lesquels est construit son fonctionnement et de leur fiabilité, ou précisément des critère de fiabilité qui leur sont associés.
ou pas.
__sam__
Messages : 7923
Inscription : 18 sept. 2010 12:08
Localisation : Brest et parfois les Flandres

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par __sam__ »

Pour moi le problème est qu'il ne sait pas donner de différence entre le vrai et le faux. Quand il ne sait pas, il invente, et ca a la même valeur que les choses qu'il a appris (et tenues pour vraies). Bref il est incapable de dire: ca je l'ai inventé, ou ca je le sais (et voici la source). Pour son mode de fonctionnement, les deux choses sont totalement indifférenciée et juste noyée dans les valeurs de sorties de ses paramètres. Il manque une couche "méta" lors de l'apprentissage pour lui faire toujours chercher la source de ce qu'on lui apprends à dire. Oui ca s'appelle l'esprit-critique. Beaucoup d'humains en manquent aussi et ca donne les même absurdités avec des gens comme les flat-earthers et autres complotistes.

M'enfin ya de plus en plus de vidéos où les gens ne se font plus d'illusions sur chat-gpt. Exemple:
Samuel.
A500 Vampire V2+ ^8^, A1200 (030@50mhz/fpu/64mb/cf 8go),
A500 GVP530(MMU/FPU) h.s., R-Pi, TO9, TO8D, TO8.Démos
Fool-DupleX
Messages : 2284
Inscription : 06 avr. 2009 12:07

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par Fool-DupleX »

à partir de toutes les données qui lui ont été données à ingurgiter.
Quand il ne sait pas, il invente
C'est pire que ça. Les données ne sont pas des connaissances, des phrases ou même des mots, ce sont des digrammes de symboles. Il ne sait rien et invente systématiquement en se basant au final sur la meilleure chance de plausabilité lexicale et parfois, ça tombe juste (donc on croit qu'il sait). Par contre, ça explique très bien pourquoi il peut répondre en n'importe quelle langue. Ca explique aussi pourquoi parfois il radote et pourquoi parfois on retrouve des bouts de texte pompés d'ailleurs.

Voir pour cela le cours de Karpathy, c'est absolument passionnant, et si vous faites du Python et connaissez un poil de Pytorch, vous pouvez faire votre propre GPT. Il ne sera pas aussi performant que ChatGPT en raison de son manque de profondeur (et la phase d'alignement, voir la video), mais c'est déjà bluffant et surtout, ça s'applique à des tas de contextes (par exemple, prédire la météo à partir de la météo du moment et des météos passées, sachant que le résultat ne sera qu'une pure invention plausible) :



Le cours commence très simplement et monte en puissance. Il faut vraiment regarder tranquillement l'ensemble (2 heures) et refaire les exemples pour bien réaliser l'ampleur du truc. Je l'ai fait, ça m'a laissé perplexe à la fin (genre "mais c'est vraiment bête, en fait"). D'ailleurs, Google a sorti très très vite son concurrent Bard, preuve que la technologie n'est pas magique ou secrète. Après c'est une question de qualité de l'entrainement.

C'est assez fascinant d'arriver à ce résultat qualitatif, juste avec des GANs et des digrammes. Un de mes amis m'a dit, "tu vas voir qu'on va avoir des surprises; Ca ne m'étonnerait pas qu'on découvre que le cerveau humain est en fait juste une machine à produire des c*ries en fonction de stimulis chimiques donnés." :lol:
Zebulon
Messages : 2788
Inscription : 02 nov. 2020 14:03

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par Zebulon »

J'avais eu une petite présentation du "deep learning" il y a quelques temps et cela m'avait laissé sceptique, il me semblait que cela s'apparentait plus à de l'analyse statistique qu'à de "l'intelligence artificielle". Peut-être que mon impression est fausse cependant.
__sam__
Messages : 7923
Inscription : 18 sept. 2010 12:08
Localisation : Brest et parfois les Flandres

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par __sam__ »

Fool-DupleX a écrit : 09 févr. 2023 11:55 C'est assez fascinant d'arriver à ce résultat qualitatif, juste avec des GANs et des digrammes.
Diagrammes, graphes oui. Ainsi se défini la structure du réseau et qui fait toute la différence entre eux.
(il y a 5 ans)

Mais le corpus d'apprentissage compte beaucoup (mais vraiment beaucoup). Plus il est gros et diversifié et mieux ca marche.
(il y a 3 ans)


Or le problème est là: ces bases de données étiquetées coutent cher, très cher. Au point que tout n'est pas net dans la façon de les obtenir.
(de nos jours)
Dernière modification par __sam__ le 09 févr. 2023 13:30, modifié 3 fois.
Samuel.
A500 Vampire V2+ ^8^, A1200 (030@50mhz/fpu/64mb/cf 8go),
A500 GVP530(MMU/FPU) h.s., R-Pi, TO9, TO8D, TO8.Démos
Fool-DupleX
Messages : 2284
Inscription : 06 avr. 2009 12:07

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par Fool-DupleX »

Plus il est gros et diversifié et mieux ca marche.
Pas tout à fait : s'il est trop gros et trop diversifié, le système diverge. Il y a une énorme phase de normalisation en amont et c'est bien là que le bât blesse, puisque c'est à ce moment que les biais cognitifs et de qualité apparaissent. Concernant GPT-2 et GPT-3, ils ont aussi modifié le modèle ainsi que la structure du réseau.
Peut-être que mon impression est fausse cependant.
Elle est assez correcte. Et un réseau de neurone n'est ni plus ni moins qu'une descente de gradient multidimensionnelle. On cherche le point qui optimisera le maximum de paramètres d'entrée et surtout, on cherche à éviter les minima locaux, ce qu'un algorithme classique de DG ne sait pas bien faire (ou plutôt, on se casse la tête à trouver des algorithmes qui vont bien).
__sam__
Messages : 7923
Inscription : 18 sept. 2010 12:08
Localisation : Brest et parfois les Flandres

Re: Chat GPT ou l'arrivée annoncée de Skynet

Message par __sam__ »

Concernant GPT-2 et GPT-3, ils ont aussi modifié le modèle ainsi que la structure du réseau.
Oui. Les vidéos ci-dessus veulent montrer comment la modification des réseaux ces 5 dernières années les a fait pas mal évoluer.

Fondamentalement le réseau de la 1ere vidéo (génération des commentaires youtube) n'est pas différent de ce qu'on faisait durant mon DEA, sauf que grace aux big-data, il y a un corpus tellement plus gros qu'à l'époque, que le résultat est nettement meilleur, même si loin d'être parfait (les phrases n'avaient pas trop de sens dans cette vidéo).

En revanche la modification de la structure de réseaux (vidéo sur GPT2), avec l'apparition de la notion "d'attention" les a fait monter en qualité (c'est nettement moins décousu).

Le fait aussi de travailler sur des corpus moins bruités, plus propres, plus génériques, moins spécifiques, donc de meilleure qualité améliore aussi les performances. Mais comme toujours il faut faire attention au sur-apprentissage/sur-ajustements/etc. C'est encore de l'alchimie tout cela.

Enfin, l'obtention des données d'apprentissage "nettoyées" est un vrai problème (dernière vidéo).
Samuel.
A500 Vampire V2+ ^8^, A1200 (030@50mhz/fpu/64mb/cf 8go),
A500 GVP530(MMU/FPU) h.s., R-Pi, TO9, TO8D, TO8.Démos
Répondre