class: middle, center <!--- https://katex.org/docs/supported.html#macros ---> $$ \global\def\myx#1{{\color{green}\mathbf{x}\_{#1}}} $$ $$ \global\def\mys#1{{\color{green}\mathbf{s}\_{#1}}} $$ $$ \global\def\myz#1{{\color{brown}\mathbf{z}\_{#1}}} $$ $$ \global\def\myhnmf#1{{\color{brown}\mathbf{h}\_{#1}}} $$ $$ \global\def\myztilde#1{{\color{brown}\tilde{\mathbf{z}}\_{#1}}} $$ $$ \global\def\myu#1{\mathbf{u}\_{#1}} $$ $$ \global\def\mya#1{\mathbf{a}\_{#1}} $$ $$ \global\def\myv#1{\mathbf{v}\_{#1}} $$ $$ \global\def\mythetaz{\theta\_\myz{}} $$ $$ \global\def\mythetax{\theta\_\myx{}} $$ $$ \global\def\mythetas{\theta\_\mys{}} $$ $$ \global\def\mythetaa{\theta\_\mya{}} $$ $$ \global\def\bs#1{{\boldsymbol{#1}}} $$ $$ \global\def\diag{\text{diag}} $$ $$ \global\def\mbf{\mathbf} $$ $$ \global\def\myh#1{{\color{purple}\mbf{h}\_{#1}}} $$ $$ \global\def\myhfw#1{{\color{purple}\overrightarrow{\mbf{h}}\_{#1}}} $$ $$ \global\def\myhbw#1{{\color{purple}\overleftarrow{\mbf{h}}\_{#1}}} $$ $$ \global\def\myg#1{{\color{purple}\mbf{g}\_{#1}}} $$ $$ \global\def\mygfw#1{{\color{purple}\overrightarrow{\mbf{g}}\_{#1}}} $$ $$ \global\def\mygbw#1{{\color{purple}\overleftarrow{\mbf{g}}\_{#1}}} $$ $$ \global\def\neq{\mathrel{\char`≠}} $$ .small-nvspace[ ] .center.width-100[] # Intelligence artificielle : comment les machines apprennent-elles ? .small-vspace[ ] .center.bold[Simon Leglaive] .small.center[CentraleSupélec, IETR (UMR CNRS 6164)] .small-vspace[ ] .center.width-7[] .grid[ .kol-1-5[.left.width-120[]] .kol-3-5[ .small.center[10 mai 2022 - Checkpoint Bar, Rennes] ] .kol-1-5[.right.width-50[]] ] --- class: center, middle <iframe width=105% height="630" src="https://app.wooclap.com/events/QOBAPX/0" frameborder="0" allowfullscreen></iframe> --- class: middle .grid[ .kol-1-2[ .center[ « Avec l'intelligence artificielle, nous invoquons le **démon**. » .center.circle.width-40[] .medium[Elon Musk] <br/> .small[Directeur général de Tesla, SpaceX et Twitter, <br> co-fondateur d'OpenAI] ] ] .kol-1-2[ .center[ « Nous sommes plus proches d'une **machine à laver intelligente** que de Terminator. » .center.circle.width-40[] .medium[Fei-Fei Li] <br/> .small[Professeure et co-directrice de laboratoires en IA à Stanford] ] ] ] .small-vspace[ ] .credit[Sources : https://www.washingtonpost.com/news/innovations/wp/2014/10/24/elon-musk-with-artificial-intelligence-we-are-summoning-the-demon/ <br/> https://www.nytimes.com/2016/03/07/us/smart-robots-make-strides-but-theres-no-need-to-flee-just-yet.html ] --- class: middle, center .grid[ .kol-1-5[ .center.width-100[] ] .kol-3-5[ .small-vspace[ ] 👈 L'IA suscite un **imaginaire** riche alimenté par la science-fiction, mais la **réalité** est pour le moment bien différente 👉 ] .kol-1-5[ .center.width-90[] ] ] .alert[ Les techniques actuelles en IA se concentrent principalement sur la faculté humaine qui consiste à apprendre de notre expérience du monde. On parle d'.bold[apprentissage machine] .small[(.italic[machine learning])]. Pourquoi, comment, pour quoi faire, et quelles limites ? ] .left.footnote[Le domaine de l'IA ne saurait se résumer à l'apprentissage machine, les approches symboliques ont également une place importante.] --- class: middle, center # Pourquoi ? ## Les limites des algorithmes « conçus manuellement » --- class: middle, black-slide .center.width-70[] .center[Que voyez-vous ? Comment faites vous ?] .credit[Crédit image : <a href="https://fr.freepik.com/photos/arbre">Wirestock - fr.freepik.com</a>] ??? C'est assez difficile d'exprimer comment on fait, tellement c'est naturel chez nous humains. C'est par conséquent difficile d'écrire un programme informatique qui reproduise une capacité que nous ne sommes pas en mesure d'expliciter. --- class: middle .grid[ .kol-1-2[ .center.width-90[] .center[Puli ou serpillère ?] ] .kol-1-2[ .center.width-85[] .center[Chihuahua ou muffin ?] ] ] .left.credit[Crédit images : [Karen Zack](https://twitter.com/teenybiscuit), 2016.] --- class: middle, center .alert[ Le cerveau est si doué pour interpréter sémantiquement des informations visuelles qu'il nous est parfois difficile de décrire les processus cognitifs mis en jeu. .bold[Comment faire alors pour écrire un programme informatique qui puisse voir ?] ] --- class: middle, center .grid[ .kol-1-2[ .center.width-100[] ] .kol-1-2[ .center.width-100[] ] ] .block-center-70[ .alert[ 1 million d'images à classifier suivant mille catégories. ] ] .center.width-40[] ??? Nous sommes en octobre 2012 à la conférence ECCV qui réunit les chercheur·euse·s spécialisé·e·s en vision par ordinateur. Un événement majeur va brusquement renverser le paradigme dominant : c'est la (re)-naissance des **réseaux de neurones profonds** ! --- class: middle ## Avant 2012 : Descripteurs et reconnaissance des formes .center.width-80[] --- class: middle, center .grid[ .kol-1-2[.center.width-70[]] .kol-1-2[ .middle[ Image d'entraînement ] ] ] .left.credit[Crédit image : Gilles Louppe, [INFO8010 - Deep Learning](https://github.com/glouppe/info8010-deep-learning), ULiège.] --- class: middle, center .grid[ .kol-1-2[.center.width-70[]] .kol-1-2[ .middle[ Identification des caractéristiques (descripteurs) et création d'un prototype ] ] ] .left.credit[Crédit image : Gilles Louppe, [INFO8010 - Deep Learning](https://github.com/glouppe/info8010-deep-learning), ULiège.] --- class: middle, center .grid[ .kol-1-2[.center.width-70[]] .kol-1-2[ .middle[ Image test ] ] ] --- class: middle, center .grid[ .kol-1-2[.center.width-70[]] .kol-1-2[ .middle[ Extraction des caractéristiques et comparaison avec le prototype (reconnaissance des formes) .large[👍] ] ] ] --- class: middle, center .grid[ .kol-1-2[ .vspace[ ] .width-100[]] .kol-1-2[ .middle[ Image test ] ] ] .left.credit[Crédit image : Gilles Louppe, [INFO8010 - Deep Learning](https://github.com/glouppe/info8010-deep-learning), ULiège.] --- class: middle, center .grid[ .kol-1-2[ .vspace[ ] .width-100[]] .kol-1-2[ .middle[ Extraction des caractéristiques et comparaison avec le prototype (reconnaissance des formes) .large[👎] ] ] ] .left.credit[Crédit image : Gilles Louppe, [INFO8010 - Deep Learning](https://github.com/glouppe/info8010-deep-learning), ULiège.] --- class: middle .center.width-100[] --- class: middle ## 2012 : La .small[(re)]naissance des réseaux de neurones .vspace[ ] .center.width-100[] ??? .center[.big[«] Ce qui était conçu comme la partie humaine de la fabrication des calculateurs, le programme, les règles ou le modèle, n’est plus ce qui est introduit dans le système, mais ce qui en résulte. .big[»] <br> .small[(Cardon et al., 2018)]] .credit[D. Cardon et al., [La revanche des neurones](https://hal.archives-ouvertes.fr/hal-01925644/document), Réseaux, La Découverte, 2018. ] --- class: middle, center .center.width-100[] --- class: center, middle .alert[ L'extraction d'information dans des données de natures variées requière des programmes d'une telle complexité qu'ils ne peuvent être conçus « à la main ». L'apprentissage machine, notamment avec des réseaux de neurones profonds, consiste à laisser la machine apprendre à résoudre la tâche à partir d'un grand nombre d'exemples, sans la programmer explicitement. ] --- class: middle ## Après 2012 : l'ère du « deep learning » .center.width-100[] --- class: middle, center # Comment ? ## Réseaux de neurones artificiels --- class: middle ## 1943 - Neurone formel Walter Pitts, logicien, et Warren McCulloch, neuroscientifique, proposent le premier modèle mathématique de neurone biologique. .kol-1-2[ .vspace[ ] <img src="images/McCulloch.jpeg" style="width: 250px;" /> <img src="images/Pitts.gif" style="width: 200px;" /> .caption.tiny[McCulloch (gauche) and Pitts (droite)] ] .kol-1-2[ .center.width-100[] .width-80.center[] ] ??? Le neurone formel possède plusieurs entrées et une sortie qui correspondent respectivement aux dendrites et au point de départ de l'axone. Les poids synaptiques du neurone biologique sont représentés par des coefficients numériques associés aux entrées. Un neurone formel calcule la somme pondérée des entrées reçues, puis applique à cette valeur une fonction d'activation, généralement non linéaire. La valeur finale obtenue est la sortie du neurone. --- class: middle ## 1957 - Perceptron Frank Rosenblatt propose un algorithme permettant d'**apprendre automatiquement** les poids d'un neurone formel à partir d'une **base de données étiquetée**, pour un problème de classification binaire. .grid[ .kol-1-2[.center.width-60[]] .kol-1-2[<br>.center.width-80[]] ] .caption[Mark I Percetron (Frank Rosenblatt).] --- class: middle, center, black-slide <iframe width="700" height="550" src="https://www.youtube.com/embed/cNxadbrN_aI" frameborder="0" allowfullscreen></iframe> --- class: middle ## Réseau de neurones profond .small-vspace[ ] .center[Assemblage d'unités de calcul élémentaires semblables au neurone formel.] .vspace[ ] .center.width-80[] .vspace[ ] .center[Un réseau de neurones profond définit une **fonction mathématique complexe** qui permet de calculer une **prédiction** à partir de **données d'entrée**.] --- class: middle ## Apprentissage supervisé .vspace[ ] ### 1. Collecte d'une base de données étiquetées .center.width-100[] --- class: middle ## Apprentissage supervisé .vspace[ ] ### 2. Définition d'une architecture de réseau de neurones .center.width-100[] --- class: middle ## Apprentissage supervisé .vspace[ ] ### 3. Prédiction pour un exemple de la base d'apprentissage .center.width-100[] --- class: middle ## Apprentissage supervisé .vspace[ ] ### 4. Calcul de l'erreur de prédiction .center.width-100[] --- class: middle ## Apprentissage supervisé .vspace[ ] ### 5. Mise à jour des poids pour minimiser l'erreur .center.width-100[] .right[poids $\leftarrow$ poids $-$ pas $\times$ gradient de l'erreur] --- class: middle ## Apprentissage supervisé .vspace[ ] ### 6. Répétition du processus avec un autre exemple de la base d'apprentissage .center.width-100[] --- class: middle, center .center.width-60[] .alert[Après de multiples passes (époques) sur la base d'entraînement, le .bold[réseau de neurones a appris à résoudre la tâche].] --- class: middle exclude: true ## Toujours plus de neurones .caption[Croissance du nombre de neurones dans les architectures de calcul mises en place de 1960 à 2015.] .center.width-100[] En 2020, OpenAI publie GPT-3, un modèle de langage neuronal avec 175 milliards de paramètres. .credit[Crédit image : D. Cardon et al., [La revanche des neurones](https://hal.archives-ouvertes.fr/hal-01925644/document), Réseaux, La Découverte, 2018. ] --- ## Pourquoi un tel succès seulement aujourd'hui ? .center.grid[ .kol-1-3[ Algorithmes (anciens et nouveaux)<br><br> .width-80[] ] .center.kol-1-3[ Données massives<br><br> .width-70[] ] .kol-1-3[ Puissance de calcul<br><br> .width-60[] ] ] .center.grid[ .center.kol-1-3[ Géants du numérique<br><br> .width-90[] ] .kol-1-3[ Logiciels, science reproductible et collaborative<br> .width-90[] ] .kol-1-3[ 3 chercheurs .width-100[] ] ] .left.credit[Crédit : Adapté de Gilles Louppe, [INFO8010 - Deep Learning](https://github.com/glouppe/info8010-deep-learning), ULiège.] --- class: middle, center # Pour quoi faire ? ## Tout ... ce que permettent les données d'entraînement ??? Tant que des données d'entraînement existent en quantité suffisante, le même type d'algorithme d'apprentissage peut être déployé pour résoudre une tâche quelconque. --- class: middle, center, black-slide .grid[ .kol-1-3[ <iframe width="100%" src="https://www.youtube.com/embed/5kpsZoKjPgQ?autoplay=0&mute=1&start=10" frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .center.small[Détection d'objets, estimation de pose, segmentation] ] .kol-1-3[ <iframe width="100%" src="https://www.youtube.com/embed/D5VN56jQMWM?autoplay=0&mute=1&start=72" frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .center.small[Reconnaissance et synthèse de la parole, questions-réponses] ] .kol-1-3[ <iframe width="100%" src="https://www.youtube.com/embed/IvmLEq9piJ4?autoplay=0&mute=1&start=0" frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .center.small[Détection de cancer de la peau] ] ] .grid[ .kol-1-3[ <iframe width="100%" src="https://www.youtube.com/embed/g-dKXOlsf98?autoplay=0&mute=1" frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .center.small[Jeu de Go] ] .kol-1-3[ <iframe width="100%" src="https://www.youtube.com/embed/tlThdr3O5Qo?autoplay=0&mute=1"frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .center.small[Véhicule autonome] ] .kol-1-3[ <iframe width="100%" src="https://www.youtube.com/embed/kSLJriaOumA?autoplay=0&mute=1&start=261" frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .center.small[Génération d'images de visage] ] ] ??? Depuis 2010, domaine après domaine, les réseaux de neurones profonds ont bouleversé les communautés du traitement du signal, de la voix, de l’image et du texte. --- class: middle, center, black-slide .grid[ .kol-1-3[ <iframe width="100%" src="https://www.youtube.com/embed/V-M5SVta2uw?autoplay=0&mute=1" frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .center.small[GPT-3 Chatbot] ] .kol-1-3[ <iframe width="100%" src="https://www.youtube.com/embed/gn4nRCC9TwQ?autoplay=0&mute=1"frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .center.small[Apprentissage de la marche en environnement virtuel] ] .kol-1-3[ <iframe width="100%" src="https://www.youtube.com/embed/h7h9zF8OO7E?autoplay=0&mute=1&start=3" frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .center.small[Simulation physique] ] ] .grid[ .kol-1-3[ <iframe width="100%" src="https://www.youtube.com/embed/gg7WjuFs8F4?autoplay=0&mute=1&start=12" frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .center.small[Prédiction de la structure 3D de protéines à partir de leur séquence génétique] ] .kol-1-3[ <iframe width="100%" src="https://www.youtube.com/embed/egJ0PTKQp4U?autoplay=0&mute=1&start=128"frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .center.small[Composition musicale] ] .kol-1-3[ <iframe width="100%" src="https://www.youtube.com/embed/Khuj4ASldmU?autoplay=0&mute=1&start=20"frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .center.small[Transfert de style artistique] ] ] --- class: middle, center # Quelles limites ? --- class: middle, center .alert[ .bold[L'intelligence des machines est aujourd'hui très étroite.] Les algorithmes sont entraînés pour une tâche bien particulière, pour laquelle ils peuvent avoir des performances surhumaines car ils sont capables de détecter et d'exploiter des régularités dans des volumes de données gigantesques. .bold[L'intelligence ne se limite pas à la reconnaissance des formes.] ] .grid[ .kol-1-2[ .small-vspace[ ] .right.width-80[]] .kol-1-2[.left.width-80[]] ] .left.credit[Crédit image : https://www.smbc-comics.com/comic/ai-9] --- class: middle ## Que manque-t-il ? .grid[ .kol-1-2[ .center.width-100[] ] .kol-1-2[ .center.width-100[] ] ] .alert[Comprendre ce qui est perçu et expliquer ce qui est prédit.] .credit[Crédit image : (gauche) Cloudera Fast Forward, [Causality for Machine Learning](https://ff13.fastforwardlabs.com/) ; (droite) Chen et al., ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector, ECML-PKDD 2018.] ??? Il est possible d'entraîner un système à reconnaître un cancer dans des images médicales avec une grande précision, à condition qu'on lui fournisse beaucoup d'images et de puissance de calcul.. Mais contrairement à un médecin, il ne peut pas expliquer pourquoi ou comment une image particulière suggère une maladie, et il ne peut pas évaluer l'incertitude de sa prédiction. --- class: middle ## Que manque-t-il ? .grid[ .kol-1-2[ .center.width-100[] ] .kol-1-2[ .center.width-100[] ] ] .alert[Imaginer ce qui pourrait être perçu mais qui ne l'a pas encore été.] .credit[Crédit images : (gauche) Cloudera Fast Forward, [Causality for Machine Learning](https://ff13.fastforwardlabs.com/) ; (droite) S. Beery et al., Recognition in Terra Incognita, ECCV, 2018.] --- class: middle ## Que manque-t-il ? .center.width-60[] .alert[Plannifier des actions d'amélioration et apprendre en continu.] .credit[Crédit photo : Ministère du travail, de l'emploi et de l'insertion (https://travail-emploi.gouv.fr/le-ministere-en-action/formation-je-passe-a-l-action/article/moncompteformation-kit-de-communication)] --- class: middle ## Que manque-t-il ? .grid[ .kol-1-2[ .center.width-80[] .caption[Le Turc mécanique, gravure de Karl Gottlieb von Windisch dans le livre de 1783, Raison inanimée.] ] .kol-1-2[ .small-vspace[ ] <iframe width="100%" height="300px" src="https://www.youtube.com/embed/qWl9idsCuLQ?start=10&autoplay=0&mute=1" frameborder="0" allow="autoplay; encrypted-media" allowfullscreen></iframe> .caption[300 jours d'annotation des données d'entraînement <br> (1h30 x 5k images)] ] ] .alert[Apprendre de façon faiblement supervisée.] --- class: middle ## Que manque-t-il ? .center.width-60[] .center[L'entraînement d'un seul modèle peut émettre autant de carbone que cinq voitures au cours de leur vie.] .small-vspace[ ] .alert[Réduire l'empreinte carbone.] .credit[Crédit image : MIT Technology Review <br/> Source: E. Strubell et al., Energy and Policy Considerations for Deep Learning in NLP, ACL, 2019.] --- class: middle exclude: true ## Que manque-t-il ? L'intelligence ne se limite pas à la **reconnaissance des formes**. Il s'agit de **modéliser le monde** : - expliquer et comprendre ce que nous voyons ; - imaginer des choses que nous pourrions voir mais que nous n'avons pas encore vues ; - résoudre des problèmes et planifier des actions pour rendre ces choses réelles ; - construire de nouveaux modèles à mesure que nous en apprenons davantage sur le monde. .credit[Crédit : Joshua Tenenbaum, Professor of Cognitive Science and Computation at MIT, [Talk at ICML 2018](https://youtu.be/RB78vRUO6X8)] --- class: middle, center # Conclusion --- class: middle ## Une définition de l'IA .vspace[ ] .alert[ Ensemble des théories et techniques ayant pour objectif de permettre à une machine d'.bold[interpréter sémantiquement] des .bold[informations perçues] depuis son .bold[environnement] dans le but d'effectuer des .bold[actions]. ] .left.footnote[Inspiré de la définition de l'IA de Peter Norvig et Stuart J. Russell dans ["Artificial Intelligence: A Modern Approach"](http://aima.cs.berkeley.edu/), 1995] ??? Autrement dit, reproduire ce qu'en tant qu'humain nous faisons quotidiennement, pour des tâches qui peuvent être très complexes et avec une excellente capacité d'adaptation à des situations nouvelles. L'objectif peut être de remplacer l'humain quand la tâche est pénible (e.g. robot, voiture autonome), d'assister l'humain dans sa prise de décision (e.g. système de recommendation de film, diagnostic médical), ou simplement de faire de l'argent (publicité ciblée). Cette définition est bien plus ambitieuse que ce que les techniques actuelles permettre de faire. --- class: middle .center.circle.width-30[] .center[« Durant les quarante dernières années nous avons programmé les ordinateurs ; durant les quarante prochaines nous les entraînerons. »] .pull-right[Chris Bishop, [The Real AI Revolution](https://nips.cc/virtual/2020/public/invited_16165.html), NeurIPS 2020.] .footnote[.italic[For the last forty years we have programmed computers, for the next forty years we will train them.]] --- class: middle ## Pour aller plus loin - [Elements of AI](https://www.elementsofai.fr/) <br> .small[Cours en ligne à destination du grand public.] - D. Cardon, J.-P. Cointet, A. Mazieres, [La revanche des neurones](https://hal.archives-ouvertes.fr/hal-01925644/document). Réseaux, La Découverte, 2018. <br> .small[Article retraçant l'histoire de l'IA au travers de la tension entre approches symbolique et connexionniste.] - [La méthode scientifique](https://www.franceculture.fr/emissions/la-methode-scientifique), France Culture. <br> .small[Plusieurs podcasts disponibles sur l'IA.] - Le Petit Illustré [« Intelligence artificielle »](https://www.occitanie-ouest.cnrs.fr/fr/cnrsinfo/le-petit-illustre-intelligence-artificielle-vient-de-paraitre). La Dépêche, CNRS, 2020. <br> .small[Regards croisés de chercheur·euse·s d’ANITI (Artificial and Natural Intelligence Toulouse Institute).] .alert[ Merci pour votre attention, et à la vôtre 🍻 ! ] .center.small[Présentation disponible ici : https://sleglaive.github.io/seminars.html]