$\global\def\myx#1{{\color{green}\mathbf{x}_{#1}}}$ $\global\def\mys#1{{\color{green}\mathbf{s}_{#1}}}$ $\global\def\myz#1{{\color{brown}\mathbf{z}_{#1}}}$ $\global\def\myhnmf#1{{\color{brown}\mathbf{h}_{#1}}}$ $\global\def\myztilde#1{{\color{brown}\tilde{\mathbf{z}}_{#1}}}$ $\global\def\myu#1{\mathbf{u}_{#1}}$ $\global\def\mya#1{\mathbf{a}_{#1}}$ $\global\def\myv#1{\mathbf{v}_{#1}}$ $\global\def\mythetaz{\theta_\myz{}}$ $\global\def\mythetax{\theta_\myx{}}$ $\global\def\mythetas{\theta_\mys{}}$ $\global\def\mythetaa{\theta_\mya{}}$ $\global\def\bs#1{{\boldsymbol{#1}}}$ $\global\def\diag{\text{diag}}$ $\global\def\mbf{\mathbf}$ $\global\def\myh#1{{\color{purple}\mbf{h}_{#1}}}$ $\global\def\myhfw#1{{\color{purple}\overrightarrow{\mbf{h}}_{#1}}}$ $\global\def\myhbw#1{{\color{purple}\overleftarrow{\mbf{h}}_{#1}}}$ $\global\def\myg#1{{\color{purple}\mbf{g}_{#1}}}$ $\global\def\mygfw#1{{\color{purple}\overrightarrow{\mbf{g}}_{#1}}}$ $\global\def\mygbw#1{{\color{purple}\overleftarrow{\mbf{g}}_{#1}}}$ $\global\def\neq{\mathrel{\char`≠}}$

Intelligence artificielle : comment les machines apprennent-elles ?

Simon Leglaive

CentraleSupélec, IETR (UMR CNRS 6164)

10 mai 2022 - Checkpoint Bar, Rennes

« Avec l'intelligence artificielle, nous invoquons le démon. »

Elon Musk
Directeur général de Tesla, SpaceX et Twitter,
co-fondateur d'OpenAI

« Nous sommes plus proches d'une machine à laver intelligente que de Terminator. »

Fei-Fei Li
Professeure et co-directrice de laboratoires en IA à Stanford

Sources :

https://www.washingtonpost.com/news/innovations/wp/2014/10/24/elon-musk-with-artificial-intelligence-we-are-summoning-the-demon/
https://www.nytimes.com/2016/03/07/us/smart-robots-make-strides-but-theres-no-need-to-flee-just-yet.html

👈 L'IA suscite un imaginaire riche alimenté par la science-fiction,

mais la réalité est pour le moment bien différente 👉

Les techniques actuelles en IA se concentrent principalement sur la faculté humaine qui consiste à apprendre de notre expérience du monde.

On parle d'apprentissage machine (machine learning).

Pourquoi, comment, pour quoi faire, et quelles limites ?

Le domaine de l'IA ne saurait se résumer à l'apprentissage machine, les approches symboliques ont également une place importante.

Pourquoi ?Les limites des algorithmes « conçus manuellement »5

Que voyez-vous ? Comment faites vous ?

Crédit image : Wirestock - fr.freepik.com

C'est assez difficile d'exprimer comment on fait, tellement c'est naturel chez nous humains.

C'est par conséquent difficile d'écrire un programme informatique qui reproduise une capacité que nous ne sommes pas en mesure d'expliciter.

Puli ou serpillère ?

Chihuahua ou muffin ?

Crédit images : Karen Zack, 2016.

Le cerveau est si doué pour interpréter sémantiquement des informations visuelles qu'il nous est parfois difficile de décrire les processus cognitifs mis en jeu.

Comment faire alors pour écrire un programme informatique qui puisse voir ?

1 million d'images à classifier suivant mille catégories.

Nous sommes en octobre 2012 à la conférence ECCV qui réunit les chercheur·euse·s spécialisé·e·s en vision par ordinateur.

Un événement majeur va brusquement renverser le paradigme dominant : c'est la (re)-naissance des réseaux de neurones profonds !

Avant 2012 : Descripteurs et reconnaissance des formes

Image d'entraînement

Crédit image : Gilles Louppe, INFO8010 - Deep Learning, ULiège.

Identification des caractéristiques (descripteurs) et création d'un prototype

Crédit image : Gilles Louppe, INFO8010 - Deep Learning, ULiège.

Image test

Extraction des caractéristiques et comparaison avec le prototype (reconnaissance des formes)

👍

Image test

Crédit image : Gilles Louppe, INFO8010 - Deep Learning, ULiège.

Extraction des caractéristiques et comparaison avec le prototype (reconnaissance des formes)

👎

Crédit image : Gilles Louppe, INFO8010 - Deep Learning, ULiège.

2012 : La (re)naissance des réseaux de neurones

« Ce qui était conçu comme la partie humaine de la fabrication des calculateurs, le programme, les règles ou le modèle, n’est plus ce qui est introduit dans le système, mais ce qui en résulte. »
(Cardon et al., 2018)

D. Cardon et al., La revanche des neurones, Réseaux, La Découverte, 2018.

L'extraction d'information dans des données de natures variées requière des programmes d'une telle complexité qu'ils ne peuvent être conçus « à la main ».

L'apprentissage machine, notamment avec des réseaux de neurones profonds, consiste à laisser la machine apprendre à résoudre la tâche à partir d'un grand nombre d'exemples, sans la programmer explicitement.

Après 2012 : l'ère du « deep learning »

Comment ?Réseaux de neurones artificiels22

1943 - Neurone formel

Walter Pitts, logicien, et Warren McCulloch, neuroscientifique, proposent le premier modèle mathématique de neurone biologique.

McCulloch (gauche) and Pitts (droite)

Le neurone formel possède plusieurs entrées et une sortie qui correspondent respectivement aux dendrites et au point de départ de l'axone. Les poids synaptiques du neurone biologique sont représentés par des coefficients numériques associés aux entrées. Un neurone formel calcule la somme pondérée des entrées reçues, puis applique à cette valeur une fonction d'activation, généralement non linéaire. La valeur finale obtenue est la sortie du neurone.

1957 - Perceptron

Frank Rosenblatt propose un algorithme permettant d'apprendre automatiquement les poids d'un neurone formel à partir d'une base de données étiquetée, pour un problème de classification binaire.

Mark I Percetron (Frank Rosenblatt).

Réseau de neurones profond

Assemblage d'unités de calcul élémentaires semblables au neurone formel.

Un réseau de neurones profond définit une fonction mathématique complexe qui permet de calculer une prédiction à partir de données d'entrée.

Apprentissage supervisé

1. Collecte d'une base de données étiquetées

Apprentissage supervisé

2. Définition d'une architecture de réseau de neurones

Apprentissage supervisé

3. Prédiction pour un exemple de la base d'apprentissage

Apprentissage supervisé

4. Calcul de l'erreur de prédiction

Apprentissage supervisé

5. Mise à jour des poids pour minimiser l'erreur

poids $\leftarrow$ poids $-$ pas $\times$ gradient de l'erreur

Apprentissage supervisé

6. Répétition du processus avec un autre exemple de la base d'apprentissage

Après de multiples passes (époques) sur la base d'entraînement, le réseau de neurones a appris à résoudre la tâche.

Pourquoi un tel succès seulement aujourd'hui ?

Algorithmes (anciens et nouveaux)

Données massives

Puissance de calcul

Géants du numérique

Logiciels, science reproductible et collaborative

3 chercheurs

Crédit : Adapté de Gilles Louppe, INFO8010 - Deep Learning, ULiège.

Pour quoi faire ?Tout ... ce que permettent les données d'entraînement35

Tant que des données d'entraînement existent en quantité suffisante, le même type d'algorithme d'apprentissage peut être déployé pour résoudre une tâche quelconque.

Détection d'objets, estimation de pose, segmentation

Reconnaissance et synthèse de la parole, questions-réponses

Détection de cancer de la peau

Jeu de Go

Véhicule autonome

Génération d'images de visage

Depuis 2010, domaine après domaine, les réseaux de neurones profonds ont bouleversé les communautés du traitement du signal, de la voix, de l’image et du texte.

GPT-3 Chatbot

Apprentissage de la marche en environnement virtuel

Simulation physique

Prédiction de la structure 3D de protéines à partir de leur séquence génétique

Composition musicale

Transfert de style artistique

Quelles limites ?38

L'intelligence des machines est aujourd'hui très étroite.

Les algorithmes sont entraînés pour une tâche bien particulière, pour laquelle ils peuvent avoir des performances surhumaines car ils sont capables de détecter et d'exploiter des régularités dans des volumes de données gigantesques.

L'intelligence ne se limite pas à la reconnaissance des formes.

Crédit image : https://www.smbc-comics.com/comic/ai-9

Que manque-t-il ?

Comprendre ce qui est perçu et expliquer ce qui est prédit.

Crédit image : (gauche) Cloudera Fast Forward, Causality for Machine Learning ; (droite) Chen et al., ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector, ECML-PKDD 2018.

Il est possible d'entraîner un système à reconnaître un cancer dans des images médicales avec une grande précision, à condition qu'on lui fournisse beaucoup d'images et de puissance de calcul.. Mais contrairement à un médecin, il ne peut pas expliquer pourquoi ou comment une image particulière suggère une maladie, et il ne peut pas évaluer l'incertitude de sa prédiction.

Que manque-t-il ?

Imaginer ce qui pourrait être perçu mais qui ne l'a pas encore été.

Crédit images : (gauche) Cloudera Fast Forward, Causality for Machine Learning ; (droite) S. Beery et al., Recognition in Terra Incognita, ECCV, 2018.

Que manque-t-il ?

Plannifier des actions d'amélioration et apprendre en continu.

Crédit photo : Ministère du travail, de l'emploi et de l'insertion (https://travail-emploi.gouv.fr/le-ministere-en-action/formation-je-passe-a-l-action/article/moncompteformation-kit-de-communication)

Que manque-t-il ?

Le Turc mécanique, gravure de Karl Gottlieb von Windisch dans le livre de 1783, Raison inanimée.

300 jours d'annotation des données d'entraînement
(1h30 x 5k images)

Apprendre de façon faiblement supervisée.

Que manque-t-il ?

L'entraînement d'un seul modèle peut émettre autant de carbone que cinq voitures au cours de leur vie.

Réduire l'empreinte carbone.

Crédit image : MIT Technology Review
Source: E. Strubell et al., Energy and Policy Considerations for Deep Learning in NLP, ACL, 2019.

Conclusion45

Une définition de l'IA

Ensemble des théories et techniques ayant pour objectif de permettre à une machine d'interpréter sémantiquement des informations perçues depuis son environnement dans le but d'effectuer des actions.

Inspiré de la définition de l'IA de Peter Norvig et Stuart J. Russell dans "Artificial Intelligence: A Modern Approach", 1995

Autrement dit, reproduire ce qu'en tant qu'humain nous faisons quotidiennement, pour des tâches qui peuvent être très complexes et avec une excellente capacité d'adaptation à des situations nouvelles.

L'objectif peut être de remplacer l'humain quand la tâche est pénible (e.g. robot, voiture autonome), d'assister l'humain dans sa prise de décision (e.g. système de recommendation de film, diagnostic médical), ou simplement de faire de l'argent (publicité ciblée).

Cette définition est bien plus ambitieuse que ce que les techniques actuelles permettre de faire.

« Durant les quarante dernières années nous avons programmé les ordinateurs ; durant les quarante prochaines nous les entraînerons. »

Chris Bishop, The Real AI Revolution, NeurIPS 2020.

For the last forty years we have programmed computers, for the next forty years we will train them.

Pour aller plus loin

Elements of AI
Cours en ligne à destination du grand public.
D. Cardon, J.-P. Cointet, A. Mazieres, La revanche des neurones. Réseaux, La Découverte, 2018.
Article retraçant l'histoire de l'IA au travers de la tension entre approches symbolique et connexionniste.
La méthode scientifique, France Culture.
Plusieurs podcasts disponibles sur l'IA.
Le Petit Illustré « Intelligence artificielle ». La Dépêche, CNRS, 2020.
Regards croisés de chercheur·euse·s d’ANITI (Artificial and Natural Intelligence Toulouse Institute).

Merci pour votre attention, et à la vôtre 🍻 !

Présentation disponible ici : https://sleglaive.github.io/seminars.html

Help

Keyboard shortcuts

↑, ←, Pg Up, k

Go to previous slide

↓, →, Pg Dn, Space, j

Go to next slide

Home

Go to first slide

End

Go to last slide

Number + Return

Go to specific slide

b / m / f

Toggle blackout / mirrored / fullscreen mode

Clone slideshow

Toggle presenter mode

Restart the presentation timer

?, h

Toggle this help