Billets publiés le 3 février 2015

Martin LessardApprendre sur YouTube? Les robots le feront!

par

 publié le 3 février 2015 à 14 h 48

Alors qu’il y en a qui doutent encore qu’Internet puisse être une source d’apprentissage pour les jeunes, voilà de quoi peut-être leur faire changer d’avis.

robotculinaire

Hier, deux professeurs de l’Université du Maryland, un de leurs étudiants au doctorat et un chercheur diplômé de l’Université ont déposé en ligne un document de recherche sur la façon dont un robot pourrait apprendre des choses à partir de vidéos offertes librement en ligne.

Une des difficultés de la robotique réside dans la façon dont la machine acquiert de nouvelles connaissances.

Si le concepteur d’un robot devait entrer lui-même toutes les consignes pour que celui-ci se débrouille tout seul, à la moindre inconnue, le robot s’arrêterait.

Apprendre en imitant

Les lecteurs de Triplex connaissent bien la notion d’apprentissage par représentations profondes (deep learning), puisqu’on en a parlé ici à maintes reprises.

Le robot de demain devra apprendre à apprendre par lui-même. De nouveaux outils informatiques sont en train d’émerger pour permettre d’interpréter et d’imiter les actions humaines.

Dans l’étude mentionnée plus haut, on suggère qu’un programme est capable de traiter des vidéos en ligne pour en extraire des séquences d’actions élémentaires. Ces séquences élémentaires serviront aux robots à acquérir de nouvelles connaissances.

Les vidéos peuvent être, par exemple, des cours de plomberie, de musique ou de cuisine (ces derniers étant le domaine à l’étude dans le document).

Apprendre en regardant

En se basant sur des réseaux neuronaux, les auteurs proposent deux modules, un pour la reconnaissance visuelle de base, et un pour la classification des actions et des objets observés.

De l’ensemble des vidéos regardées émerge une « grammaire de manipulations », qui permet au robot d’apprendre l’enchaînement des gestes pour arriver à ses fins.

2

Les premiers tests montrent que cette approche donne de très bons résultats. On aura peut-être un jour une tout autre image de ce qu’est un « robot culinaire ».

YouTube, l’école des robots

Insistons ici pour souligner de nouveau que les vidéos utilisées dans ces tests proviennent du web et n’ont pas été conçues pour les besoins de la démonstration.

En tout, les chercheurs ont utilisé 88 vidéos de cuisines provenant de YouTube. De cet ensemble, 12 vidéos ont subi un traitement particulier (mise à niveaux de gris, annotations image par image des objets à l’écran) pour permettre au programme d’apprendre les mouvements et les objets fondamentaux.

Fort de cet apprentissage de base, le programme était capable ensuite de comprendre par lui-même les autres vidéos (objets manipulés, ingrédients, position de la main, action à faire, force à appliquer) avec des taux de reconnaissance qui variaient de 79 % à 91 %.

1

Leurs résultats montrent que ce système est très robuste pour créer des arbres de décision ad hoc en fonction de vidéos qui montrent de nouvelles recettes.

La promesse des « robots de service domestique » n’est pas encore réalisée : il reste encore à associer ce système d’apprentissage à des mécanismes de manipulation physique. Et à faire monter le degré de reconnaissance plus près de 100 %.

Toutefois, on voit bien qu’un pas vient d’être franchi pour qu’un robot devienne, comme les jeunes, accro à YouTube.

Et, dans son cas à lui, c’est bien pour apprendre!

Pour en savoir plus:

Document de recherche (en anglais): Robot Learning Manipulation Action Plans by “Watching” Unconstrained Videos from the World Wide Web (PDF). Les images de ce billet viennent de ce document. Sauf la première, en forme clin d’oeil, qui est de moi.

Triplex : L’apprentissage neuronal pour structurer le monde

Triplex : Se faire remplacer par un iPad?