Une table de jeu, un disque filant à toute vitesse sur une table de jeu hockey aérien et un bras robotique qui joue comme un pro. Trois étudiants en ingénierie physique deUBC (Université de la Colombie-Britannique) ont réussi un exploit qui pourrait potentiellement redéfinir la façon dont les robots sont formés. Les trois jeunes chercheurs ont créé un Robot de hockey sur air piloté par l’IA capable de défier et de battre les humains, malgré leur appris à jouer exclusivement dans une simulation virtuelle.
Généralement, pour apprendre à un système robotique à réaliser des gestes complexes dans le monde physique, la méthode des essais et des erreurs est utilisée directement sur le terrain. Cette approche classique, bien que valable, implique une énorme perte de temps et un risque réel d’usure ou de rupture des composants mécaniques en raison de pannes initiales continues. Cependant, des chercheurs canadiens ont contourné le problème transférer toute la phase d’apprentissage dans l’espace virtueldéveloppant un « jumeau numérique », c’est-à-dire une réplique numérique très détaillée de la table réelle, au sein de laquelle l’algorithme a pu jouer à des millions de jeux et commettre une infinité d’erreurs sans subir de dommages matériels.
Une fois ce parcours d’étude simulé terminé, le cerveau virtuel a été copié et transféré dans le corps mécanique du robot. Le résultat est intéressant : dès le premier instant, la machine s’est révélée immédiatement prête à concourir, démontrant une efficacité extraordinaire contre de vrais adversaires et ouvrant de nouvelles frontières pour la formation des systèmes autonomes du futur.
Comment le robot a été formé
Mais comment préparer un logiciel pour gérer la réalité chaotique d’un jeu de air hockey sans jamais le faire toucher une vraie table de air hockey ? Ce sport est un véritable défi pour les robots, car le disque se déplace à des vitesses très élevées, rebondit de manière imprévisible et est affecté par des variations minimes provoquées par les impacts avec les berges ou avec le bouton de jeu. De plus, dans la réalité physique, des obstacles techniques complexes entrent en jeu tels que la latence (c’est-à-dire le délai avec lequel les données passent de la caméra au moteur), les micro-vibrations de la structure et les légères chutes de tension électrique.
Pour surmonter ces obstacles, l’équipe de l’UBC a adopté une stratégie contre-intuitive : elle a conçu un environnement virtuel intentionnellement imparfait. Grâce à une technique appelée « randomisation du domaine »les étudiants ont inséré dans la simulation des éléments perturbateurs tels que des côtés irréguliers, des tables légèrement déformées et des anomalies rebondissantes. Cela a permis à l’intelligence artificielle de ne pas s’appuyer sur des calculs géométriques rigides et parfaits, mais d’apprendre à prédire une trajectoire approximative de la rondelle, en se préparant à gérer l’inattendu exactement comme le ferait un joueur humain.
Pour rendre l’apprentissage rapide et efficace, les chercheurs ont évité les moteurs graphiques commerciaux classiques et ont mis en place un algorithme avancé basé sur le mécanisme « acteur-critique doux ». Le système appartient à la famille des apprentissage par renforcementune technique dans laquelle l’algorithme apprend en recevant des récompenses lorsqu’il prend de bonnes décisions et a été conçue pour maximiser les performances sans renoncer à l’expérimentation de nouvelles stratégies.
Pour matérialiser tout cela dans le monde physique, la vraie table a été équipée d’un caméra positionnée d’en haut et un disque recouvert de ruban rétro-réfléchissantun matériau capable de renvoyer la lumière directement vers la source qui l’émet, permettant à l’œil électronique de suivre les mouvements à 120 images par seconde.
Vous pouvez apprécier le résultat de l’utilisation de ce système à partir de la vidéo suivante.
Les implications futures possibles de l’expérience
La véritable victoire de cette expérience, née à l’origine au sein du laboratoire universitaire pour créer une plateforme pédagogique pour les futurs cours d’automatisation, va bien au-delà du simple plaisir. Les étudiants ont surmonté des mois de défis techniques pour intégrer la mécanique du robot à un modèle de contrôle rétroactionun système prédictif qui anticipe les erreurs avant qu’elles ne surviennent et applique des corrections en temps réel.
Le succès de ce transfert du virtuel au réel est de bon augure pour l’avenir, ouvrant des scénarios dans lesquels entraîner en toute sécurité et rapidement des drones, des véhicules autonomes, des robots industriels, etc., au sein de simulations réalistes ne sera pas du tout utopique.