Le robot apprend à voir l’eau et à la verser dans un verre
Un cheval, un zèbre et une intelligence artificielle ont aidé les chercheurs à apprendre à un robot à reconnaître l’eau et à la verser dans un verre.
L’eau présente un défi délicat pour les robots car elle est claire. Les robots ont déjà appris à verser de l’eau, mais les techniques précédentes comme chauffer l’eau et utiliser une caméra thermique ou placer le verre devant un fond en damier ne s’adaptent pas bien à la vie quotidienne.
Une solution plus simple pourrait permettre aux robots serveurs de remplir les verres à eau, aux robots pharmaciens de mesurer et mélanger les médicaments, ou aux robots jardiniers d’arroser les plantes.
Maintenant, les chercheurs ont utilisé l’IA et la traduction d’images pour résoudre le problème.
Les algorithmes de traduction d’images utilisent des collections d’images pour entraîner l’intelligence artificielle à convertir des images d’un style à un autre, comme transformer une photo en une peinture de style Monet ou faire ressembler une image de cheval à un zèbre. Pour cette recherche, l’équipe a utilisé une méthode appelée apprentissage contrastif pour la traduction d’image à image non appariée, ou CUT, en abrégé.
“Vous avez besoin d’un moyen de dire à l’algorithme quelles sont les bonnes et les mauvaises réponses pendant la phase de formation de l’apprentissage”, explique David Held, professeur adjoint à l’Institut de robotique de l’Université Carnegie Mellon. “Cependant, l’étiquetage des données peut prendre du temps, en particulier pour apprendre à un robot à verser de l’eau, pour lequel l’humain peut avoir besoin d’étiqueter des gouttelettes d’eau individuelles dans une image.”
Entrez le cheval et le zèbre.
“Tout comme nous pouvons entraîner un modèle à traduire l’image d’un cheval pour qu’il ressemble à un zèbre, nous pouvons également entraîner un modèle à traduire une image de liquide coloré en une image de liquide transparent”, explique Held. “Nous avons utilisé ce modèle pour permettre au robot de comprendre les liquides transparents.”
Un liquide transparent comme l’eau est difficile à voir pour un robot car la façon dont il réfléchit, réfracte et absorbe la lumière varie en fonction de l’arrière-plan. Pour apprendre à l’ordinateur à voir différents arrière-plans à travers un verre d’eau, l’équipe a diffusé des vidéos YouTube derrière un verre transparent rempli d’eau. Entraîner le système de cette manière permettra au robot de verser de l’eau dans des environnements variés du monde réel, quel que soit l’endroit où se trouve le robot.
“Même pour les humains, il est parfois difficile d’identifier avec précision la frontière entre l’eau et l’air”, explique Gautham Narasimhan, qui a obtenu sa maîtrise à l’Institut de robotique en 2020 et a travaillé avec une équipe du laboratoire de perception et d’action des robots de l’institut sur le nouveau travailler.
En utilisant leur méthode, le robot a pu verser l’eau jusqu’à ce qu’elle atteigne une certaine hauteur dans un verre. Ils ont ensuite répété l’expérience avec des verres de différentes formes et tailles.
Narasimhan dit qu’il y a de la place pour de futures recherches pour développer cette méthode – en ajoutant différentes conditions d’éclairage, en défiant le robot de verser de l’eau d’un récipient à un autre, ou en estimant non seulement la hauteur de l’eau, mais aussi le volume.
Les chercheurs ont présenté leurs travaux lors de la conférence internationale IEEE sur la robotique et l’automatisation en mai 2022.
“Les gens de la robotique apprécient vraiment que la recherche fonctionne dans le monde réel et pas seulement dans la simulation”, déclare Narasimhan, qui travaille maintenant comme ingénieur en vision par ordinateur chez Path Robotics à Columbus, Ohio. “Nous voulions faire quelque chose d’assez simple mais efficace.”
.
