Exploration of Teacher-Centered and Task-Centered paradigms for efficient transfer of skills between morphologically distinct robots
Exploration des paradigmes Enseignant-centré et Tâche-centré pour le transfert de compétences entre robots de morphologie distincte
Résumé
Recently, it has been possible to observe the acceleration of robot deployment in domains beyondthe usual industrial and manufacturing framework. However, for the majority of autonomoustasks, the definition of an analytical model or the search for an optimal (or acceptable) solutionrequires resources that are seldom available in real-time, thus favoring learning-based techniques.Indeed, learned models present the advantage of being model-free as well as having a constantexecution time, consequently enabling the realization of highly complex trajectories and tasks.Data-driven techniques, however, are hindered by considerable training time, frequently requiringmillions of examples and interactions with their environment to build acceptable control policies.As such, knowledge transfer, also known as transfer learning, between models is crucial for largescaledeployment of learned policies. Although transmission strategies have been the focus ofrecent concerns, they are mainly directed towards the fields of vision or language understandingand are not directly applicable to control environments where skill transfer is likely to happenbetween robots with different kinematic structures. The works presented in this thesis manuscriptfocus precisely on this point and aims at determining to what extent understanding between twomorphologically distinct entities is possible. This question is explored through the introductionof two distinct paradigms: Task-Centered and Teacher-Centered. The Task-Centered family oftechniques is based on the idea of the separation of task-related know-how from robot control policy.Such an independent kernel can therefore be passed on to other robots of different morphology andideally make it possible for the new agent to perform the task. In this context, several blueprintsfor creating this kernel are proposed and evaluated on a wide range of simulated environments.However, despite the attractive prospects of this formulation, the "one-size-fits-all" character ofTask-Centered techniques is not free of limitations which are extensively discussed. It is in thiscontext that Teacher-Centered approaches are introduced. Pursuing the same objective, theseinnovative procedure involve an expert agent from which the knowledge related to the task mustbe distilled into the target agent. To do this, an original metric is used to circumvent the structuraldifferences between the target agent and the expert agent and allow, despite this distinction, theerror to be back-propagated in order to optimize the agent.
Récemment, il a été possible d’observer l’accélération du déploiement de robots dans des domaines dépassant l’habituel cadre industriel et manufacturier. Cependant, pour la majorité des tâches autonomes, la définition d’un modèle analytique ou la recherche d’une solution optimale requiert des ressources rarement accessibles en temps-réel, favorisant par conséquent des techniques basées sur l’apprentissage. Ces dernières, présentant l’avantage de ne pas nécessiter de modèle ainsi que de présenter un temps de calcul en exécution relativement constant, permettent d’appréhender des configurations et tâches hautement complexes. Les techniques basées sur les données font cependant état de temps d’entraînement considérables, nécessitant fréquemment des millions d’exemples et d’interaction avec leur environnement pour construire des politiques de contrôle admissibles. Le transfert de connaissance entre modèles est crucial pour le déploiement à grande échelle des méthodes d’apprentissage et bien que des stratégies de transmission aient été au coeur des récentes préoccupations, elles sont essentiellement dirigées vers les domaines de vision ou de compréhension du langage et ne sont pas directement applicables à des problématiques de transfert de compétences entre robots présentant des structures cinématique différentes. Les travaux présentés dans ce manuscrit de thèse se focalisent précisément sur ce point et visent à déterminer dans quelle mesure la compréhension entre deux entités morphologiquement distinctes est possible. Cette question est explorée via l’introduction de deux paradigmes distincts: Task-Centered et Teacher-Centered. La famille de techniques dite Task-Centered est basée sur l’idée de la séparation du savoir-faire relatif àune tâche des stratégies de contrôle du robot. A la manière d’une notice d’instruction, un tel noyau indépendant peut par conséquent être passé à d’autres robots de morphologie différentes et idéalement rendre possible la réalisation de la tâche par ce nouvel agent. Dans ce contexte, plusieurs procédures de création de ce noyau sont proposées et évaluées sur un large panel d’environnements simulés. Cependant, en dépit des perspectives attractives de cette formulation, le caractère "onesize-fits-all" des techniques Task-Centered n’est pas exempte de limitations qui sont extensivement discutées. C’est dans ce contexte que les approches Teacher-Centered sont introduites. Poursuivant le même objectif, ces démarches innovantes font intervenir un agent expert à partir duquel le savoir relatif à la tâche doit être distillé dans l’agent cible. Pour ce faire, une métrique originale est utilisée pour contourner la différence de structure entre l’agent cible et l’agent expert et permettre,malgré cette distinction, la rétro-propagation de l’erreur afin d’optimiser l’agent.
Origine : Version validée par le jury (STAR)