PhD position (m/f): Multimodal perception and movement generation by hybrid control for robotic manipulation

Description du Poste

Sujet De Thèse

Les robots sont de plus en plus amenés à quitter les cellules industrielles structurées pour évoluer dans des environnements ouverts, tels que les exploitations agricoles, les ateliers, les entrepôts, les hôpitaux, les domiciles ou les sites d’intervention en extérieur. Les progrès récents en locomotion et en manipulation humanoïdes montrent que les robots deviennent progressivement capables d’exécuter des tâches complexes dans des environnements non structurés [6]. En parallèle, les avancées des foundation models ouvrent de nouvelles possibilités pour intégrer la compréhension sémantique, la planification de tâches et la génération d’actions robotiques. En particulier, les vision-language-action models offrent une voie prometteuse vers des systèmes robotiques plus polyvalents et généralisables. Toutefois, au-delà de la compréhension des objectifs d’une tâche et de la génération d’actions, les robots doivent pouvoir gérer des interactions physiques complexes et tenir compte des propriétés et du mouvement des objets manipulés. Atteindre ces capacités dans des environnements non structurés reste un défi de recherche ouvert, qui nécessite de nouvelles avancées en perception multimodale, en manipulation dextre et en contrôle adaptatif.
Ce projet de doctorat porte sur la manipulation robotique dans des environnements moins contrôlés, où la manipulation classique d’objets rigides, reposant principalement sur l’estimation de la pose 6D, n’apporte qu’une réponse partielle. De nombreux objets rencontrés en pratique sont déformables, articulés, flexibles, partiellement occultés ou soumis à des contacts au cours de l’interaction. Leur état ne peut pas toujours être réduit à une pose rigide : la forme, la géométrie locale, les conditions de contact, la stabilité de la préhension, la réponse du matériau et les affordances liées à la tâche peuvent toutes être pertinentes pour l’action.
Les revues récentes consacrées à la manipulation robotique de textiles [2], ainsi que les travaux de benchmark sur la sélection des prises, tels que [5], montrent que les objets déformables, notamment les textiles, mettent clairement en évidence les limites de la manipulation fondée sur la pose. Le robot doit raisonner sur l’évolution de la forme, les contacts et l’observabilité partielle, plutôt que de se limiter à l’estimation d’une transformation rigide.
C’est dans ce contexte que l’hybridation devient essentielle. Les approches model-based apportent une structure, une cohérence physique et des contraintes orientées vers le contrôle, mais elles restent souvent incomplètes lorsque le robot interagit avec des objets dont la géométrie, les propriétés matérielles et les conditions de contact ne sont que partiellement connues. Comme le souligne [1], les approches data-driven peuvent apprendre à partir de l’expérience des descripteurs visuels, des latent states, des residual dynamics ou des action priors, mais elles peuvent nécessiter de grands jeux de données et ne fournissent pas naturellement de garanties de sécurité ou de stabilité. La manipulation dans le monde réel appelle donc des méthodes combinant les deux approches : des modèles pour contraindre et guider l’action, et des données pour s’adapter aux phénomènes difficiles à modéliser explicitement.
Cette thèse s’inscrit dans le PEPR Robotique et, plus précisément, dans le projet HAMMER, consacré à l’hybridation des méthodes model-based et data-driven pour la génération de mouvements en robotique. Les travaux proposés contribueront à cet objectif du PEPR dans le contexte de la manipulation. Les représentations récentes d’affordances multimodales [3] illustrent également l’intérêt d’associer une perception visuelle externe à un retour sensoriel local pour la manipulation. L’idée centrale consiste à développer des stratégies hybrides de perception et de contrôle combinant des a priori géométriques et physiques, des représentations apprises, une perception multimodale et un safety-aware control, afin de permettre au robot d’agir avec adaptabilité et cohérence physique.
[1] Ai, B., et al. “A review of learning-based dynamics models for robotic manipulation.” Science Robotics (2025)
[2] Longhini, A., et al. “Unfolding the Literature: A Review of Robotic Cloth Manipulation.” Annual Review of Control, Robotics, and Autonomous Systems (2025).
[3] Wu, Q., et al. “TARS: Tactile Affordance in Robot Synesthesia for Dexterous Manipulation.” IEEE Robotics and Automation Letters (2025)
[4] Zhao, W., et al. “VLMPC: Vision-Language Model Predictive Control for Robotic Manipulation.” Robotics: Science and Systems. (2024)
[5] De Gusseme, V.-L., et al. “A Dataset and Benchmark for Robotic Cloth Unfolding Grasp Selection: The ICRA 2024 Cloth Competition.” The International Journal of Robotics Research. (2026)
[6] Gu, Zhaoyuan et al. “Humanoid Locomotion and Manipulation: Current Progress and Challenges in Control, Planning, and Learning” IEEE/ASME Transactions on Mechatronics 31.2 (2026)

Votre Environnement de Travail

Le doctorat travaillera dans le cadre du projet ciblé HAMMER du PEPR Robotique.
La thèse s’articulera autour de trois contributions principales :
• Représenter les états de grande dimension des objets. Construire des représentations multimodales compactes combinant la géométrie RGB-D, la forme locale, les indices de contact, les signaux proprioceptifs et les descripteurs appris.
• Hybrider les approches model-based et data-driven pour le contrôle. Développer des stratégies de manipulation closed-loop dans lesquelles les contraintes physiques et géométriques guident l’apprentissage, tandis que les composantes apprises améliorent l’adaptation à l’incertitude.
• Ancrer les high-level action priors dans le retour physique. Utiliser des foundation models ou des vision-language-action models pour proposer des objectifs, des actions ou des primitives de manipulation, puis les affiner grâce au retour multimodal, aux contraintes model-based et au safety-aware control.
Les travaux expérimentaux seront menés sur un cobot équipé de différentes modalités de perception. Le résultat attendu est un framework hybride de perception et de contrôle pour la manipulation robotique dans le monde réel, permettant au robot d’adapter ses actions à partir de représentations riches de l’état des objets et d’un retour physique en temps réel.

Rémunération et avantages

Rémunération

La rémunération est d'un minimum de 2300,00 € mensuel

Congés et RTT annuels

44 jours

Pratique et Indemnisation du TT

Pratique et indemnisation du TT

Transport

Prise en charge à 75% du coût et forfait mobilité durable jusqu’à 300€

À propos de l’offre

Référence de l’offre UMR6303-CEDDEM-002 Section(s) CN / Domaine de recherche Sciences informatiques : signaux, images, langues, automatique, robotique, interactions, systèmes intégrés matériel-logiciel

À propos du CNRS

Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d’associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement.

Le CNRS

Les métiers de la recherche