Thèse : Doctorant(e) en vision par ordinateur sur l’amélioration de la relocalisation (H/F)

Descriptif du sujet :Thèse en vision par ordinateur sur l’amélioration de l’invariance des descripteurs de caractéristiques visuelles. Actuellement, l'équipe de vision par ordinateur se focalise sur les applications de réalité augmentée, que ce soit dans le domaine de la santé, de l'industrie 4.0 ou de la construction. Fortement active en normalisation, impliquée dans des initiatives open-sources, elle vise l'amélioration de l'interopérabilité des technologies de réalité augmentée, le développement d'innovations, et le transfert technologiques vers ses membres industriels. La réalité augmentée vise à augmenter en temps réel la perception qu’a l’utilisateur du monde réel avec des informations contextuelles visuelles, auditives, voire tactiles parfaitement recalées spatialement. Pour se faire, les systèmes de réalité augmentée doivent se localiser dans l’environnement réel (position et orientation). Aujourd’hui, la majorité des systèmes de réalité augmentée utilisent une ou plusieurs caméras qui capturent des images dans lesquelles des caractéristiques visuelles sont extraites et appariées avec des caractéristiques géométriques 3D préalablement reconstruites. Cet appariement s’appuie sur des descripteurs de caractéristiques visuelles (ex : SIFT, ORB, AKAZE) plus ou moins invariants aux rotations ou à des variations d’éclairage ou d’échelle, mais malheureusement très peu invariants à des points de vue éloignés. Il en résulte une faible capacité des dispositifs de réalité augmentée à se relocaliser dans de vastes espaces, limitant fortement l’adoption de la réalité augmentée.Aussi, cette thèse explorera l’apport des nouvelles représentations basée champs de radiance (ex : NeRF) afin d’améliorer la qualité des appariements entre les caractéristiques extraites des images en temps réel et la représentation 3D de l’environnement réel préalablement reconstruite. Ces nouvelles représentations devront prendre en considération les contraintes de temps réel, de volumétrie des données, et bien évidemment de robustesse. Le projet global sera porté par l’IRT b<>com et la thèse sera dirigée par Guillaume Moreau, Professeur à IMT Atlantique, avec un co-encadrement assuré par le Dr Jérôme Royan, senior scientist de l’IRT b<>com. Résultats attendus : Un état de l’art des solutions d’appariement de caractéristiques 2D et 3D et des techniques exploitant des champs de radiance pour l’estimation de pose de caméras. La publication et la mise en œuvre de représentations et de techniques innovantes permettant d’améliorer la qualité de l’appariement entre des caractéristiques 2D et 3D grâce à des descripteurs plus invariants au point de vue. Une ou plusieurs expérimentations de la solution dans des cas d’usages industriels. Profil recherché : Le candidat doit posséder d’excellentes compétences en développement informatique (C++) et doit également démontrer des aptitudes en vision par ordinateur et en apprentissage automatique.
Scopri di più