Contributions pour les applications de réalité augmentée. Suivi visuel et recalage 2D. Suivi d'objets 3D représentés par des modèles par points

Abstract

Cette thèse présente plusieurs méthodes de recalage pour les applications de réalité augmentée (R.A.). Nous décrivons d'abord des expériences de R.A. utilisant des recalages et suivis uniquement 2D. Nous nous intéressons ensuite au suivi visuel d'un objet naturel dont on connaît un modèle 3D et dont l'image peut ainsi être augmentée avec une cohérence spatiale et temporelle. Dans une première partie, nous proposons d'abord d'utiliser un recalage homographique en temps-réel pour augmenter des séquences filmées par une caméra en rotation autour de son centre optique. Dans une autre application, des transformations non rigides sont calculées hors ligne pour augmenter les images naturelles des parois gravées d'une grotte préhistorique. Le recalage géométrique des interprétations graphiques d'un préhistorien permet de créer un logiciel de découverte interactive des parois. Dans la seconde et majeure partie de ce travail, nous partons des méthodes de suivi 3D de l'état de l'art prises parmi les plus performantes. Ces méthodes consistent à suivre un objet naturel connaissant sa représentation par un maillage 3D. Nous proposons une approche de suivi visuel 3D utilisant quant à elle des modèles par points de l'objet. Ce type de modèle, caractérisé par l'absence de topologie, est encore peu utilisé en vision par ordinateur mais il présente une souplesse intéressante par rapport aux modèles constitués de facettes. La méthode de suivi que nous proposons consiste à interpréter des mises en correspondances 2D entre points d'intérêt en termes de variations de positions 3D. Le processus d'estimation sous-jacent utilise des champs de mouvements déduits des modèles 3D par points et des reconstructions par Moving Least Squares et splatting. Ces techniques développées par la communauté d'informatique graphique s'attachent à reconstruire localement (explicitement ou implicitement) la surface de l'objet à suivre et certains attributs dénis de manière éparse sur le nuage de points. Nous les adaptons à l'interpolation des champs de mouvements. L'avantage de notre approche est d'aboutir à un algorithme enchaînant quelques étapes d'estimation linéaires pour la détermination du mouvement 3D inter-images. Notre technique de résolution est intégrée à une adaptation originale d'un algorithme de suivi visuel de l'état de l'art qui repose sur un suivi hybride, combinant les informations issues de l'image précédente et celles apportées par des images clés acquises hors ligne. Une des particularités de notre implantation vient aussi de l'exploitation des capacités des unités de calcul graphiques (GPU) modernes pour les parties critiques de l'algorithme (extraction de points d'intérêt, appariement et calcul de champs de mouvements).