Méthodes variationnelles pour la segmentation avec application à la réalité augmentée

Abstract

Dans cette thèse, nous nous intéressons au problème de la segmentation de portraits numériques. Nous appelons portrait numérique la photographie d’une personne avec un cadre allant grossièrement du gros plan au plan poitrine. Le problème abordé dans ce travail est un cas spécifique de la segmentation d’images où il s’agit notamment de définir précisément la frontière de la région « cheveux ». Ce problème est par essence très délicat car les attributs de la région « cheveux » (géométrie, couleur, texture) présentent une grande variabilité à la fois entre les personnes et au sein de la région. Notre cadre applicatif est un système d’« essayage virtuel » de lunettes à destination du grand public, il n’est pas possible de contrôler les conditions de prise de vue comme l’éclairage de la scène ou la résolution des images, ce qui accroît encore la diculté du problème. L’approche proposée pour la segmentation de portraits numériques est une approche du plus grossier au plus fin procédant par étapes successives. Nous formulons le problème comme celui d’une segmentation multi-régions, en introduisant comme « régions secondaires », les régions adjacentes à la région « cheveux » , c.-à-d. les régions « peau » et « fond ». La méthode est fondée sur l’apparence (appearance-based method) et a comme spécificité le fait de déterminer les descripteurs de régions les plus adaptés à partir d’une base d’images d’apprentissage et d’outils statistiques. À la première étape de la méthode, nous utilisons l’information contextuelle d’un portrait numérique — connaissances a priori sur les relations spatiales entre régions— pour obtenir des échantillons des régions « cheveux », « peau » et « fond ». L’intérêt d’une approche fondée sur l’apparence est de pouvoir s’adapter à la fois aux conditions de prises de vue ainsi qu’aux attributs de chaque régions. Au cours de cette étape, nous privilégions les modèles de forme polygonaux couplés aux contours actifs pour assurer la robustesse du modèle. Lors de la seconde étape, à partir des échantillons détectés à l’étape précédente, nous introduisons un descripteur prenant en compte l’information de couleur et de texture. Nous proposons une segmentation grossière par classification en nous appuyant à nouveau sur l’information contextuelle : locale d’une part grâce aux champs de Markov, globale d’autre part grâce à un modèle a priori de segmentation obtenu par apprentissage qui permet de rendre les résultats plus robustes. La troisième étape ane les résultats en définissant la frontière des « cheveux » comme une région de transition. Cette dernière contient les pixels dont l’apparence provient du mélange de contributions de deux régions (« cheveux »et « peau » ou «fond »). Ces deux régions de transition sont post-traitées par un algorithme de «démélange » (digital matting) pour estimer les coecients de transparence entre « cheveux » et « peau », et entre « cheveux » et « fond ». À l’issue de ces trois étapes, nous obtenons une segmentation précise d’un portrait numérique en trois « calques », contenant en chaque pixel l’information de transparence entre les régions « cheveux », « peau » et « fond ». Les résultats obtenus sur une base d’images de portraits numériques ont mis en évidence les bonnes performances de notre méthode.