AccueilNouvelles récentes:
Unwrap Mosaic de Microsoft
Le 24/08/2008 à 15h11
par Shaal
Cliquez pour agrandir
Présentée au Siggraph 2008, "Unwrap Mosaic" est une technologie tout droit issue de la recherche Microsoft.
Avec leur algorithme, les ingénieurs de Microsoft sont tout simplement capables de trafiquer le visage d’un acteur sur une vidéo sans passer par la 3D et ses processus fastidieux. Il leur est possible de modifier des éléments en mouvement aussi facilement qu'une retouche Photoshop!
Si l’on veut re-texturer un visage ou un objet dans un plan en mouvement, il faut envisager d’extraire la forme 3D de l’élément puis de lui appliquer la nouvelle texture. Même si, comme l’explique Microsoft dans son article, les technologies actuelles permettent de plus en plus la récupération d’informations tridimensionnelles dans une image 2d (on pense aux logiciels type boujou), la mise en place automatisée d’une telle édition vidéo reste problématique.
La solution trouvée par Microsoft consiste à ne pas passer par la forme 3D pour re-texturer l’élément. Le procédé "Unwrap Mosaic" fait ce qu’ils appellent un 2d-to-2d mapping de l’objet. Autrement dit, ils récupèrent une sorte de texture dynamique (2d) de la séquence qu’ils modifient (2d) et qu’ils injectent ensuite dans la vidéo.
Ces quelques lignes sont très simplifiées, le problème est autrement plus complexe et fait intervenir allègrement vecteurs et formules mathématiques. (Voir le pdf du Technical Report en annexe ci-dessous)
Pour vous faire une idée du rendu vidéo de cette technologie, je vous conseil de télécharger la vidéo de présentation au Siggraph 2008 disponible en bas de page sur le site de Microsoft (attention 115 Mo !)
Mais l’algorithme ne se limite pas à la retouche de visage, Microsoft annonce qu’il peut redimensionner les objets, corriger les textures, copier/couper/dupliquer des éléments et encore tout un tas d’effets visuels appliqués à des objets en mouvement.
Un technologie tout aussi impressionnante que prometteuse pour le cinéma et pour le cinéma amateur car l’accès à un logiciel permettant de telles retouches permettrait à toutes les petites productions de nouveaux horizons en terme d’effet de maquillages complexe.
Actuellement le procédé n’est encore qu'à son stade de recherche. Il est difficile de récupérer la texture sur les séquences vidéos avec trop de flou de mouvement et il faut souvent séparer le sujet du fond de la vidéo manuellement avant d’appliquer l’algorithme.
Néanmoins l’expérience nous montre que les logiciels d’édition vidéo progressent vite, donc il ne serait pas surprenant qu’un jour celui-ci arrive sur nos ordinateurs.
>> Technical Report de Unwrap Mosaic (28Mb).
>> Vidéo Youtube présentant un exemple.
>> Page de présentation du projet.
Avec leur algorithme, les ingénieurs de Microsoft sont tout simplement capables de trafiquer le visage d’un acteur sur une vidéo sans passer par la 3D et ses processus fastidieux. Il leur est possible de modifier des éléments en mouvement aussi facilement qu'une retouche Photoshop!
Si l’on veut re-texturer un visage ou un objet dans un plan en mouvement, il faut envisager d’extraire la forme 3D de l’élément puis de lui appliquer la nouvelle texture. Même si, comme l’explique Microsoft dans son article, les technologies actuelles permettent de plus en plus la récupération d’informations tridimensionnelles dans une image 2d (on pense aux logiciels type boujou), la mise en place automatisée d’une telle édition vidéo reste problématique.
La solution trouvée par Microsoft consiste à ne pas passer par la forme 3D pour re-texturer l’élément. Le procédé "Unwrap Mosaic" fait ce qu’ils appellent un 2d-to-2d mapping de l’objet. Autrement dit, ils récupèrent une sorte de texture dynamique (2d) de la séquence qu’ils modifient (2d) et qu’ils injectent ensuite dans la vidéo.
Ces quelques lignes sont très simplifiées, le problème est autrement plus complexe et fait intervenir allègrement vecteurs et formules mathématiques. (Voir le pdf du Technical Report en annexe ci-dessous)
Pour vous faire une idée du rendu vidéo de cette technologie, je vous conseil de télécharger la vidéo de présentation au Siggraph 2008 disponible en bas de page sur le site de Microsoft (attention 115 Mo !)
Mais l’algorithme ne se limite pas à la retouche de visage, Microsoft annonce qu’il peut redimensionner les objets, corriger les textures, copier/couper/dupliquer des éléments et encore tout un tas d’effets visuels appliqués à des objets en mouvement.
Un technologie tout aussi impressionnante que prometteuse pour le cinéma et pour le cinéma amateur car l’accès à un logiciel permettant de telles retouches permettrait à toutes les petites productions de nouveaux horizons en terme d’effet de maquillages complexe.
Actuellement le procédé n’est encore qu'à son stade de recherche. Il est difficile de récupérer la texture sur les séquences vidéos avec trop de flou de mouvement et il faut souvent séparer le sujet du fond de la vidéo manuellement avant d’appliquer l’algorithme.
Néanmoins l’expérience nous montre que les logiciels d’édition vidéo progressent vite, donc il ne serait pas surprenant qu’un jour celui-ci arrive sur nos ordinateurs.
Liens
>> Technical Report de Unwrap Mosaic (28Mb).
>> Vidéo Youtube présentant un exemple.
>> Page de présentation du projet.
Utilisation du site - Communautée - Charte -
- A propos de Post-Prod-fr - Contact
Post-prod-fr.com, 2004-2008, certains droits réservés
- A propos de Post-Prod-fr - Contact
Post-prod-fr.com, 2004-2008, certains droits réservés
Bon après ca sera surement possible, la technologie en étant apparemment a ses balbutiements ..
Il y a plusieurs exemples. On est assez loin du tracking vulgaire (regarde comme c'est collé à la girafe !) et proche du maquillage (les moustaches ou même les new zealandais à la fin c'est même de l'anti-maquillage.
Et quand on voit le technical report et les formules de maths qu'il y a dedans, on comprends qu'il n'y que Microsoft pour faire ca (Ou IBM surement ^^). Car c'est de la recherche avant d'être du développement.
c'est tout bonnement énorme
Il faut être connecté pour poster