Vidéo volumétrique
Session d'enregistrement audio et vidéo en studio de la section vocale de l'opéra "Belle nuit, ô nuit d'amour". La captation vidéo a servi de base pour la création d'un effet de capture volumétrique du visage de la chanteuse.
Nous avons utilisé l'intelligence artificielle générative (Stable Diffusion) pour générer une carte de profondeur (DepthMap) du visage. Les images ont ensuite été traitée dans Davinci Resolve. Le principal défi technique résidait dans la compression des données pour permettre un rendu en réalité virtuelle sur un casque autonome (standalone), exigeant une optimisation rigoureuse afin de maintenir des performances fluides.
J'ai développé un algorithme de compression capable d'analyser chaque image pour isoler et classifier uniquement les informations essentielles. Ces données ont ensuite été sérialisées dans un fichier binaire, réduisant la taille de plusieurs dizaines de Go à moins de 150 Mo. Ces informations compressées ont été utilisées dans Unity pour générer des particules pour recréer avec précision la géométrie en profondeur du visage de la chanteuse.