Présentation de HUGS : Une Avancée dans la Reconstruction de Scènes et de Formes Humaines
Une nouvelle technologie baptisée HUGS (Human Gaussian Splats) a été développée pour reconstruire à la fois le décor et une silhouette humaine animable à partir d’une simple vidéo. Ceci est réalisé grâce à l’utilisation de champs de radiance neuronaux. HUGS a été testé sur Ubuntu 22.04.3 en utilisant un GPU compatible CUDA 11.7, ce qui démontre sa compatibilité avec des systèmes récents.
Installation et Utilisation de HUGS
Pour débuter avec HUGS, il est nécessaire de cloner le repo git fourni et de configurer un environnement conda avec les paquets nécessaires. L’installation inclut le téléchargement et la configuration des modèles corporels SMPL, ainsi que des datasets NeuMan et AMASS pour la formation et l’animation.
HUGS propose trois modes d’entraînement distincts : joint (scène et humain), humain uniquement, et scène uniquement, avec différents degrés de spécialisation sur les aspects humains ou de scène.
Imaginons les champs de radiance neuronaux comme une équipe de peintres dotés d’un pinceau extrêmement fin, capable de capter les moindres détails d’une scène et d’un sujet. Cette précision permet de reproduire non seulement l’apparence, mais aussi les comportements physiques des éléments dans diverses conditions d’éclairage et de perspective.
Entraînement et Évaluation
Pour évaluer la performance de HUGS, des métriques telles que le PSNR, le SSIM et le LPIPS sont utilisées. Les résultats peuvent légèrement varier en raison de l’aléatoire inhérent au processus de rendu, même avec un paramétrage adéquat.
Pour ceux impliqués dans la vision par ordinateur, l’adoption de HUGS pourrait significativement améliorer la précision et l’efficacité des reconstructions scéniques et humaines futures. Sa capacité à traiter des vidéos pour en extraire des modèles détaillés en fait un outil prometteur pour les chercheurs et les technologues.
