L’IA améliore désormais les scènes vidéo, mais sans toucher aux acteurs : l’hybridation est-elle la solution qui manquait ?

Ceux qui regardent le verre à moitié plein seront excités par l’énorme potentiel de l’outil et les pessimistes se lamenteront de ses possibles conséquences sur leur emploi.

Une chose, toutefois, est certaine : acteurs, maquilleurs, accessoiristes, animateurs, modeleurs 3D, setup artists, matte painters, motions designers, infographistes effets spéciaux… Tous ces experts, et bien d’autres encore, sont concernés par le lancement de Ray3 Modify.

Créé par Luma AI, une entreprise spécialisée dans l’intelligence artificielle appliquée à la vidéo, cette technologie pourrait bien changer la façon dont les films, les publicités et les contenus vidéo sont produits.

Le concept derrière cet outil est assez simple : utiliser l’IA pour transformer et améliorer des scènes filmées avec de véritables acteurs mais sans jamais perdre la qualité ni l’émotion de leur performance.

Jusqu’ici, les vidéos et les films générés ou modifiés par l’intelligence artificielle avaient un défaut majeur : ils peinaient à respecter le jeu humain. Les gestes, le regard, le rythme ou l’intention émotionnelle des acteurs et des actrices pouvaient se retrouver déformés ou incohérents.

Ray3 Modify entend résoudre ce problème en plaçant l’acteur et la caméra au centre du processus créatif. Avec cet outil, ce sont les images réelles qui guident l’IA, et non l’inverse.

Concrètement, les réalisateurs et les créateurs peuvent filmer une scène le plus normalement du monde avant d’utiliser l’IA pour en modifier l’apparence. Quelques clics suffisent pour modifier le décor, le style visuel, l’ambiance ou même l’identité d’un personnage, tout en conservant exactement la même performance.

Une scène tournée dans un studio peut ainsi être transposée dans un univers futuriste, historique ou fantastique, sans retourner le moindre plan. La vidéo de présentation de Luma AI le prouve d’une manière plutôt bluffante.

Ray3 Modify propose aussi des outils pensés pour garder une narration fluide. Les créateurs peuvent  notamment définir une image de départ et une image de fin afin de guider les transitions, assurer la continuité entre les scènes et contrôler les mouvements des personnages. Une fonction de référence de personnage permet, par ailleurs, de conserver la même apparence, les mêmes costumes et la même identité tout au long d’une séquence.

Pour Luma AI, cette technologie ouvre la voie à une nouvelle manière de produire des images.

« Les modèles de vidéo générative sont très puissants, mais difficiles à maîtriser. Avec Ray3 Modify, nous combinons le réel et l’IA tout en laissant le contrôle aux créatifs », vante Amit Jain, le cofondateur et PDG de la start-up californienne.

Les équipes peuvent ainsi tourner une performance réelle, puis l’adapter instantanément, sans contraintes logistiques lourdes.

Disponible sur la plateforme Dream Machine de Luma AI, Ray3 Modify s’adresse aussi bien au cinéaste qu’aux publicitaires et aux créateurs de contenus en ligne. Plus qu’un simple outil technologique, il illustre une tendance forte visant à faire de l’IA non pas un substitut aux artistes mais un levier qui leur offre de nouvelles possibilités d’expression. 

Avec ce nouvel outil, Luma AI continue de faire les gros titres de la presse tech. En octobre, la jeune pousse a levé 900 millions d’euros auprès d’un pool d’investisseurs dirigé par HUMAIN, le fonds public spécialisé dans l’IA de l’Arabie Saoudite qui va également soutenir la start-up pour construire un supercluster d’IA de 2 gigawatts dans son pays.

Cette construction sera l’un des plus grands déploiements de processeurs graphiques (GPU) au monde, a déclaré M. Jain qui dirige une société dont la valorisation dépasse déjà les 4 milliards d’euros.

L’intelligence artificielle est utilisée de longue date dans les secteurs du cinéma, de l’audiovisuel et du jeu vidéo. En avril 2023, le Nikon Film Festival avait créé la sensation en récompensant le court métrage /Imagine qui avait été conçu à l’aide de solutions IA.

Depuis le lancement en janvier 2021 du modèle de génération d’image DALL-E par OpenAI, puis de ChatGPT en novembre 2022, les technologies d’IA générative ont bousculé les professionnels de l’image. Les nouveaux outils mis à leur disposition ont aujourd’hui le potentiel de modifier en profondeur la manière dont sont produites les œuvres cinématographiques, audiovisuelles et vidéos. La cartographie des usages actuels et potentiels de l’IA établie par le Centre national du cinéma et de l’image animée (CNC) le montre clairement.

Tout le monde de l’image sera touché

De l’écriture de scénario au pré-paramétrage des caméras en passant par le montage vidéo, la création d’effets spéciaux et d’œuvres d’animation, la conception de bandes annonces ou de contenus promotionnels jusqu’à la génération de métadonnées, l’optimisation de grilles de programme ou la restauration de contenus conservés dans un catalogue… L’IA peut améliorer un nombre incroyable de tâches sur l’ensemble de la chaîne de valeur de l’image.

Les nouveaux outils comme Ray3 Modify risque encore d’accélérer ce mouvement. Inquiétant ou enthousiasmant ? A vous de voir…