Le défi de la cohérence personnage en IA : techniques et limites

La cohérence personnage (character consistency) est l'un des problèmes les plus ardus de l'IA générative. Voici pourquoi :

• Chaque image est une génération indépendante : Quand vous demandez "un homme brun en costume à Tokyo" puis "le même homme à Paris", l'IA ne "se souvient" pas de la première image. Elle génère chaque image à partir de zéro, en interprétant le prompt textuel. La description "homme brun en costume" correspond à des millions de visages possibles.
• L'espace latent est immense : Les modèles de diffusion opèrent dans un espace mathématique où une infime variation produit un visage différent. Deux générations avec le même prompt donnent deux personnes différentes.
• Le texte ne décrit pas un visage : "Nez droit, yeux marrons, mâchoire carrée" décrit des millions de visages. Le langage est trop imprécis pour encoder l'identité unique d'une personne.
• Les angles changent tout : Un visage vu de face, de 3/4 et de profil est traité très différemment par le modèle. Maintenir la cohérence quand l'angle change est exponentiellement plus difficile.

Plusieurs approches tentent de résoudre ce problème, chacune avec ses forces et faiblesses :

IP-Adapter : Injecte un embedding de l'image de référence dans le modèle de diffusion via les couches cross-attention. Simple à utiliser mais la fidélité est limitée. Le visage "ressemble" mais n'est pas identique. Utile pour un style général.

LoRA (Low-Rank Adaptation) : Fine-tune le modèle sur 10-20 photos du personnage. Meilleure fidélité mais nécessite un temps d'entraînement (5-15 min) et les résultats dépendent de la qualité des photos fournies. Hyper LoRA de Skywork réduit ce temps à 30 secondes.

InstantID : Combine un embedding facial (ArcFace) avec une carte de keypoints du visage. Zero-shot (pas d'entraînement) avec une bonne fidélité. Mais sensible aux angles extrêmes (profil, plongée).

Notre approche combine plusieurs techniques pour maximiser la cohérence du personnage à travers les scènes :

1. Gemini 3 Pro avec image-to-character mapping explicite : Plutôt que de s'appuyer uniquement sur un embedding implicite, nous décrivons explicitement les traits physiques du personnage dans le prompt : structure faciale, couleur de peau, coiffure, lunettes, etc. Le modèle utilise cette description textuelle + les images de référence.
2. "Costume lock" : Pour chaque scène, nous définissons une tenue spécifique mais verrouillons les traits physiques immuables. Le personnage change de vêtements selon le contexte, mais son visage reste identique.
3. Chaînement keyframes : Nos scènes suivent un arc narratif structuré (ARRIVAL → IMMERSION → FAREWELL). Chaque keyframe utilise l'image générée précédente comme référence supplémentaire, créant une chaîne de cohérence.
4. Règles d'identité strictes : Nous encodons des règles explicites dans chaque prompt : "SAME facial structure as reference, SAME skin tone, SAME eye color, glasses if present in reference". Ces instructions forcent le modèle à prioriser la fidélité au personnage.

Résultat concret : Thibault, 50 ans, cheveux poivre et sel, a été placé dans 7 scènes différentes (Sydney lors des JO 2000, Wall Street, Tokyo, Dublin, match de rugby, cérémonie officielle, scène de la vie quotidienne). La cohérence faciale évaluée par nos testeurs est de 95%+.

C'est l'un des conseils les plus importants quand on travaille avec l'IA générative : évitez de montrer un personnage de dos.

Pourquoi :

• L'IA ne peut pas "inventer" un visage : Si le personnage est de dos, l'IA n'a aucune information faciale. Si elle génère ensuite une image de face, le visage sera complètement différent car il n'y a rien à quoi se raccrocher.
• Perte de la chaîne de cohérence : Dans une séquence d'images, chaque image sert de référence pour la suivante. Si une image montre le dos, la chaîne est brisée et la cohérence est perdue pour toutes les images suivantes.
• Risque d'artefacts en vidéo : En animation vidéo, une transition face → dos → face est très difficile à rendre naturellement. L'IA peut générer des déformations faciales au moment de la rotation.

Bonne pratique : Privilégiez toujours les vues de face ou 3/4. Si vous devez montrer une vue arrière (scène de départ par exemple), ne l'utilisez pas comme référence pour les images suivantes.

Plusieurs avancées sont attendues :

• Modèles 3D implicites : Les prochains modèles intégreront une représentation 3D interne du personnage, permettant de générer n'importe quel angle avec une cohérence parfaite. Des prototypes existent déjà chez Google et Meta.
• Mémoire persistante : Les modèles auront une "mémoire" du personnage entre les sessions de génération, sans avoir besoin de LoRA ou d'images de référence à chaque fois.
• Vidéo longue durée : La cohérence sur 60 secondes+ de vidéo sera résolue grâce aux architectures de type "world model" qui maintiennent un état global de la scène.
• Multi-personnages simultanés : Générer 3-4 personnages différents dans la même scène avec une fidélité élevée pour chacun. Aujourd'hui encore très instable au-delà de 2 personnages.