Vous avez déjà soupiré de frustration face aux trois ou quatre pauvres dialogues que vous proposait un jeu face à un PNJ ? Avec Nvidia ACE, ce sera bientôt de l’histoire ancienne : vous converserez en totale liberté avec des personnages boostés à l’intelligence artificielle.
Quelques pas dans l’hostile toundra, battue par la pluie, puis une porte rouillée qui s’ouvre sur un abri de fortune. Reprenant votre souffle, vous rangez votre pistolet Makarov dans son holster et vous lancez un regard au patibulaire mercenaire qui semble vissé au comptoir. “Vous êtes nouveau ici, pas vrai ?”, vous lance-t-il d’un air moqueur. Pour réagir, trois dialogues s’offrent à vous : “Vous avez du boulot pour moi ?”, “Tu peux me dire ce qui se trame ?” et “Au revoir”. Et pas un choix de plus.
Nous sommes en novembre 2009 et cette scène ouvre S.T.A.L.K.E.R.: Call of Pripyat, le troisième volet de la saga développée par le studio ukrainien GSC Game World. Quinze ans plus tard, même l’acclamé Baldur’s Gate 3 qui brille par l’immense diversité de ses chemins narratifs reste cantonné au même modèle d’échange avec les PNJ (Personnage Non-Joueur), avec une série de dialogues prédéfinis à choisir parmi trois ou quatre propositions.
Mais en coulisses, une révolution se prépare déjà sous l’égide du leader du marché des cartes graphiques, Nvidia. Biberonnés à l’intelligence artificielle, tous ces personnages qui habitent nos univers vidéoludiques seront très prochainement plus vrais que nature et appelleront des interactions … elles aussi plus intuitives et naturelles. À la clé, d’infinies possibilités pour étendre l’univers des futurs jeux vidéo et les rendre plus vivants, plus riches et plus immersifs que jamais. Et S.T.A.L.K.E.R. 2: Heart of Chornobyl prévu pour le 5 septembre 2024 devrait être l’un des premiers titres à en profiter.
Pour nous en convaincre, Nvidia nous a invités dans ses locaux afin de nous faire essayer sa nouvelle technologie Avatar Cloud Engine (ACE). Un PC équipé d’une GeForce RTX série 40 et un simple microphone : tout est prêt pour nous faire découvrir cette nouvelle technologie propulsée par l’intelligence artificielle. La démo se lance et on pénètre dans un bar à ramen futuriste strié de néons flashy, façon Cyberpunk 2077, en interrompant la conversation entre le cuisinier et une experte en sécurité, accoudée au comptoir. Et pour la première fois, vous vous adressez à eux de la manière la plus naturelle qui soit : en prononçant vos questions et en relançant la conversation face au microphone. Exit le choix entre trois ou quatre propositions de dialogue figées : vous pouvez littéralement dire tout ce qui vous passe par la tête. Et les PNJ vous répondent, bienveillants, curieux ou outrés comme on pourrait l’imaginer dans la vie réelle, avec une infinie diversité de possibilités.
On commence timidement à demander à la fille ce qu’elle boit ou ce qu’elle conseille de manger, dans cet étal de street-food. En français de surcroît, elle recommande des plats précis ou nous aiguille dans le menu, avec une synchronisation labiale ultra-convaincante. Plus assurés, on teste alors tout type de requêtes saugrenues, en lui expliquant qu’on a l’intention de refaire notre salle de bain par exemple, et qu’on aimerait bien ses conseils éclairés. Elle nous aiguille alors vers un ou deux choix intéressants à ses yeux, une vasque en béton ciré ou une douche marbrée, avant de nous relancer et de nous demander pourquoi on sollicite son avis sur un sujet aussi inattendu. La discussion se poursuit sur la météo, le climat politique ou l’itinéraire entre Paris et Rouen, avant que l’on se tourne vers le cuisinier et qu’on lui demande s’il peut rallumer la lumière. Bougon mais conciliant, il se lève de sa chaise et s’exécute. On comprend alors qu’au-delà de l’infinie diversité de sujets à évoquer, l’IA sert aussi à exécuter des commandes et à proposer des actions auprès des PNJ. Adjuvant, opposant ou simple personnage lambda sans impact sur l’aventure, votre interlocuteur peut ainsi faire progresser l’intrigue ou la faire partir dans une toute autre direction insoupçonnée. Après avoir demandé (avec succès) que l’on nous montre l’une des bouteilles rangées derrière le comptoir, on gagne en assurance et on propose à la fille d’aller voir ailleurs. Il faut croire qu’on y a mis le ton : convaincue, elle rassemble ses affaires et se lève pour nous suivre.
L’IA et les premiers assistants conversationnels, vous les avez probablement déjà essayés avec ChatGPT, DALL-E ou Midjourney, qui défraient la chronique depuis fin 2022. Mais vous devez bien comprendre que Nvidia ne s’est pas contenté de les greffer tels quels aux futurs jeux vidéo, même si en apparence les interactions que nous avons essayées peuvent s’apparenter à leur champ d’action type. Le spécialiste des cartes graphiques propose en réalité une solution logicielle et matérielle pour aider les développeurs à bâtir de tels avatars en amont et mieux les intégrer à leurs productions. Avec le soutien d’autres jeunes entreprises spécialisées dans l’IA, comme Convai, il offre ainsi aux studios une boîte à outils complète : les développeurs doivent définir le background de leurs PNJ, mais aussi leur rôle dans l’intrigue ou leurs intentions générales - des modèles de langage spécifiques en découlent, pour s’intégrer au mieux à l’histoire et au gameplay. Le talent créatif reste au cœur de l’expérience. L’experte en sécurité, par exemple, ramenait souvent la discussion à son domaine de compétence, en faisant preuve d’un ton assuré, là où le cuisinier paraissait peut-être moins arrogant et sûr de lui.
Techniquement, pour assurer un tel résultat, Nvidia exploite à la fois les NPU de ses GeForce RTX (de série 20, 30 ou 40) et un serveur déporté dans le cloud. Lorsque le joueur parle dans son microphone, le GPU transforme la voix en texte avant de l’envoyer vers les serveurs de Nvidia. La technologie ACE analyse alors la question et produit une réponse à partir de ses modèles de langage. Cette réponse est ensuite transformée en voix et renvoyée vers la GeForce du PC local. C’est la carte qui gère enfin les animations du visage du PNJ, avec la synchronisation labiale (Audio2Face).
Et la technologie avance déjà à grands pas, avec la promesse d’une vraie concrétisation sur le marché dès le second semestre de cette année. Pour en profiter sur PC, des GeForce RTX de série 30 devraient suffire - n’oubliez pas qu’à ce traitement IA doit aussi s’ajouter le ray-tracing par exemple pour renforcer l’immersion et le réalisme des scènes. La démo nous a déjà emballés par ses infinies possibilités : aux open-worlds et leur promesse de liberté s’ajouteront bientôt des interactions tout aussi illimitées.
Quelques pas dans l’hostile toundra, battue par la pluie, puis une porte rouillée qui s’ouvre sur un abri de fortune. Reprenant votre souffle, vous rangez votre pistolet Makarov dans son holster et vous lancez un regard au patibulaire mercenaire qui semble vissé au comptoir. “Vous êtes nouveau ici, pas vrai ?”, vous lance-t-il d’un air moqueur. Pour réagir, trois dialogues s’offrent à vous : “Vous avez du boulot pour moi ?”, “Tu peux me dire ce qui se trame ?” et “Au revoir”. Et pas un choix de plus.
Nous sommes en novembre 2009 et cette scène ouvre S.T.A.L.K.E.R.: Call of Pripyat, le troisième volet de la saga développée par le studio ukrainien GSC Game World. Quinze ans plus tard, même l’acclamé Baldur’s Gate 3 qui brille par l’immense diversité de ses chemins narratifs reste cantonné au même modèle d’échange avec les PNJ (Personnage Non-Joueur), avec une série de dialogues prédéfinis à choisir parmi trois ou quatre propositions.
Mais en coulisses, une révolution se prépare déjà sous l’égide du leader du marché des cartes graphiques, Nvidia. Biberonnés à l’intelligence artificielle, tous ces personnages qui habitent nos univers vidéoludiques seront très prochainement plus vrais que nature et appelleront des interactions … elles aussi plus intuitives et naturelles. À la clé, d’infinies possibilités pour étendre l’univers des futurs jeux vidéo et les rendre plus vivants, plus riches et plus immersifs que jamais. Et S.T.A.L.K.E.R. 2: Heart of Chornobyl prévu pour le 5 septembre 2024 devrait être l’un des premiers titres à en profiter.
Vers des conversations sans limite
Pour nous en convaincre, Nvidia nous a invités dans ses locaux afin de nous faire essayer sa nouvelle technologie Avatar Cloud Engine (ACE). Un PC équipé d’une GeForce RTX série 40 et un simple microphone : tout est prêt pour nous faire découvrir cette nouvelle technologie propulsée par l’intelligence artificielle. La démo se lance et on pénètre dans un bar à ramen futuriste strié de néons flashy, façon Cyberpunk 2077, en interrompant la conversation entre le cuisinier et une experte en sécurité, accoudée au comptoir. Et pour la première fois, vous vous adressez à eux de la manière la plus naturelle qui soit : en prononçant vos questions et en relançant la conversation face au microphone. Exit le choix entre trois ou quatre propositions de dialogue figées : vous pouvez littéralement dire tout ce qui vous passe par la tête. Et les PNJ vous répondent, bienveillants, curieux ou outrés comme on pourrait l’imaginer dans la vie réelle, avec une infinie diversité de possibilités.
On commence timidement à demander à la fille ce qu’elle boit ou ce qu’elle conseille de manger, dans cet étal de street-food. En français de surcroît, elle recommande des plats précis ou nous aiguille dans le menu, avec une synchronisation labiale ultra-convaincante. Plus assurés, on teste alors tout type de requêtes saugrenues, en lui expliquant qu’on a l’intention de refaire notre salle de bain par exemple, et qu’on aimerait bien ses conseils éclairés. Elle nous aiguille alors vers un ou deux choix intéressants à ses yeux, une vasque en béton ciré ou une douche marbrée, avant de nous relancer et de nous demander pourquoi on sollicite son avis sur un sujet aussi inattendu. La discussion se poursuit sur la météo, le climat politique ou l’itinéraire entre Paris et Rouen, avant que l’on se tourne vers le cuisinier et qu’on lui demande s’il peut rallumer la lumière. Bougon mais conciliant, il se lève de sa chaise et s’exécute. On comprend alors qu’au-delà de l’infinie diversité de sujets à évoquer, l’IA sert aussi à exécuter des commandes et à proposer des actions auprès des PNJ. Adjuvant, opposant ou simple personnage lambda sans impact sur l’aventure, votre interlocuteur peut ainsi faire progresser l’intrigue ou la faire partir dans une toute autre direction insoupçonnée. Après avoir demandé (avec succès) que l’on nous montre l’une des bouteilles rangées derrière le comptoir, on gagne en assurance et on propose à la fille d’aller voir ailleurs. Il faut croire qu’on y a mis le ton : convaincue, elle rassemble ses affaires et se lève pour nous suivre.
Aux open-worlds s’ajoute “l’open-mind”
L’IA et les premiers assistants conversationnels, vous les avez probablement déjà essayés avec ChatGPT, DALL-E ou Midjourney, qui défraient la chronique depuis fin 2022. Mais vous devez bien comprendre que Nvidia ne s’est pas contenté de les greffer tels quels aux futurs jeux vidéo, même si en apparence les interactions que nous avons essayées peuvent s’apparenter à leur champ d’action type. Le spécialiste des cartes graphiques propose en réalité une solution logicielle et matérielle pour aider les développeurs à bâtir de tels avatars en amont et mieux les intégrer à leurs productions. Avec le soutien d’autres jeunes entreprises spécialisées dans l’IA, comme Convai, il offre ainsi aux studios une boîte à outils complète : les développeurs doivent définir le background de leurs PNJ, mais aussi leur rôle dans l’intrigue ou leurs intentions générales - des modèles de langage spécifiques en découlent, pour s’intégrer au mieux à l’histoire et au gameplay. Le talent créatif reste au cœur de l’expérience. L’experte en sécurité, par exemple, ramenait souvent la discussion à son domaine de compétence, en faisant preuve d’un ton assuré, là où le cuisinier paraissait peut-être moins arrogant et sûr de lui.
Techniquement, pour assurer un tel résultat, Nvidia exploite à la fois les NPU de ses GeForce RTX (de série 20, 30 ou 40) et un serveur déporté dans le cloud. Lorsque le joueur parle dans son microphone, le GPU transforme la voix en texte avant de l’envoyer vers les serveurs de Nvidia. La technologie ACE analyse alors la question et produit une réponse à partir de ses modèles de langage. Cette réponse est ensuite transformée en voix et renvoyée vers la GeForce du PC local. C’est la carte qui gère enfin les animations du visage du PNJ, avec la synchronisation labiale (Audio2Face).
Et la technologie avance déjà à grands pas, avec la promesse d’une vraie concrétisation sur le marché dès le second semestre de cette année. Pour en profiter sur PC, des GeForce RTX de série 30 devraient suffire - n’oubliez pas qu’à ce traitement IA doit aussi s’ajouter le ray-tracing par exemple pour renforcer l’immersion et le réalisme des scènes. La démo nous a déjà emballés par ses infinies possibilités : aux open-worlds et leur promesse de liberté s’ajouteront bientôt des interactions tout aussi illimitées.
Marque : NVIDIA
Partagez :
Posté le 01 Février 2024 à 08:56 par Aurélien Lagny
