NVIDIA propose RTX Broadcast Engine pour vous intégrer toujours plus à vos univers virtuels

En marge de l'événement TwitchCon 2019, NVIDIA dévoile le RTX Broadcast Engine. Cela regroupe un ensemble de nouveaux SDK qui proposent un fond vert généré par IA, des filtres de réalité augmentée et de style de rendu. Cela fera appel aux Tensor Core des cartes RTX de Nvidia, précieux dans le deep learning. Les nouveaux SDK vont permettre par exemple de créer un faux fond vert, une représentation 3D de votre personne ou de personnaliser le flux de votre webcam avec un style particuliers (peinture...).





Les nouveaux SDKs incluent :

• - RTX Greenscreen, pour supprimer en temps réel l'arrière-plan d'un flux webcam, de sorte que seuls votre visage et votre corps apparaissent sur le flux en direct. Le modèle IA RTX Greenscreen comprend quelle partie de l’image est humaine et quelle partie est en arrière-plan, de sorte que les joueurs bénéficient des avantages d'un écran vert sans avoir à en acheter un.
• - RTX AR, qui peut détecter les visages, suivre les caractéristiques du visage telles que les yeux et la bouche, et même modéliser la surface d'un visage, permettant des effets de réalité augmentée en temps réel en utilisant une webcam standard. Les développeurs peuvent l'utiliser pour créer des effets AR amusants, tels que superposer du contenu 3D sur un visage ou permettre à une personne de contrôler des personnages 3D avec son visage.
• - RTX Style Filters. Ils utilisent une technique d'IA appelée style transfert (transfert de style) pour transformer l'apparence d’un flux webcam en fonction du style d'une autre image. En appuyant sur une touche de raccourci, vous pouvez styliser votre flux vidéo avec votre style peinture ou dessin de jeu préféré.

source : Nvidia