Nvidia toont tijdens Computex zijn Avatar Cloud Engine for Games-techniek met generatieve AI. Spelers moeten waarschijnlijk realistische gesprekken voeren met npc’s. De techniek kan lokaal en in de cloud draaien, meldt het bedrijf.
Nvidia’s ACE voor games stelt gebruikers in staat om via hun microfoon te praten met npc’s in games. De techniek gebruikt een generatief AI-taalmodel dat antwoorden kunnen genereren. Nvidia biedt daarvoor zijn NeMo-raamwerk, waarmee ontwikkelaars zelf taalmodellen kunnen maken, aanpassen en gebruiken in hun games. Ontwikkelaars kunnen de taalmodellen aanpassen met kennis en achtergrondverhalen van personages en ongepaste antwoorden voorkomen NeMo vangrails.
ACE for Games omvat Nvidia Riva, de tekst-naar-spraak- en spraak-naar-tekst-techniek van het bedrijf. gekoppeld worden de vragen die spelers stellen naar tekst. Die tekst wordt aangenomen in het taalmodel om een antwoord te genereren, terwijl Riva opnieuw wordt ingezet om dat antwoord om te zetten in een mondeling antwoord.
Een Nvidia Omniverse Audio2Face-model kan op zijn beurt realistische gezichtsuitdrukkingen en -animaties genereren. Dat moet er onder meer voor zorgen dat de mondbewegingen worden beschreven met de antwoorden die de npc geeft. De AI-techniek bestaat al en wordt onder meer ingezet voor gezichtsanimaties in de eerste game Stalker 2: Heart of Chernobyl, hoewel dat zonder generatieve AI is.
Het bedrijf bleek tijdens Computex een demo van ACE for Games, het bedrijf in samenwerking met AI-bedrijf Convai maakt en wordt gerenderd in Unreal Engine 5. In de demo praat een speler met een npc genaamd Jin, die een noedelwinkel heeft. De speler stelt vragen via zijn microfoon en Jin geeft mogelijke antwoorden. uiteindelijk geeft Jin de speler een zoektocht, waarin een machtige criminele baas moet worden gestopt.
Volgens Nvidia kunnen de neurale netwerken van ACE for Games worden ontwikkeld voor verschillende systemen, waarmee ontwikkelaars kunnen maken op het gebied van omvang, prestaties en kwaliteit. De modellen kunnen in de cloud of lokaal op pc’s worden gedraaid. De modellen zijn volgens Nvidia voordelig voor zo min mogelijke latentie.
credit :Source link
