Case study Presence: fotorealistische avatar
Hoe ontwikkel je een fotorealistische avatar?
Voor het onderzoeksproject "Presence" onderzoekt Thomas More hoe digitale representaties van objecten, personen en verhalen gemaakt kunnen worden en hoe deze in een virtuele omgeving kunnen worden gebracht. Hiervoor zullen we verschillende (XR)-technologieƫn worden getest, zoals motion capture, face capture, tekst-naar-alles, 2D- en 3D-avatars, virtuele productie, fotogrammetrie, 3D-rigging en LiDAR-scanning. In het exTend-project maakten we uitgebreid kennis met fotogrammetrie als een van de mogelijke technologieƫn om een fotorealistische avatar te creƫren.
Het proces
Onze fotogrammetrie-setup bestaat uit 8 identieke stations. Elk station bestaat uit 12 Canon-cameraās die verbonden zijn met een ābreinā. Via dit brein kunnen we de cameraās gelijktijdig activeren en worden de fotoās direct via IP naar de centrale computer geĆ¼pload.
1. De scan
De persoon of het object wordt centraal in de fotogrammetrie-setup geplaatst. Vervolgens worden de 8 stations gelijktijdig geactiveerd met behulp van Ć©Ć©n trigger-knop. Hierdoor krijgen we 96 fotoās op hetzelfde moment.
2. Dataverwerking
- Reality Capture: Zodra alle fotoās zijn geĆ¼pload naar de centrale computer, kunnen we deze data inladen in het programma Reality Capture.
- Mesh voor MetaHuman: Om het 3D-model klaar te maken voor animatie, zullen we het hoofd importeren in Unreal Engine.
Hoe het Presence- team een fotorealistische avatar maakte, van a tot z.
3. Fotorealistische texture map
Zodra we over een bruikbaar 3D-model beschikken, moeten we de avatar nog voorzien van een texture. Hiervoor gebruiken we de Facebuilder-plugin in Blender. Hierbij wordt op basis van verschillende fotoās van de echte persoon een virtuele afdruk van het hoofd gemaakt vanuit verschillende standpunten.
4. Texture map importeren In Unreal Engine
Zodra het .png-bestand klaar is importeren we deze in Unreal Engine en kunnen we ze gebruiken als texture voor de avatar. Als er onvolkomenheden zijn, kun je deze nog verder bewerken in Photoshop.
5. Live Link Face app
Deze laatste stap zorgt ervoor dat je de fotorealistische avatar in realtime kan animeren. Dit doen we door de avatar te koppelen aan de Live Link Face app op een iPhone. Zodra de link actief is kan je de avatar in realtime animeren met de iPhone.
