VR Experience — Academia Nacional de Ciencias, Conquista del Desierto

La pieza de VR del Museo Evita había funcionado, así que hicimos una para la Academia también, apoyándonos en el gemelo digital que ya habíamos escaneado y en sus medidas. El tema lo pedía el propio lugar: el papel de la Academia en la Conquista del Desierto. Hacia 1890, al enterarse de la expedición hacia un sur argentino todavía sin registros de flora, fauna ni geología, la Academia había empujado para sumar a sus científicos a esa campaña militar. Es, además, la misma escena que aparece al dorso del billete de cien pesos, con Julio Argentino Roca y los académicos.

Nuestra preocupación principal era obvia. La experiencia se iba a mostrar dentro de la misma sala real del museo; llevar a la gente ahí, ponerle un casco y que siguiera viendo esa misma sala no tenía sentido. Queríamos exactamente lo contrario: que la sala real se disolviera en una Patagonia mítica, para que la experiencia no se sintiera como "el mismo lugar, ahora con anteojos".

Reconstruimos la sala principal en Unreal Engine, modelando en Blender y texturizando en Substance Painter, con iluminación dinámica en todo momento. El disparador es una lámpara antigua: al agarrarla, la flora árida patagónica emerge del suelo y llena la sala, mientras militares y académicos llegan a caballo desde el fondo. Y los personajes hablan de verdad. Están Julio Argentino Roca y dos académicos fundadores, uno de ellos Pablo Lorentz, cada uno contando su versión de la historia de primera mano cuando el visitante se para enfrente.

Para eso construimos nuestro propio pipeline de lip sync, que terminó siendo la mayor innovación del proyecto. No existía una herramienta que tomara un audio y animara la cara del modelo de forma satisfactoria, así que lo hicimos a mano: escribíamos el guion, lo pasábamos por text-to-speech y, con ese audio de fondo, la persona que modelaba se grababa a sí misma imitando las expresiones de alguien diciendo esas palabras. Esas grabaciones se capturaban con Live Link Face y se transferían al modelo, que se alimentaba de ellas para mover los labios en sincronía. Lo repetimos tres veces, una por personaje.

Ese pipeline era artesanal y había que rehacerlo entero para cada personaje: no había atajo. Pero también fue lo que más pegó en el público. Ver a personajes históricos hablando cara a cara dentro de la realidad virtual era algo que la gente no había visto antes, y era lo que se llevaban al salir.

Como la pieza del Museo Evita, es una experiencia a escala de evento, hoy en pausa entre exhibiciones. La técnica de los personajes que hablan se volvió un punto de referencia para nuestro trabajo posterior con guías de museo con inteligencia artificial.