Universidad Nacional Autónoma de México
Dirección General de Cómputo y de Tecnologías de información y Comunicación
Técnicas contemporáneas de producción audiovisual
a través del uso de mundo virtuales simulados
MDCV Franco Serrano Víctor Hugo
UNAM DGTIC DVRV
Ciudad Universitaria, 2021.
Resumen
El presente documento explora los procesos contemporáneos de producción audiovisual que emplean las técnicas más avanzadas de producción virtual en virtud de entender y propones una solución a una necesidad planteada por la Escuela Nacional de Artes Cinematográficas [ENAC] sobre la posible implementación y creación de un set virtual que utiliza la tecnología que se describe en páginas posteriores, se establece un ejemplo y se explora las posibilidades de uso y aprovechamiento de los derivados tecnológicos de aplicación de esta.
Introducción
La producción audiovisual ha hecho cambios significativos desde los sets físicos hacia un set virtual utilizando pantallas verdes, pero en los últimos años ha evolucionado a la producción virtual, esta técnica elimina la pantalla verde y crea un set virtual proyectado en un arreglo de pantallas led que sincronizando con la frecuencia de refresco de las cámaras permite grabar sets similares a la realidad, por ejemplo en reflejos metálicos sobre superficies permite simular la calidad visual que con pantalla verde no se podría hacer o requeriría mucho trabajo en post producción.
La Escuela Nacional de Artes Cinematográficas [ENAC] de la UNAM plantea la posibilidad de creación de un set con esta tecnología, debido a que es una tecnología de reciente creación e incorporación en la industria del entretenimiento, es un tema de poca revisión y escasa literatura, aun así, autores como Kadner (Kadner. 2021ª y 2021b) y Hibbitts (Hibbitts. 2020) en colaboración con la empresa Epic Games han creado una serie de guías para entender el proceso de diseño e implementación de esta tecnología.
 |
Figura 1. Epic Games, Inc. Kadner, N., 2021a. Ejemplo de uso de realidad virtual en técnicas de producción virtual. THE
VIRTUAL PRODUCTION FIELD GUIDE Volume 2. Página 112. Visual development by Fox VFX Lab |
El presente documento explora las posibilidades de configuración, diseño e implementación, así como los alcances de la misma en el proyecto planteado por la ENAC que conlleva la revisión del uso de mundos virtuales generados a través del motor de juegos Unreal y que permite una fidelidad visual avanzada, el tema es cercano a la realidad virtual pero difiere de esta en que el producto final es una grabación en video, cuando en la realidad virtual la idea es aislar al usuario de la realidad circundante y lograr su inmersión y presencia en un mundo virtual generado por computadora.
El análisis identificara los procesos productivos de contenido gráfico y los comparar con los creados para aplicaciones tridimensionales de realidad virtual estableciendo un argumento que permita determinar la posibilidad de uso de contenido grafico previamente generado para mundos virtuales en producciones que hagan uso de esta tecnología en beneficio de los creadores y cineastas de la ENAC.
Marco teórico
En la documentación disponible sobre el tema (Deloitte Development LLC, 2020) se menciona que la producción virtual es un método contemporáneo de creación de contenido que emplea procesos ágiles aprovechando la tecnología disponible tanto de despliegue cómo de cálculo, mejorando el ciclo de producción que usualmente es lineal y permitiendo que se visualice en tiempo real las decisiones de sets y vestuario de los elementos virtuales.
Se considera que los procesos productivos de esta tecnología como iterativos y creativos, así como poner a disposición de todo el equipo de producción los activos para revisión y pruebas de escenas y sets, facilitando la toma de decisiones sin recurrir a reiniciar el proceso lineal y ahorrando tiempo de producción,
Kadner (Kadner. 2021b) refiere al termino producción virtual como una variedad de métodos de filmación y visualización apoyados por el uso de computadoras, refiere también a la empresa Weta Digital [actual propiedad de Unity Technologies] como el encuentro entre el mundo virtual y el físico, considero que estas definiciones son acertadas pues al integrar y combinar las creaciones de mundos virtuales simulados en tiempo real en motores de juegos contemporáneos y aprovecharlos para representar escenarios y objetos podemos integrarlos a través de un despliegue de alta calidad en tomas con actores reales, cumpliendo con los criterios planteados por Kadner y Deloitte.
Otra de las ventajas son las posibles salidas de los activos gráficos generados, como menciona Kadner (Kadner. 2021b) estos pueden ser aprovechados en la generación de materiales promocionales, interactivos lúdicos y juguetes, que usualmente llevan una línea de producción separada y que ayudan a aprovechar al máximo el potencial de los recursos invertidos en la producción.
Existen 4 tipos de soluciones que emplean la producción virtual (Kadner. 2021b) y que hacen uso de motores de juegos con soluciones virtuales en tiempo real, algunas combinan métodos tradicionales y otras los sustituyen completamente, en concreto son la visualización, la captura de interpretaciones, la mezcla de pantalla verde con visualizaciones en tiempo real y la producción completamente virtual en la que el entorno es creado en un motor de juegos y rodea a los personajes [actores reales o virtuales] facilitando la iluminación y los reflejos así como la ambientación con similitud a la exacta ocasión a simular.
 |
La figura 2 muestra las 4 variedades de producción virtual, en donde podemos observar la inclusión del sujeto real a grabar en combinación con las proyecciones físicas [pantallas LED o de proyección] o virtuales que se utilizarán.
Figura 2. Epic Games, Inc. Kadner, N., 2021b. Diagrama de diferencias entre producción tradicional y producción virtual. THE VIRTUAL PRODUCTION FIELD GUIDE Volume 1. Página 11. Visual development by Fox VFX Lab |
La visualización (Deloitte. 2020) refiere al uso de activos tridimensionales para visualizar y planear tareas, existen diferentes niveles de precisión según la tarea a realizar, por ejemplo la visualización para exposición básica de un tema debe aplicar una visualización simple sin acabados complejos en sus superficies o en su calidad final de iluminación, la visualización técnica refiere a un nivel un poco más alto de precisión en donde se incorporan simulaciones físicas en tiempo real de ropa, líquido y otros materiales para evaluar su uso en la producción y el ultimo o de postproducción es una visualización casi final del producto, todo ello se facilita usando motores de juego que permiten visualización en tiempo real y que incorporan técnicas como el trazado de rayos y el trazado de rutas.
 |
Figura 3. Epic Games, Inc. Kadner, N., 2021b. Ejemplo de visualización técnica y de visualización para exposición. THE
VIRTUAL PRODUCTION FIELD GUIDE Volume 1. Página 50. |
La captura de movimiento (Deloitte. 2020) o de interpretación actoral (Kadner. 2021b) es otro de los métodos en los que puede combinarse el uso de producción virtual pues al mismo tiempo que se graba se captura el movimiento y expresiones y se muestra la simulación con los modelos tridimensionales finales en un monitor, evitando en lo posible la postproducción y regrabaciones de estos.
 |
| Figura 4. Epic Games, Inc. Kadner, N., 2021a. Ejemplo de visualización técnica y de visualización para exposición. THE VIRTUAL PRODUCTION FIELD GUIDE Volume 2. Páginas 137 y 138.
La figura 4 muestra un ejemplo de uso de la tecnología FACETS de la empresa Weta Digital en donde se usa la captura de interpretación actoral y facial aplicada a la producción virtual. |
En la técnica de mezcla de pantalla verde con visualizaciones en tiempo real combina el uso de activos tridimensionales con grabaciones reales usando pantalla verde aplicando la técnica Simulcam, esta técnica es muy similar a la empleada anteriormente en donde se componía la imagen final en postproducción, pero en este caso se evita esa necesidad pues muestra en tiempo real la combinación entre el usuario y el mundo virtual, y existen diferentes niveles, pues al capturase en directo existe la deformación de color sobre el actor [por lo regular sus reflejos y brillos se tintan de verde] y si es una técnica con post-procesamiento en tiempo real esto se atenúa y se iguala, también es conocida como realidad mixta, aunque solo se refiere a la captura de video usando esta tecnología, no en si al sistema de realidad mixta que se emplea con cascos y cámaras.
| La técnica Simulcam o de cámara híbrida (Deloitte. 2020) refiere al uso de una cámara duplicada en el mundo virtual que se mueve y reacciona como la del mundo real, tanto en óptica como en movimiento físico y que permite empatar correctamente las secuencias, de tal manera que la visualización sea evaluada y entendida fácilmente por el director y el equipo de producción sin necesidad de empatarla en postproducción, esta es empleada en las 4 técnicas antes mencionadas. |
La cuarta técnica es la que requiere de más recursos tecnológicos y de inversión, debido a que integra al menos un muro [idealmente curvo en al menos 270 grados] y un techo con un arreglo de pantallas LED, aunque en situaciones de presupuesto limitado se usa solo una pared recta de pantallas LED, se le considera el estado del arte en producción virtual y se le ha asignado nombres como Stagecraft, es importante señalar que esta técnica permite una iluminación más realista, así como reflejos precisos en superficies metálicas o de alta reflectividad, permite al actor sentirse en el ambiente [a diferencia del set de pantalla verde donde debe imaginarlo] y a los miembros del staff, director y supervisores entender de inmediato el acabado final sin necesidad de postproducción, aunque la edición y postproducción no se descartan del todo pero para toma de decisiones rápidas en set es ideal.
 |
Figura 5. Epic Games, Inc. Kadner, N., 2021b. Set de grabación con muro recto de pantallas LED. THE VIRTUAL PRODUCTION FIELD GUIDE Volume 1. Página 17. | |
| La figura 6 muestra un set completo de filmación con techo y paredes curvas de pantallas LED, en este caso es la tecnología de Vū studio del estudio Diamond View. | ||
| Figura 6. Epic Games, Inc. Kadner, N., 2021a. Estado del arte de producción virtual. THE VIRTUAL PRODUCTION FIELD GUIDE Volume 2. Página 62. |  |
|
El proceso de producción contempla varias etapas, todo inicia con un guion y una historia, en el que se plantearon las necesidades de la producción en general y que apoyara al momento de decidir en preproducción el que se realizara con el método de producción virtual y que se realizara con métodos tradicionales.
 |
| Figura 7. Epic Games, Inc. Kadner, N., 2021b. Diagrama de diferencias entre producción tradicional y producción virtual. THE VIRTUAL PRODUCTION FIELD GUIDE Volume 1. Página 6. |
La figura # muestra los 2 procesos de producción en el que el primero es el tradicional y el segundo la propuesta de la empresa Epic, cabe destacar la linealidad del proceso tradicional y el hecho de que en el proceso de producción virtual permite trabajar en al menos 2 áreas de forma consecutiva sin necesidad de esperar el termino de las anteriores, que en su mayoría dependen del departamento de arte pues es el principal nódulo de interés para la creación de contenido que será evaluado y supervisado y configurado para que tenga un comportamiento adecuado en los subsecuentes departamentos, todo esto permite que las grabaciones y el producto final acorten camino y sean más eficientes.
Una vez terminada la preproducción se distribuyen tareas al departamento de arte en el que se crearan los contenidos gráficos a utilizar en la visualización, se deben considerar aspectos de producciones tradicionales como el scouting pero llevado al mundo virtual, es posible crear representaciones realista de diferentes lugares de la tierra por lo que el scouting virtual diferirá del real al no ser necesario trasladarse a las locaciones y más bien describir las necesidades de la escena, para que sea construida.
 |
La figura 8 muestra un ejemplo de set virtual construido en engine 5 con la información obtenida de Capturing the world. (Quixel. 2021)
Figura 8. Epic Games, Inc. 2021 Set virtual corriendo en tiempo real en Unreal Engine 5. |
En el siguiente paso se realiza la visualización técnica de actores y contenidos digitales, en donde el proceso de performance capture se lleva a cabo, una vez terminado ese momento se procede a trabajar con las tomas que combinan actores reales con el contenido digital creado, se empata el movimiento de la cámara real con la virtual para que tanto en la realidad como en el mundo virtual no exista disparidad tanto en óptica [real y virtual] como en desplazamiento, de tal forma que se empate la grabación de objetos y personajes reales con el set virtual que en el caso de pantallas LED se tiene en la parte posterior y en el techo para simular iluminación y reflejos basados en imágenes.
 |
La figura 9 muestra una vista del set de grabación “Stagecraft” de la producción Mandalorian de la empresa Disney en que se ve el diseño de un set virtual que aprovecha pantallas LED para simular escenarios virtuales a través del motor de juegos Unreal Engine.
Figura 9. Disney. 2019. Set virtual corriendo en tiempo real en Unreal Engine 5. |
Las últimas etapas son la de edición de material gráfico recuperado y la post producción, una de las ventajas de esta tecnología es que las regrabaciones no requieren que los actores y sets sean llevados a locación la locación se simula directamente en el muro LED, ahorrando considerablemente costos de tomas que deben ser repetidas o agregadas, de igual forma el cambio de set es similar no se requiere demasiado trabajo para preparar un entorno, o hacer que este cambie de hora del día, sin necesidad de esperar a que el tiempo transcurra como ocurre en locaciones exteriores. Otra de las soluciones finales además de la captura en video, es la posibilidad de reaprovechamiento de activos gráficos para simulaciones interactivas, tanto par realidad virtual como para otros fines.
 |
En la figura 10 la empresa Epic nos muestra el proceso de producción virtual y el cómo difiere de los procesos convencionales.
Figura 10. Epic Games Inc. Kadner, N., 2021a. Ejemplo de proceso de trabajo de producción virtual. THE VIRTUAL PRODUCTION FIELD GUIDE Volume 2. Página 148. |
Para realizar la producción virtual se necesita de al menos un equipo de cómputo con aceleración gráfica dedicada que será el motor en el que se representara el mundo virtual, es usual que esto sea replicable y escalable, en donde para un estudio mediano se empleen al menos 3 equipos con aceleradoras graficas duales y procesadores de gama alta, aunque en el caso de pequeños estudios y universidades esto se reduce considerablemente, por ejemplo Epic Inc. Puso a disposición de la comunidad educativa un set de pruebas con pantallas LED en California (como se mencionó en la sesión de zoom Unreal Engine Educator Office Hours, Nov 2, 2021) en la que se presentó el sistema y se dialogó con expertos y universidades para por un lado mostrar las capacidades de la tecnología y por el otro referir a recursos educativos disponibles.
El diseño del set depende en gran medida de cuál de los 4 tipos de producción virtual se realizará, como se menciona antes en el documento estos 4 varían en complejidad y tipo de solución siendo la de uso de pantallas LED la de mayor complejidad y coste. La ENAC busca resolver varios de estos escenarios, tanto el de pantallas LED [considerado su proyecto más ambicioso] como el de creación de entornos virtuales para render esférico de panoramas, considerando la captura de movimiento y el reconocimiento facial cómo partes del proceso [del tipo performance capture], previsualización de entornos, sets y escenas [del tipo visualización], así como soluciones interactivas más apegadas a la realidad virtual [experiencias inmersivas para VR y cortometraje interactivo], el camino de búsqueda de soluciones se encamina a estas necesidades, pero explora opciones de uso dentro del departamento de visualización y realidad virtual de la DGTIC.
Resultados y discusión
Se ha encontrado que los modelos tridimensionales generados pueden usarse en las producciones únicamente si están preparados bajo la configuración PBR y que integren el número suficiente de polígonos y detalle como para que se mezclen correctamente con el material filmado. Los modelos existentes que no cumplen con este requisito pueden ser usados en configuraciones básicas de set para su posterior reemplazo por activos gráficos de mejor detalle y calidad, aun así, funcionan correctamente para la planeación de escenas y definición de sets virtuales.
Debe considerarse que el set virtual completo aún no se ha realizado, debido al costo y lo que se plantea es teórico y no ha sido comprobado a través de grabaciones de calidad cinematográfica.
Se encontró como derivado la captura de ambientes virtuales a través de realidad mixta, en donde se puede a través de pantalla verde y el cable Oculus Link realizar capturas de ambientes virtuales en tiempo real usando y capturando al usuario y mezclándolo con el ambiente virtual.
Como derivado adicional se obtuvo un dictamen técnico con relación al proyecto PAPIIT IG400421 de la ENAC en donde se realizaban sugerencias de adquisición de equipo, así como asesorías sobre que debían considerar en cuanto a creación de contenido y definición de sets, manejo de equipo y posibles salidas interactivas relacionadas.
Conclusiones
Puede entenderse como un proceso virtuoso el adoptar las técnicas de producción virtual y si se desarrolla correctamente puede producir varios materiales derivados usables en otras producciones tanto de cine como de realidad virtual, lo que se busca al adoptarla es la incorporación de esta en la educación, tanto a nivel capacitación de la misma como de adopción de esta para preparar contenidos educativos de mejor acabado y menor tiempo de producción, sobre todo en la postproducción, pues al evitar el excesivo uso de pantalla verde se puede evitar también los problemas asociados con la deformación de color.
Trabajo a futuro
Se plantea profundizar en la experimentación de la captura de sistemas de realidad virtual a través de realidad mixta para su difusión en redes sociales y presentación en conferencias. Se explorará la producción de imágenes usando la tecnología de trazado de rayos que se menciona en el documento de Kadner (Kadner. 2021a) sobre la posible exploración de mejoras de rendimiento gráfico a través de la paralelización de cálculos.
Referencias
Deloitte Development LLC, 2020. The future of content creation: Virtual production Unlocking creative vision and business value. 1st ed. [ebook] UK: Deloitte Development LLC. Available at: <https://www2.deloitte.com/content/dam/Deloitte/us/Documents/technology-media-telecommunications/us-tmt-the-future-of-content-creation-virtual-production.pdf> [Accessed 17 November 2021].
Epic Games, Inc. [Unreal Engine]. (2021, 26 mayo). Welcome to Unreal Engine 5 Early Access [Vídeo]. YouTube. https://www.youtube.com/watch?v=d1ZnM7CH-v4
Hibbitts, D., 2020. Choosing a real-time performance capture system. 1st ed. [ebook] Cary: Epic Games Inc. Available at: <https://www.unrealengine.com/en-US/virtual-production> [Accessed 13 January 2021].
Kadner, N., 2021a. THE VIRTUAL PRODUCTION FIELD GUIDE Volume 2. 1st ed. [ebook] Cary: Epic Games Inc. Available at: <https://www.unrealengine.com/en-US/virtual-production> [Accessed 13 January 2021].
Kadner, N., 2021b. THE VIRTUAL PRODUCTION FIELD GUIDE Volume 1. 1st ed. [ebook] Cary: Epic Games Inc. Available at: <https://www.unrealengine.com/en-US/virtual-production> [Accessed 13 January 2021].
Quixel. (2018, 26 junio). Capturing the world. Capturing the World. Recuperado 17 de noviembre de 2021, de https://quixel.com/blog/2018/6/26/capturing-the-world