Universidad Nacional Autónoma de México
Dirección General de Cómputo y de Tecnologías de información y Comunicación
Análisis de técnicas de digitalización de modelos y su incorporación en sistemas complejos de monitoreo, control y supervisión.
MDCV Franco Serrano Víctor Hugo
UNAM DGTIC DVRV
Ciudad Universitaria, 2021.
Resumen
El presente documento explora las técnicas más usuales para la obtención de superficies tridimensionales, comparándolas y proponiendo el posible uso de la más reciente miniaturización de la tecnología LIDAR, que ha sido ampliamente usada en Arquitectura, ingeniería y Construcción o AEC por sus siglas en inglés, se busca entender las posibilidades de ésta tecnología a razón del previo uso de las otras y entender sus limitaciones y virtudes para establecer una propuesta informada de solución.
Introducción
La digitalización de objetos ha sido una herramienta útil para la industria y para la docencia, en años anteriores la posibilidad de obtener información espacial era muy útil para representar o analizar una superficie, pero se limitaba a proceso de contacto y por láser, el de contacto fue un proceso en el que se establecía en el espacio puntos sobre una superficie y se conectaban creando polígonos, es de alta precisión pero de muy alta inversión de tiempo, por eso se ha buscado el desarrollo de tecnologías que permitan acortar la brecha entre el proceso de digitalización y el modelo final.
Se ha logrado a través de métodos con diversa precisión y calidad, como la fotogrametría, que es una técnica que deriva de procesos industriales, en específico de la ingeniería civil en la que se necesitaba obtener datos de superficies de terreno, para lograrlo se utilizaron aviones con cámaras para tomar distintas fotos en diversos ángulos de un terreno y estimar sus superficie, la evolución de esta tecnología se hace presente con aplicaciones en las que a través de fotografías podemos reconstruir objetos o entornos y que es de amplia difusión por su facilidad.
Para la obtención sin contacto, además de la fotogrametría se han empleado técnicas con láser, luz estructurada y cámaras de profundidad, cada una de estas ha tenido diversos usos y precisión, en donde el uso de láser es la opción con mejor precisión, pero con mayor coste aun así los escáneres portátiles no tienen tanta calidad como los escáneres fijos, claro todo depende de la necesidad de exactitud de la reconstrucción de superficies.
En épocas contemporáneas las capacidades de los dispositivos móviles han mejorado, incluso al punto de integrar sensores de alta calidad para escaneo de objetos y entornos, tal es el caso de la incorporación de los sensores LIDAR, que en conjunto con las cámaras fotográficas que incluyen los dispositivos móviles ha permitido llevar en la palama de la mano una herramienta de captura de superficies tridimensionales.
El documento plantea las características y muestra la evolución contemporánea de la captura de superficies a través de LIDAR precisando su posible uso en obtención rápida de datos y posible aplicación en proyectos académicos.
Marco teórico
Digitalización por contacto
El proceso emplea sistemas hápticos que pueden moverse en 6 grados de libertad, con lo que les es posible establecer puntos sobre la superficie de un objeto, un ejemplo de estos es el Sensable Phantom Premium de la empresa 3D Systems,
 |
El método que se muestra en la figura 1 permite obtener puntos en el espacio virtual al posicionar la punta sobre el objeto real.
Figura 1. Sicnova 3D. Delgado, A. Sistema de captura por contacto de modelos 3d. 2003. Imagen digital. |
Digitalización sin contacto
La digitalización sin contacto se divide en dos grandes áreas, la de visión pasiva y la de visión activa, la primera post procesa la información obtenida y no entrega resultados inmediatos, por lo regular es de menor coste de obtención de datos, pero de mayor tiempo de procesado, la mayoría de las superficies estimadas son de menor precisión aunque el acabado a color es bastante llamativo, permitiendo su uso en áreas como la digitalización de patrimonio, la segunda es la visión activa, en la que se obtienen las superficies directamente sin post procesamiento, por ejemplo con un escáner laser que al hacer el barrido sobre la superficie obtiene los puntos sobre el espacio y los datos de color y los muestra al usuario en tiempo real, aunque también existen versiones que almacenan en memoria para su visualización posterior.
Visión pasiva
La visión pasiva es un método en la que se obtiene datos que serán procesados posteriormente, como fotografía o mapas de profundidad, que permitirán realizar procesos de reconstrucción de superficies sin la necesidad de estar presente en el espacio físico, uno de los ejemplos más representativos es la fotogrametría.
La fotogrametría es un proceso en el que a través de tomas de diferentes ángulos es posible determinar la forma de una superficie, este puede ser explorado de diversas aristas, la primera y las tradicional es la que se crea con fotos aéreas de un terreno, también es posible hacerlo con fotos satelitales como las que empresas que crean mapas cartográficos y de elevación permiten obtener, para la mayoría de los proyectos de escala media o baja se emplean fotografías con cámaras profesionales o con teléfonos inteligentes que permitan obtener la información para reconstrucción.
 |
Figura 2. Victor Franco. Ejemplo de set de fotos para reconstrucción. 2021. Imagen digital. |
| El proceso posterior consiste en el procesamiento de las imágenes a través de softwares de reconstrucción, tal es el caso de MeshRoom como se muestra en la figura 3, existen diferentes programas para la reconstrucción.
Figura 3. Victor Franco. Ejemplo de proceso de reconstrucción usando la herramienta MeshRoom. 2021. Imagen digital. |
 |
Algunos de los programas de reconstrucción más comunes son Pix4D, Metashape, RealityCapture y 3DF ZEPHYR, cada uno de estos permite reconstrucciones basadas en imágenes cuyos métodos de adquisición varían.
| Una vez procesada la información es posible visualizar los datos obtenidos, algo que vale la pena resaltar sobre todo para la optimización para tiempo real es que las texturas obtenidas por lo regular son segmentos de islas de UV muy separados y en demasía por lo que un proceso de optimización es sugerido.
Figura 4. Victor Franco. Ejemplo de texturas obtenidas por la reconstrucción. 2021. Imagen digital. |
 |
| El modelo final presenta deformaciones significativas y una topología no deseable lo que se sugiere es realizar un trabajo de Re topología y proyección
Figura 5. Victor Franco. Ejemplo de texturas obtenidas por la reconstrucción. 2021. Imagen digital. |
| Figura 6. Victor Franco. Optimización de modelo con proyección de texturas. 2021. Imagen digital. |  |
El proceso de optimización es opcional pero altamente efectivo para que un modelo obtenido por fotogrametría pueda ser aprovechado en aplicaciones de realidad virtual y aumentada.
 |
Figura 7. Victor Franco. Resultado de proceso de reconstrucción y optimización. 2021. Imagen digital. |
Visión activa
Uno de los métodos más usados para la obtención de información espacial tridimensional es el escaneo Laser por ejemplo la triangulación laser y el tiempo de vuelo, que son dos técnicas que emplean un rayo láser para definir las dimensiones y formas de un objeto, son de alta precisión, aunque su costo es elevado, una variante de esta es el escaneo con LIDAR para obtener nubes de puntos que definen el espacio de un objeto y que posteriormente se pueden usar para crear geometría derivada o para obtener información de color por vértice, estas técnicas son ampliamente usadas para AEC, pero también se emplean en la industria de entretenimiento y medios o ME por sus siglas en inglés.
 |
Figura 8. Ortiz, N. Captura de un espacio urbano usando LIDAR. 2020. Imagen digital. Fuente: t.ly/BAjq |
| Figura 9. Radiohead. Ejemplo de uso de técnicas de captura de nube de puntos por LIDAR aplicado a ME usado en el videoclip House of Cards de la agrupación Radiohead. 2008. Imagen digital. |  |
Diferencia de fase
La diferencia de fase, como menciona Rodríguez (Rodríguez. 2015) en su documento “Colecciones 3D reconstrucción digital tridimensional para la preservación y difusión del patrimonio cultural universitario.”, es la medición de la diferencia entre la luz recibida y la luz proyectada, considerando ésta cómo la medida a obtener.
Luz estructurada
Es una técnica similar a la triangulación (C. 2019) en la que se emplea una proyección de patrones que son reconocidos por programas computacionales, empleando al menos un par de cámaras a diferente distancia, a diferencia de la emisión de un solo punto esta emplea las formas proyectadas por una fuente que puede ser un proyector con un patrón determinado, usualmente formas rectangulares o curvas paralelas, es de alta precisión y resolución así como una velocidad deseable, pues los escaneos de varios puntos pueden obtenerse en segundos, una problemática presente en este tipo de escaneo es la iluminación, pues debido a que depende en gran medida de la proyección de un patrón sobre el objeto si las condiciones lumínicas no son ideales puede presentar errores en su construcción.
 |
Figura 10. 3D Natives. Y C. Diagrama representativo de uso de luz estructurada para escaneo 3D. 2019. Imagen digital.
Fuente: t.ly/0a0G |
Cámaras de profundidad
Las cámaras de captura de profundidad permiten crear modelos tridimensionales al procesar los volúmenes que captan con los sensores e interpretarlos combinados con color, de tal forma que el resultado sea un modelo tridimensional estático, para ello obtienen datos de mapas de profundidad, la figura 11 muestra un ejemplo de una imagen de un mapa de profundidad.
 |
Figura 11. Dorodnicov. Imagen captada por una cámara de profundidad. Imagen digital.
Fuente: t.ly/K17h |
Volumetric capturing
Es una nueva técnica de captura de objetos (Metastage. 2021) que simula la animación cuadro a cuadro en la que se obtiene una animación a través de una secuencia de modelos tridimensionales que en su conjunto crean una animación tridimensional, es el estado del arte en captura de interpretaciones actorales, estos sistemas de captura integran un arreglo de cámaras, pantalla verde, iluminación especializada, arquitectura de diseño, lo que permite una captura volumétrica de clase mundial.
 |
 |
 |
| Figura 12. Metastage. Grabación de video con actores reales de secuencia a capturar.
Fuente: t.ly/md5W |
Figura 13. Metastage. Captura y limpieza de secuencia sobre fondo verde. 2019. Imagen digital.
Fuente: t.ly/md5W |
Figura 14. Metastage. Secuencia tridimensional capturada. 2018. Imagen digital.
Fuente: t.ly/md5W |
El proceso de producción comienza al grabar con las cámaras alrededor del sujeto en movimiento [haciendo uso del sistema de la empresa Microsoft llamado Reality Capture Studios], cada imagen es procesada eliminando la sección de pantalla verde y dejando solo al sujeto capturado, esta información alimenta un sistema de construcción por fotogrametría generando una nube de puntos y posteriormente procesada en geometría texturizada, esta geometría obtenida se considera un solo cuadro de animación [en formato OBJ], lo que es una secuencia animada integraría varios cuados o modelos en secuencia permitiendo crear un doble digital.
 |
Figura 15. METASTAGE. Set de captura de personajes en movimiento de la empresa Metastage. 2020. Imagen digital.
Fuente: t.ly/w9tl |
Una vez obtenida la secuencia animada puede ser integrada a las diferentes soluciones tridimensionales, en donde experiencias en redes sociales, televisión, interactividad 3d y metaversos a través de realidad virtual son soluciones ideales para los productores de imágenes, otros beneficios del uso de esta tecnología de captura de modelos tridimensionales animados es que reduce costos de operación, debido a que las locaciones pueden ser creadas o integradas posteriormente y el sujeto puede ser capturado una sola vez, los cambios de condición de luz se aceleran y pueden obtenerse secuencias de diferentes ambientes de forma acelerada.
| Figura 16. METASTAGE. Ejemplo de avatares dentro del motor de juegos UNITY. 2020. Imagen digital.
Fuente: t.ly/w9tl |
 |
Las limitaciones existentes son que debe considerarse ropa y peinados adecuados a esta tecnología, otra forma de uso es la incorporación de modelos tridimensionales en espacios de realidad virtual, con esto podrías poblar el metaverso de agentes NPC que son capturas de seres vivos reales o usarlos como hologramas dentro de ambientes virtuales.
   |
Figura 17. METASTAGE. Cuadro de una secuencia de animación en búcle de un personaje pensado para poblar un metaverso y sus 3 modos de visión, Albedo, Wireframe y Normales. 2019. Imagen digital.
Fuente: t.ly/ksfN |
Método
A través de pruebas prototipo se busca identificar las ventajas y limitaciones de las aplicaciones que permiten la reconstrucción de superficies a través del sensor LIDAR existente en dispositivos móviles, una vez realizada la captura se busca llevar a cabo una retopologización (Autodesk Inc. 2021) para la obtención de superficies derivadas que no contengan demasiado ruido de escaneo y que puedan servir como base a la creación de contenido gráfico aplicable en proyectos de XR.
Identificación de apps y entendimiento de su uso
 |
3d scanner app (3d Scanner App. 2021) permite escanear fácilmente presionando solo un botón, posee 2 configuraciones iniciales, una de alta calidad y otra de baja, ya que se ha presionado el botón de captura se debe recorrer el espacio capturando los datos, al finalizar la captura se deben procesar los datos obtenidos, este proceso lleva un tiempo significativo dependiendo de la complejidad de nuestra captura, por ejemplo, si es un objeto, un cuarto o un edificio.
Figura 18. Victor Franco. Interfaz de captura de 3d Scanner App. 2021. Imagen digital. |
Obtención de datos de reconstrucción y prueba de efectividad bajo condiciones diversas de iluminación
3d scanner app, esta app permite obtener rápidamente superficies complejas pero con problemas de ruido al capturar, además como la mayoría de escáneres los objetos transparente o traslucidos son difíciles de escanear o simplemente no los toma en cuenta, por ejemplo ventanas, vasos de vidrio o plástico traslúcido, en estos casos en general se recomienda el uso de pintura de fácil eliminación, pues permite obtener la captura de superficies sin dañar el objeto, y solo si esto es necesario para la reconstrucción.
 |
Se encontró que las superficies son inexactas, aún en el modo de alta calidad y en condiciones ideales de iluminación, lo que permite es obtener geometrías generales sin demasiado detalle, la textura es similar a la obtenida por procesos de fotogrametría y de la misma forma las coordenadas de textura UV están separadas en una gran cantidad de islas, lo que dificulta un trabajo posterior sobre las mismas.
Figura 19. Victor Franco. Modelo 3d obtenido del escaneo con 3d Scanner App. 2021. Imagen digital. |
| En una segunda prueba con condiciones de luz baja se encontró que el sensor LIDAR funciona de forma deficiente y los datos que se obtienen no son precisos, además de que presentan errores de construcción y debido a la baja cantidad de luz estos presentan texturas con calidades bajas,
Figura 20. Victor Franco. Modelo 3d obtenido del escaneo con 3d Scanner App en condiciones de iluminación baja. 2021. Imagen digital. |
 |
Transferencia de información para post procesado
| Existen diversos métodos para transferir archivos, es similar a cualquier otro archivo de teléfono ya que 3d scanner app permite exportar en los formatos de transferencia comunes, como lo son FBX, OBJ, DAE, GLTF, USDZ y STL, así como archivos de nubes de puntos como lo son PCD PLY PTS XYZ LAS y e57, por lo que la transferencia de información se facilita ampliamente, las texturas están embebidas en la mayoría de los formatos de transferencia o son incorporadas en un archivo comprimido, por lo que su transferencia es simple.
Figura 21. Victor Franco. Formatos de exportación de modelos de la app 3d Scanner App. 2021. Imagen digital. |
 |
Revisión, limpieza y decimado de superficies
En el caso de 3d scanner app las superficies presentan demasiado ruido de captura, aún en condiciones ideales de luz, por lo que su limpieza puede requerir demasiado tiempo, se sugiere usarlo de base y construir una superficie limpia encima [retopología] de tal manera que pueda respetar la escala 1 a 1 y de ser necesario transferir la información de superficie y textura a través de un proceso de proyección [BAKING].
 |
Figura 22. Victor Franco. Previsualización del modelo 3d obtenido del escaneo con 3d Scanner App. 2021. Imagen digital. |
El decimado de superficies es posible, aunque complejo, pero los resultados pueden ser alentadores para la obtención rápida de activos que no requieran de acabados finos, para experimentar un espacio antes de reconstruirlo por ejemplo, aunque debe considerarse la deformación evidente de sus superficies.
Obtención de modelo optimizado para tiempo real
La obtención de un modelo optimizado puede llevarse a cabo a través de métodos semiautomáticos de retopologización o de forma manual, si se elige un método semiautomatizado puede utilizarse la opción retopologizar de 3DS MAX 2022, esta herramienta realiza una conversión de la superficie imperfecta triangular en una superficie construida por quads regulares que intenta en lo posible continuar la forma original de la superficie.
 |
Aun cuando las superficies obtenidas presentan una calidad aceptable, existen zonas con errores significativos, estos no pueden quedar en el modelo final por lo que la edición manual será necesaria, regiones que no se obtuvieron por su finura o ser materiales transparentes, crean errores que son difíciles de corregir.
Figura 23. Victor Franco. Ejemplo de errores que ocurren con materiales transparentes. 2021. Imagen digital. |
También es posible realizar la limpieza y retopología a través de software libre como lo es Instant Meshes (Jakob, W. 2019) que es un programa que permite realizar en automático un proceso de creación de una malla limpia creada con quads como base para la obtención de un activo para tiempo real derivado de la superficie original.
 |
Figura 24. Victor Franco. Versión limpia de modelo para tiempo real. 2021. Imagen digital. |
En el caso de usar instant meses debe realizarse un trabajo de desarrollo de coordenadas de textura considerando obtener la menor cantidad de islas posibles sin deformación, además de la proyección de texturas desde el modelo original para obtener la versión final para tiempo real.
| Figura 25. Victor Franco. Versión con proyección de texturas en la que se observa el ruido sobre la superficie. 2021. Imagen digital. |  |
Se debe considerar que el modelo obtenido hereda los errores de la superficie de escaneo y que no es el método más recomendable, se sugiere crear modelo de forma manual y solo usar el modelo escaneado como base.
Resultados y discusión
Se obtuvieron 3 versiones de la captura de superficie, la primera el modelo original que entrega la app y 2 derivados con diferente método de decimación preservando quads, cada uno de estos puede usarse en aplicaciones de realidad virtual pero en diferentes plataformas, en donde el segundo modelo de la figura 10 está adaptado para su uso en realidad virtual para pc y el tercero es una versión para móviles.
 |
| Figura 26. Victor Franco. Comparativa de modelo obtenidos en donde el de la izquierda es el modelo original. 2021. Imagen digital. |
 |
| Figura 27. Victor Franco. Comparativa de geometría constructiva modelo obtenidos en donde el modelo de extrema derecha está diseñado para tiempo real en móviles. 2021. Imagen digital. |
Conclusiones
Aunque se encontró útil la obtención acelerada de modelos 3d, su calidad es baja y se encuentra más bien como una solución rápida para obtener referencias tridimensionales a escala real y en conjunto con fotografías, podría ser una buena base para crear modelos tridimensionales de calidad derivados de esta, por sí misma su calidad no es la mejor por lo que no se recomienda su uso de forma directa.
En cuanto a la adaptación del modelo para su uso en tiempo real (considerando el ruido que la superficie original contiene) puede realizarse un proceso de retopologia manual o automatizado y a través de métodos de proyección transferir la información a mapas de normales, altura y albedo, esto con el fin de obtener una superficie regular optimizada que sea útil para tiempo real.
Trabajo a futuro
Se busca en el futuro cercano realizar pruebas de otras aplicaciones que existen en el mercado como lo son RoomScan LiDAR, Canvas: Pocket 3D Room Scanner, LiDAR Scanner 3D, Polycam
Scaniverse – LiDAR 3D Scanner, Matterport capturer, AR Planner, Scandy Pro, Lidar Camera y Pix4dCatch para verificar la calidad de captura y evaluar sus funciones, por ejemplo, la de captura en secuencia para su uso como animación.
Referencias
3D Collective [Adán Martin]. (2020, 17 diciembre). 3D Studio MAX 2021 Retopology Tools [Vídeo]. YouTube. https://www.youtube.com/watch?v=_uZZ5v6gN6M
3d Scanner App (1.9.5). (2021). [Aplicación de escaneo 3d usando el sensor LIDAR]. Laan Labs. https://apps.apple.com/us/app/3d-scanner-app/id1419913995
Autodesk Inc. (2021, 22 septiembre). Retopology Tools for 3ds Max. 3ds Max 2022 | Autodesk Knowledge Network. Recuperado 9 de noviembre de 2021, de t.ly/HWnC
C., L. (2019, 8 agosto). Escáner láser 3D o escáner de luz estructurada: ¿cuál es mejor? 3Dnatives. Recuperado 19 de noviembre de 2021, de https://www.3dnatives.com/es/escaner-laser-3d-escaner-luz-estructurada-mejor-080820192/#!
Delgado, A. (2020, 8 enero). Tecnologías de escaneo 3D: ventajas y limitaciones. Sicnova 3D. Recuperado 18 de noviembre de 2021, de https://sicnova3d.com/blog/experiencias-3d/tecnologias-de-escaneo-3d-ventajas-y-limitaciones/
Dorodnicov, S., Grunnet-Jepsen, A., & Wen, G. (s. f.). Projection, Texture-Mapping and Occlusion with Intel® RealSenseTM Depth Cameras. Intel® RealSenseTM Developer Documentation. Recuperado 19 de noviembre de 2021, de https://dev.intelrealsense.com/docs/projection-texture-mapping-and-occlusion-with-intel-realsense-depth-cameras
Jakob, W., & Bokun, D. (2019, 3 noviembre). GitHub – wjakob/instant-meshes: Interactive field-aligned mesh generator. GitHub. Recuperado 9 de noviembre de 2021, de https://github.com/wjakob/instant-meshes
León, M. A. (2003, 1 septiembre). Digitalización 3D. Interempresas. Recuperado 18 de noviembre de 2021, de https://www.interempresas.net/Plastico/Articulos/8697-Digitalizacion-3D.html
Metastage. (2018, 13 octubre). WHAT IS METASTAGE? Volumetric Video, Holograms, and Beyond. [Vídeo]. YouTube. https://www.youtube.com/watch?v=xX4SJTE3hmQ
Metastage. (2019, 8 marzo). Volumetric Humans – A Case Study on Background/Stock Asset Loops [Vídeo]. YouTube. https://www.youtube.com/watch?v=rtj28_T7I74&t=25s
METASTAGE. (2020, 18 marzo). Metastage Performance Library [Vídeo]. YouTube. https://www.youtube.com/watch?v=faGOOikFPPw
Metastage. (2021, 11 noviembre). Limitless Volume: Taking Volumetric Video to the Next Level with Samsung and CharliXCX [Congrees Webinar]. Limitless Volume: Taking Volumetric Video to the Next Level with Samsung and CharliXCX, Santa CLara California, USA. https://reg.rainfocus.com/flow/nvidia/nvidiagtc/ap2/page/sessioncatalog/session/16325440046920018Azl
Ortiz, N. R. (2020, 30 noviembre). Dónde descargar datos LIDAR. Cursos de Teledetección, Drones y LIDAR. Recuperado 19 de noviembre de 2021, de https://www.cursosteledeteccion.com/donde-descargar-datos-lidar/
Radiohead. (2008, 13 julio). Radiohead – House of Cards [Vídeo]. YouTube. https://www.youtube.com/watch?v=8nTFjVm9sTQ
Rodríguez Pérez, D., 2015. Colecciones 3D reconstrucción digital tridimensional para la preservación y difusión del patrimonio cultural universitario. 1st ed. [ebook] México City: UNAM, pp.40-57. Available at: <https://tesiunam.dgb.unam.mx/F/VSS4SQKNDV4M93GR5XCPHU61J2D5HMFL9CH83R3JUPFIAKJSYP-07115?func=full-set-set&set_number=853478&set_entry=000002&format=999> [Accessed 19 November 2021].