Reporte de técnicas de reconstrucción a través de LIDAR en dispositivos móviles

Fecha liberación: 

10/11/2021

Fuente: 

3D Collective [Adán Martin]. (2020, 17 diciembre). 3D Studio MAX 2021 Retopology Tools [Vídeo]. YouTube. https://www.youtube.com/watch?v=_uZZ5v6gN6M

3d Scanner App (1.9.5). (2021). [Aplicación de escaneo 3d usando el sensor LIDAR]. Laan Labs. https://apps.apple.com/us/app/3d-scanner-app/id1419913995

Autodesk Inc. (2021, 22 septiembre). Retopology Tools for 3ds Max. 3ds Max 2022 | Autodesk Knowledge Network. Recuperado 9 de noviembre de 2021, de t.ly/HWnC

Jakob, W., & Bokun, D. (2019, 3 noviembre). GitHub – wjakob/instant-meshes: Interactive field-aligned mesh generator. GitHub. Recuperado 9 de noviembre de 2021, de https://github.com/wjakob/instant-meshes

Categoría: 

Metodologías de reconstrucción de geometrías 3D

Herramientas de desarrollo asociadas:

3d Scanner App, 3DS MAX, Instant Meshes

Análisis comparativo de herramientas de obtención rápida de superficies a través de LIDAR y su posible uso como activos para aplicaciones tridimensionales XR

Situación

Necesidad de obtención de modelos 3d con dispositivos móviles comerciales que integran el sensor LIDAR para facilitar la creación de contenido gráfico para no modeladores y la obtención de planos a escala real de locaciones en las que pueda ser aplicado posteriormente a una reconstrucción para realidad virtual o aumentada.

Figura 1. Victor Franco. Espacio real para reconstruir. 2021. Imagen digital.

Redacción de la solución

A través de pruebas prototipo se busca identificar las ventajas y limitaciones de las aplicaciones que permiten la reconstrucción de superficies a través del sensor LIDAR existente en dispositivos móviles, una vez realizada la captura se busca llevar a cabo una retopologización (Autodesk Inc. 2021) para la obtención de superficies derivadas que no contengan demasiado ruido de escaneo y que puedan servir como base a la creación de contenido gráfico aplicable en proyectos de XR.

Identificación de apps y entendimiento de su uso

3d scanner app (3d Scanner App. 2021) permite escanear fácilmente presionando solo un botón, posee 2 configuraciones iniciales, una de alta calidad y otra de baja, ya que se ha presionado el botón de captura se debe recorrer el espacio capturando los datos, al finalizar la captura se deben procesar los datos obtenidos, este proceso lleva un tiempo significativo dependiendo de la complejidad de nuestra captura, por ejemplo, si es un objeto, un cuarto o un edificio. Figura 2. Victor Franco. Interfaz de captura de 3d Scanner App. 2021. Imagen digital.

Obtención de datos de reconstrucción y prueba de efectividad bajo condiciones diversas de iluminación

3d scanner app, esta app permite obtener rápidamente superficies complejas pero con problemas de ruido al capturar, además como la mayoría de escáneres los objetos transparente o traslucidos son difíciles de escanear o simplemente no los toma en cuenta, por ejemplo ventanas, vasos de vidrio o plástico traslúcido, en estos casos en general se recomienda el uso de pintura de fácil eliminación, pues permite obtener la captura de superficies sin dañar el objeto, y solo si esto es necesario para la reconstrucción.

Se encontró que las superficies son inexactas, aún en el modo de alta calidad y en condiciones ideales de iluminación, lo que permite es obtener geometrías generales sin demasiado detalle, la textura es similar a la obtenida por procesos de fotogrametría y de la misma forma las coordenadas de textura UV están separadas en una gran cantidad de islas, lo que dificulta un trabajo posterior sobre las mismas. Figura 3. Victor Franco. Modelo 3d obtenido del escaneo con 3d Scanner App. 2021. Imagen digital.

En una segunda prueba con condiciones de luz baja se encontró que el sensor LIDAR funciona de forma deficiente y los datos que se obtienen no son precisos, además de que presentan errores de construcción y debido a la baja cantidad de luz estos presentan texturas con calidades bajas, Figura 4. Victor Franco. Modelo 3d obtenido del escaneo con 3d Scanner App en condiciones de iluminación baja. 2021. Imagen digital.

Transferencia de información para post procesado

Existen diversos métodos para transferir archivos, es similar a cualquier otro archivo de teléfono ya que 3d scanner app permite exportar en los formatos de transferencia comunes, como lo son FBX, OBJ, DAE, GLTF, USDZ y STL, así como archivos de nubes de puntos como lo son PCD PLY PTS XYZ LAS y e57, por lo que la transferencia de información se facilita ampliamente, las texturas están embebidas en la mayoría de los formatos de transferencia o son incorporadas en un archivo comprimido, por lo que su transferencia es simple. Figura 5. Victor Franco. Formatos de exportación de modelos de la app 3d Scanner App. 2021. Imagen digital.

Revisión, limpieza y decimado de superficies

En el caso de 3d scanner app las superficies presentan demasiado ruido de captura, aún en condiciones ideales de luz, por lo que su limpieza puede requerir demasiado tiempo, se sugiere usarlo de base y construir una superficie limpia encima [retopología] de tal manera que pueda respetar la escala 1 a 1 y de ser necesario transferir la información de superficie y textura a través de un proceso de proyección [BAKING].

Figura 6. Victor Franco. Previsualización del modelo 3d obtenido del escaneo con 3d Scanner App. 2021. Imagen digital.

El decimado de superficies es posible, aunque complejo, pero los resultados pueden ser alentadores para la obtención rápida de activos que no requieran de acabados finos, para experimentar un espacio antes de reconstruirlo por ejemplo, aunque debe considerarse la deformación evidente de sus superficies.

Obtención de modelo optimizado para tiempo real

La obtención de un modelo optimizado puede llevarse a cabo a través de métodos semiautomáticos de retopologización o de forma manual, si se elige un método semiautomatizado puede utilizarse la opción retopologizar de 3DS MAX 2022, esta herramienta realiza una conversión de la superficie imperfecta triangular en una superficie construida por quads regulares que intenta en lo posible continuar la forma original de la superficie.

Aun cuando las superficies obtenidas presentan una calidad aceptable, existen zonas con errores significativos, estos no pueden quedar en el modelo final por lo que la edición manual será necesaria, regiones que no se obtuvieron por su finura o ser materiales transparentes, crean errores que son difíciles de corregir. Figura 7. Victor Franco. Ejemplo de errores que ocurren con materiales transparentes. 2021. Imagen digital.

También es posible realizar la limpieza y retopología a través de software libre como lo es Instant Meshes (Jakob, W. 2019) que es un programa que permite realizar en automático un proceso de creación de una malla limpia creada con quads como base para la obtención de un activo para tiempo real derivado de la superficie original.

Figura 8. Victor Franco. Versión limpia de modelo para tiempo real. 2021. Imagen digital.

En el caso de usar instant meses debe realizarse un trabajo de desarrollo de coordenadas de textura considerando obtener la menor cantidad de islas posibles sin deformación, además de la proyección de texturas desde el modelo original para obtener la versión final para tiempo real.

Figura 9. Victor Franco. Versión con proyección de texturas en la que se observa el ruido sobre la superficie. 2021. Imagen digital.

Se debe considerar que el modelo obtenido hereda los errores de la superficie de escaneo y que no es el método más recomendable, se sugiere crear modelo de forma manual y solo usar el modelo escaneado como base.

Evaluación de contenido final

Se obtuvieron 3 versiones de la captura de superficie, la primera el modelo original que entrega la app y 2 derivados con diferente método de decimación preservando quads, cada uno de estos puede usarse en aplicaciones de realidad virtual pero en diferentes plataformas, en donde el segundo modelo de la figura 10 está adaptado para su uso en realidad virtual para pc y el tercero es una versión para móviles.

Figura 10. Victor Franco. Comparativa de modelo obtenidos en donde el de la izquierda es el modelo original. 2021. Imagen digital.

Figura 11. Victor Franco. Comparativa de geometría constructiva modelo obtenidos en donde el modelo de extrema derecha está diseñado para tiempo real en móviles. 2021. Imagen digital.

Conclusiones

Aunque se encontró útil la obtención acelerada de modelos 3d, su calidad es baja y se encuentra más bien como una solución rápida para obtener referencias tridimensionales a escala real y en conjunto con fotografías, podría ser una buena base para crear modelos tridimensionales de calidad derivados de esta, por si misma su calidad no es la mejor por lo que no se recomienda su uso de forma directa.

En cuanto a la adaptación del modelo para su uso en tiempo real (considerando el ruido que la superficie original contiene) puede realizarse un proceso de retopologia manual o automatizado y a través de métodos de proyección transferir la información a mapas de normales, altura y albedo, esto con el fin de obtener una superficie regular optimizada que sea útil para tiempo real.

Trabajo a futuro

Se busca en el futuro cercano realizar pruebas de otras aplicaciones que existen en el mercado como lo son RoomScan LiDAR, Canvas: Pocket 3D Room Scanner, LiDAR Scanner 3D, Polycam

Scaniverse – LiDAR 3D Scanner, Matterport capturer, AR Planner, Scandy Pro, Lidar Camera y Pix4dCatch para verificar la calidad de captura y evaluar sus funciones, por ejemplo, la de captura en secuencia para su uso como animación.

• Mtro. Víctor Hugo Franco Serrano (vhfranco at unam dot mx)

Departamento de Visualización y Realidad Virtual

dvrv at unam dot mx

ixtli at unam dot mx

https://dvrv.unam.mx  https://ixtli.unam.mx

Tel: 55 56 22 88 77