Jack Hsu aporta años de experiencia en la industria del juego a su último reto: desarrollar un software de RA para la inspección de aviones. Howard Slutsken lo conoció
En un campus empresarial arbolado, no lejos del Aeropuerto Internacional de Vancouver (YVR), Jack Hsu está en un accidentado viaje para enseñar a una aplicación de iPad a reconocer un avión. No se limita a desarrollar un software para entusiastas que pueda diferenciar, por ejemplo, entre un Airbus A320 y un Boeing 737 en aproximación final. En lugar de ello, se ha centrado en sofisticados algoritmos basados en la inteligencia artificial y el aprendizaje automático para crear un software de realidad aumentada que ayude a los ingenieros y mecánicos a realizar las inspecciones periódicas de los aviones.
"La idea era poder levantar un iPad, mirar el avión y ver puntos en la pantalla que representaran defectos -como abolladuras en el fuselaje por operaciones en pista- en el propio avión", explica Hsu a AIR International. ¿Suena sencillo? No lo es.
El camino a Boeing
Hsu es natural de Vancouver y lleva cuatro años y medio como director de desarrollo de software en la división de Vancouver de Boeing.
Howard Slutsken
Como muchos tecnólogos de Vancouver, trabajó en el gigante local de los juegos de ordenador Electronic Arts. "Fui el director de desarrollo de la NHL [videojuegos] el primer año que estuve allí. Y, junto con todos los que trabajaron en el desarrollo de NHL 2003, estoy en el juego", dijo entre risas.
Aunque las raíces de Boeing en Canadá se remontan a más de un siglo, sus instalaciones cerca de YVR pasaron a formar parte de la empresa hace apenas 20 años. AeroInfo, la empresa dedicada al desarrollo de programas informáticos para el mantenimiento de aeronaves, está ahora integrada en Boeing Global Services (BGS) y ha sido rebautizada como Boeing Vancouver. La oficina forma parte del grupo digital de posventa del fabricante de aviones que vende software de planificación y mantenimiento de vuelos.
"Cuando llegué a Boeing, no sabía mucho sobre mantenimiento, que es realmente la competencia principal de mucha de la gente de aquí. Empecé a aprender que las inspecciones de las aeronaves son un requisito continuo en el mantenimiento: es costoso y lleva mucho tiempo", dijo Hsu.
"A medida que aprendí más sobre los productos que desarrollamos y apoyamos aquí, empecé a pensar que la realidad aumentada podría ayudar potencialmente a apoyar ese tipo de mantenimiento. Teníamos que explorarlo".
Aumentada frente a virtual
La realidad aumentada y la realidad virtual (RV) son tecnologías que permiten a los usuarios interactuar con mundos reales y virtuales. La realidad virtual es la más inmersiva, con usuarios que llevan una pantalla visual totalmente contenida, como el Oculus Quest o el Sony PlayStation VR. Los mandos o guantes dan al usuario un control físico virtual sobre los elementos de un mundo digital.
Los juegos y las aplicaciones científicas son muy populares en la RV. Por ejemplo, el Laboratorio de Propulsión a Chorro de la NASA ha desarrollado una serie de visitas virtuales a Marte.
La realidad aumentada, por su parte, superpone información al campo de visión del usuario en el entorno del mundo real, visto a través de la cámara de un smartphone o de una pantalla transparente, quizás.
En una aplicación de la RA en el sector de la aviación, los pilotos que vuelan en un avión equipado con una pantalla de visualización de la cabina de vuelo (HUD) pueden ver los datos de los instrumentos de vuelo de la aeronave mientras mantienen su atención en lo que ocurre fuera del avión.
Los entusiastas de la aviación probablemente conozcan bien la función de RA de la aplicación de seguimiento de vuelos Flightradar24. Si se levanta el teléfono inteligente hacia el cielo, la aplicación mostrará la ubicación y los datos de vuelo de las aeronaves dentro del campo de visión de la cámara, información que se actualiza en la pantalla al mover el teléfono.
Hsu vio el potencial de vincular la RA con el software Maintenance Turn Time de Boeing y la aplicación para iPad. En su página web, Boeing describe Turn Time como un sistema en tiempo real para seguir y documentar el trabajo de mantenimiento. "Es una aplicación que llevan los mecánicos y que les ayuda a rastrear los defectos en la superficie de un avión", explicó Hsu.
"Pueden ver un modelo 3D del avión, y les mostrará puntos de los defectos existentes, dónde están ubicados. Un mecánico mirará el avión y dirá: 'ese defecto ya ha sido registrado, pero no he visto ese antes', y entonces lo registrará, indicando en qué parte del avión se encuentra".
Al recoger un coche de alquiler, rellenar un formulario para registrar las abolladuras o arañazos existentes es esencialmente una versión en papel y lápiz de lo que el software registra para un operador de aeronaves. Pero en lugar de que los mecánicos se limiten a interactuar en el iPad con un modelo digital de un avión, Hsu quería trasladar Turn Time al mundo real. "¿Por qué no se levanta el iPad y se mira el avión, y luego se ven los puntos que representan los defectos en el propio avión?", se preguntó. "Así es mucho más directo".
Hacer realidad la magia
El proyecto de Realidad Aumentada para el Mantenimiento y la Inspección se creó en 2020, con el respaldo del Supercluster de Tecnología Digital de la Universidad de Columbia Británica, con sede en Vancouver, y el apoyo de la asociación de Boeing Vancouver, Unity Technologies y la Universidad Simon Fraser.
Para enseñar correctamente el algoritmo de la aplicación, se crearon miles de imágenes sintéticas del DC-3, con variaciones en la iluminación y la librea
Boeing Vancouver
"Decidimos dividir el proyecto", explicó Hsu. "Boeing trabajó en la aplicación para iPad y nuestros socios de Unity -que son expertos en RA- trabajaron con las HoloLens de Microsoft, que es un hardware de RA que se lleva como unas gafas".
Los equipos empezaron con el modelo virtual en 3D de un avión de Turn Time, y luego colocaron los puntos que indican la ubicación de los defectos en un contorno de malla del modelo, de la misma manera que las imágenes generadas por ordenador (CGI) para las películas se crean en capas que pueden ser manipuladas y posicionadas.
El modelo 3D, la malla de referencia y los puntos se unirían a continuación a la imagen vista por el iPad o la cámara HoloLens, de modo que el modelo virtual quede anclado, es decir, perfectamente superpuesto al avión real.
"Tiene que estar anclado correctamente. No se trata solo de que esté anclado cuando el iPad está bloqueado en una posición, sino que tiene que permanecer anclado dondequiera que se mueva el dispositivo", dijo Hsu. "Si lo anclamos correctamente y hacemos desaparecer la malla, lo único que se ve son los puntos. Esta es la magia".
Pero Hsu y su equipo descubrieron que, aunque el iPad dispone de la tecnología necesaria para anclar un objeto virtual en el mundo real, su rendimiento depende enormemente del entorno de trabajo y de la calidad de la imagen de la cámara. En un lugar interior relativamente pequeño, como una oficina, explicó Hsu, hay múltiples puntos característicos que una aplicación podría seguir fácilmente, como los muebles o las esquinas de las ventanas. "Pero cuando tienes un avión, que es una superficie brillante, un entorno grande, un objeto grande, y está curvado, no funciona", afirmó.
"Puedes ir al morro del avión y anclarlo, luego dar una vuelta, volver, y el avión ya no está anclado. Se debe a que los sensores del iPad no pueden ver suficientes puntos característicos: se confunde y no puede seguir al avión".
El equipo de Hsu tuvo múltiples conversaciones con Apple y confirmó esta limitación del iPad, y el equipo de Unity encontró problemas similares con las HoloLens. "Tuvimos que decidir cómo íbamos a tratar este problema", dijo Hsu.
Aprendizajeautomático
En el campo de la investigación y el desarrollo de la Inteligencia Artificial (IA), los ingenieros de robótica han estado utilizando una tecnología llamada "estimación de la pose" para determinar la posición de un objeto en una imagen, y luego inferir la ubicación de la cámara en relación con el objeto. "En nuestro caso, se mira el avión y, con sólo mirarlo, se puede averiguar dónde está, en relación con él. Una vez que lo sabes, puedes coger el modelo virtual en 3D y colocarlo en el lugar adecuado", explica Hsu.
Sin embargo, para que todo esto funcione, el software debe ser capaz de identificar que está mirando un avión, exactamente en qué parte del avión está mirando y a qué distancia del mismo se encuentra. Para ello, hay que enseñar a la aplicación lo que son los aviones, y eso entra dentro de la ciencia del "aprendizaje automático".
En mi opinión, se trata de una caja negra con un algoritmo de software, a la que se alimenta con un montón de imágenes de gatos y otros animales y se le dice "eso es un gato" o "eso no es un gato"", explica Hsu. Con el tiempo, si le das suficientes imágenes y le muestras una nueva, puede responder a la pregunta: "¿Es un gato? Así es como funciona el aprendizaje automático".
Y añadió: "Una cosa interesante del aprendizaje automático es que nadie sabe lo que pasa dentro de la caja. No sabemos realmente cómo lo sabe. Sólo sabemos que hace un buen trabajo".
Para añadir la estimación de la postura al proceso de aprendizaje del algoritmo, los datos de cada imagen deben incluir los puntos de referencia de la ubicación de la cámara, la distancia y la orientación del objetivo, en múltiples ejes. "Para alimentar este algoritmo, tuvimos que recopilar muchísimas imágenes de un avión", dijo Hsu.
Eltiempo lo impide
Impulsado por las restricciones impuestas por la pandemia, el equipo encontró finalmente un avión objetivo adecuado -un venerable Douglas DC-3- en la colección del Museo Canadiense de Vuelo, aparcado en la rampa del Aeropuerto Regional de Langley, al este de Vancouver.
Los investigadores de la Universidad Simon Fraser (SFU) se encargaron de capturar las imágenes y los datos de posición, e introducirlos en el algoritmo de estimación de la postura que habían desarrollado.
"Lo que hicieron fue poner códigos QR en el avión. Era necesario que se viera más de uno en la imagen para poder triangular su posición", explica Hsu.
Tras un largo día de trabajo y 3.000 imágenes, la respuesta inicial del equipo a los resultados fue de entusiasmo. Sin embargo, pronto se convirtió en decepción.
"El software intentaba hacer el anclaje y no hacía un trabajo especialmente bueno. Esto nos sorprendió un poco a nosotros y al equipo de la SFU. En las pruebas que habían hecho, tomaron un montón de imágenes y descubrieron que funcionaba muy bien".
El análisis determinó que el algoritmo se confundió porque, en comparación con las pruebas, las nubes eran diferentes en las imágenes del día de la fotografía.
"La iluminación es diferente. Las sombras son diferentes. Los reflejos son diferentes. Y dependiendo de dónde se moviera [la cámara], había puntos de vista que nunca había visto antes. Pensamos que esto no iba a ser bueno", admitió Hsu.
No hay suficientes gatos
Los científicos de datos han reconocido que es poco práctico -y consume mucho tiempo- alimentar un algoritmo con los miles de imágenes que el software necesita para aprender.
Para Hsu y su equipo, las 3.000 imágenes del DC-3 no eran suficientes. "Cuantos más datos tengas, mejor. Si puedes introducir un millón de fotos de gatos en el algoritmo, éste hará un mejor trabajo que si lo alimentas con diez [imágenes de] gatos. Pero recopilar más datos es difícil", explica.
Una de las soluciones es la generación de datos sintéticos, un área en auge en el aprendizaje automático. Es el concepto de crear imágenes sintéticas -como un gato en un videojuego- detalladas y con suficiente variación de tamaño y color para que el algoritmo las acepte y comprenda.
"Aquí es donde entró en juego mi experiencia en videojuegos", dice Hsu. En colaboración con un artista gráfico de Unity Technologies, crearon imágenes del DC-3 con diferentes libreas en distintos entornos, fondos y condiciones de iluminación, y movieron la cámara para crear miles de puntos de vista diferentes.
"Lo aleatorizaron todo. Luego, utilizando su motor de renderizado -que proporcionan a la mitad de los videojuegos del mundo- fueron capaces de generar 100.000 imágenes sintéticas en cuatro o cinco horas".
Y para enseñar el algoritmo correctamente, las imágenes sintéticas deben mezclarse con imágenes reales, pues de lo contrario el software no reconocerá a los gatos de verdad.
Hay que seguir trabajando
Hsu se sintió animado por este enfoque, pero "se nos acabó el tiempo y el presupuesto, y el proyecto terminó. Estoy en proceso de conseguir más financiación de otras fuentes, y básicamente todos han acordado que van a financiar otra fase para continuar la investigación".
Está pensando en nuevos enfoques para probar, incluyendo el uso del sensor LIDAR -detección de luz y alcance- de un iPad Pro para crear mapas digitales de la superficie del avión.
A pesar de los desafíos del viaje, Hsu es optimista y no se deja intimidar. "Para crear una aplicación sencilla que los mecánicos quieran usar, vamos a tener que hacerlo de una manera diferente. Y por eso estamos dedicando tanto tiempo a tratar de idear técnicas", afirma. "Lo que estamos haciendo es investigar".
LaRA en el espacio
La realidad aumentada es una parte integral del esfuerzo de la NASA para llevar astronautas a la luna -y más allá- en el diseño y la fabricación de la nave espacial Orion de Lockheed Martin.
"Hay procesos complejos que nuestros equipos tienen que gestionar dentro de la industria espacial", explica Shelley Peterson, ingeniero de sistemas senior de Lockheed Martin.
Los técnicos que utilizan los dispositivos wearables de RA pueden acceder a las instrucciones paso a paso de un proceso de ensamblaje o pueden llamar fácilmente a las superposiciones detalladas de los diseños de colocación de componentes que "flotan" sobre la nave espacial real.
"Tenemos 57.000 elementos de fijación en una nave espacial Orión y utilizamos la RA para saber dónde colocarlos. Lo que normalmente llevaría de dos a tres técnicos en varios turnos, ahora podemos completarlo con un solo técnico en dos horas y media", dijo Peterson. "La mayor precisión en la colocación de los componentes con la RA ha sido el mayor beneficio, ya que elimina la necesidad de comprobar constantemente las instrucciones de trabajo".
Según Peterson, los técnicos están completando con precisión las instalaciones con una precisión de una décima de pulgada, superando fácilmente las tolerancias de colocación definidas que se establecen entre un cuarto y media pulgada.
El gigante aeroespacial también está ampliando el uso de la RA a la producción de satélites. En un caso concreto, los técnicos pudieron reducir el tiempo necesario en un 90% en comparación con el uso de instrucciones de trabajo más convencionales en papel.
"Al integrar las capacidades visuales y los procesos de diseño y construcción, podemos proporcionar instrucciones completas y precisas a nuestros técnicos", dijo Dan Driscoll, vicepresidente de innovación y entornos digitales resistentes de Lockheed Martin.
Realidad aumentada y carga
En el aeropuerto Changi de Singapur, el proveedor de servicios en tierra SATS ha desplegado la RA en sus operaciones de carga en rampa para el equipaje y la carga. Los agentes de carga en rampa de SATS llevan unas gafas inteligentes ergonómicas con realidad aumentada que cuentan con una pantalla monocular, una cámara a bordo y conectividad inalámbrica para la comunicación de datos. Cuando se prepara la carga, un agente de carga en la rampa utiliza primero una tableta para identificar los contenedores de carga o equipaje y sus correspondientes posiciones de carga en el avión, junto con las instrucciones digitales de carga para el avión. Las instrucciones de carga también se muestran en las gafas inteligentes, para ayudar al RLO a visualizar la secuencia de carga. El proceso de carga se supervisa en tiempo real en el centro de control de rampa de SATS, que supervisa el procedimiento de carga y ayuda a los RLO con instrucciones sobre la carga con requisitos especiales de manipulación. Una vez que el contenedor de carga o equipaje está en la bodega, el RLO en el avión utiliza las gafas inteligentes para escanear la posición del contenedor, utilizando tecnología de reconocimiento óptico. A continuación, se toman imágenes de confirmación, utilizando las gafas inteligentes, para mostrar que el contenedor de carga o de equipaje está correctamente asegurado con cerraduras. Las imágenes se guardan y almacenan. El SATS está estudiando la posibilidad de añadir el análisis de vídeo al procesamiento de la RA, para la identificación de cargas con formas no estándar, utilizando la función de cámara de las gafas inteligentes.
