#AeroAESA: AR-onautica: Luci e ombre dell’Extended Reality in aviazione

Edoardo Blanco

Se avessimo chiesto a una persona dello scorso millennio cosa si sarebbe aspettata dalla prima metà del ventunesimo secolo, avremmo certamente ricevuto le risposte più disparate e assurde, trovandone la conferma dalla sua rappresentazione nei media dell’epoca: dagli Spinner – le auto volanti di Deckard e gli altri ufficiali di polizia nel Dickiano ‘Do Androids Dream of Electric Sheep?’ (‘Blade Runner’ per i movie bro) – ai tubi pneumatici di Matt Groening che sostituivano i mezzi pubblici nella Nuova New
York di Futurama, passando per gli iper-senzienti HAL9000 che Kubrick mette al controllo di intere stazioni spaziali, tutto era permeato di un concetto di tecnologia avanzatissima e inarrivabile. Da questi abbagli dell’immaginario delle generazioni dei nostri genitori, nonni e perché no, anche bisnonni, è impossibile non percepire le aspettative di un’innovazione drastica e continua, derivata dalla percezione di un trend che prometteva un progresso a velocità esponenziali.

Verrebbe ora da chiederci: dove siamo rispetto a tutto ciò?

Nel ventesimo secolo, in particolare nella seconda metà, abbiamo avuto testimonianza di una grande enfasi sull’avanzamento tecnologico e scientifico, stimolata dalla corsa allo spazio, la guerra fredda e la rapida evoluzione dei computer e delle telecomunicazioni, che hanno alimentato le visioni di un futuro istrionicamente dominato da ogni tipo di stravagante e improbabile marchingegno. Tuttavia, nonostante il divario evidente tra quelle aspettative e la realtà attuale, non dobbiamo lasciarci trarre in inganno nel pensare di esserci rallentati, se non addirittura arrestati: il nostro secolo ha conosciuto sviluppi sorprendenti, specie nel campo dell’informazione (che non a caso da il nome al nostro stesso periodo storico), come testimoniano la proliferazione di dispositivi mobili, la connettività onnipresente e l’estrema integrazione di ogni singolo dispositivo all’interno di reti distribuite. In aggiunta a ciò, l’avanzamento nell’intelligenza artificiale e nella realtà virtuale/aumentata sta preparando cambiamenti significativi nel breve termine.

Dopo esserci concentrati sulle interfacce AI – aviazione dell’anno scorso (link all’articolo), questa settimana approfondiremo l’implementazione di tecnologie di Extended reality (XR) in campo aeronautico.

Definizione di XR – AR – VR

Prima di poter esplorare l’argomento tutt’altro che elementare e ridotto con maggiore dimestichezza, è necessario soffermarsi brevemente sulla definizione e la distinzione delle tecnologie presenti:

  • XR, acronimo di eXtended Reality, è un termine a ombrello usato per designare qualsiasi tecnologia in grado di integrare o emulare il mondo reale con un ‘digital twin’, una controparte virtuale con cui l’utente può interagire in modo completamente interattivo. Sotto questa definizione ricadono:
    • VR (Realtà Virtuale), qualsiasi applicazione che simuli la realtà o situazioni realistiche in modo immersivo e in cui l’utente si interfaccia esclusivamente con il digital-twin. Un famosissimo esempio di applicazioni VR sono i visori utilizzati per i videogiochi o per i video 360°;
    • AR (Realtà Aumentata), consiste nell’arricchimento della percezione del mondo reale con informazioni aggiuntive, non percepibili dai 5 sensi, elaborate dalla macchina. L’utente non si interfaccia mai con un digital-twin, in quanto ogni informazione aggiuntiva è un complemento a quanto osservato, non una simulazione. In questa categoria figurano gli HUD (Head-Up-Display) dei velivoli militari (F-16, B2 bomber, EFA, Apache …) o civili più recenti (Boeing 787, 737 MAX, A350…);
    • MR (Realtà Mista), una combinazione tra i due ambienti reale e digitale che prevede un’interfaccia completamente integrata e biunivoca tra simulazione e percezione. Tramite questa tecnologia si possono far coesistere elementi fisici e virtuali, con cui l’utente può interagire in modalità assolutamente ibrida.

Acquisita una comprensione di base degli argomenti che verranno trattati, siamo pronti a procedere con l’esplorazione più approfondita dei concetti presentati e delle loro implementazioni.

Scenari di Implementazione

L’applicazione di queste soluzioni in campo aeronautico ha il potenziale per estendersi in una vasta gamma di ambiti: la ricerca e lo sviluppo nel settore stanno esplorando molteplici direzioni, ciascuna con opportunità assolutamente significative. Oggi andremo a esplorare le due tematiche di implementazione più interessanti a mio avviso: l’addestramento dei piloti e l’assistenza ai controllori del traffico aereo, soffermandoci in ultima battuta sulle criticità che queste realtà possono portare sul fattore umano di tali operazioni.

1- Addestramento equipaggio

Una delle principali modalità di ingresso dell’XR nel mondo dell’aviazione commerciale è attraverso programmi di addestramento dedicati sviluppati delle compagnie aeree.

I punti di forza di queste soluzioni sono la drastica riduzione del rischio a cui vengono sottoposti gli studenti piloti (e le preziosissime risorse di formazione, come simulatori fisici e aerei veri), specie quando è necessario esercitarsi su situazioni non-nominali o di vera e propria emergenza, e l’impressionante abbattimento di spese e tempistiche.

Infatti, per i piloti è generalmente previsto addestramento a terra, con simulatori, e in volo, con il modello di velivolo specifico al conseguimento del Type Rating. I simulatori solid-state possono avere un prezzo molto variabile, da qualche decina di migliaia di euro a svariati milioni, a seconda delle funzionalità, della potenza e del livello di realismo – oltre a necessitare di staff tecnico apposito che coadiuvi il regolare svolgimento delle attività controllando la corretta risposta delle macchine-. Al contrario, un ambiente analogo basato su VR o MR, richiede la sola spesa dell’attrezzatura (visori e sensori aptici) e permette agli studenti di gestire una specifica fase di studio in maggiore autonomia.

Parlando sempre di risparmi, un’implementazione di tali iniziative a discapito delle ore di volo non richiederebbe il pagamento di tasse aeroportuali per lo stazionamento e il movimento a terra, non comporterebbe acquisto e consumo di carburante e inoltre non inficerebbe sul carico delle aerostrutture e la frequenza di manutenzione dei velivoli. Per fare un esempio, una recente indagine della US Air Force ha rilevato come l’utilizzo di XR possa alleviare il Dipartimento della Difesa statunitense di spese nell’ordine della decina di miliardi di dollari nel prossimo decennio nell’ottica della sola iniziativa Pilot Training Next, un risultato notevole e decisamente appetibile.

Superati i vantaggi puramente gestionali, scendiamo maggiormente nel dettaglio e abbandoniamo le vesti dell’imprenditore per calarci nella dimensione dei piloti.

L’XRT, Extended Reality Training, offre tre importantissimi benefici: colma il divario tra aula e ambiente di simulazione, accelera l’apprendimento e ne incrementa notevolmente l’efficienza.Gli ultimi due punti sono dovuti a un fenomeno identificato in letteratura come “effetto Gamification”.

Con Gamification si intende l’inclusione di componenti riconducibili al gioco, come sistemi/servizi focalizzati sull’ottimizzazione di user-engagement e user-experience, in contesti non strettamente ludici. Queste esperienze ad alta immersione permettono agli utenti di approcciare i concetti teorici in modalità multisensoriale e, di conseguenza, l’apprendimento è stimolato dall’intervento della memoria muscolare. È inutile aggiungere che l’addestramento XR consente anche un apprendimento personalizzato fedele al proprio ritmo, migliorando le performance degli studenti.

Vediamo ora alcuni esempi di addestramento XR:

  • Virtual Reality Flight Simulator (VRFS): il simulatore solid-state viene ricostruito virtualmente e può facilitare la familiarizzazione del pilota con l’ambiente e i comandi di cabina. Inoltre, può essere aggiunta sensoristica in grado di valutare specifici parametri dei processi cognitivi degli utenti e di dare ai preposti
    all’addestramento risorse di interesse non trascurabile all’ottimizzazione della formazione.
  • Virtual Reality Procedure Training (VRPT): in aggiunta alla cabina, vengono riportate delle checklist dinamiche con cui l’utente può interagire per acquisire maggiore dimestichezza nello svolgimento delle procedure. In analogia con questa versione VR, vi è la soluzione AR, dove la checklist è visualizzabile all’interno del simulatore e dei puntatori luminosi indicano in maniera sequenziale i pulsanti da premere per una corretta esecuzione.
  • Virtual Reality Aviation Illusion Trainer (VRAIT): gli ecosistemi software/hardware si focalizzano sulle illusioni ottiche percepibili in volo, principalmente legate a una scorretta percezione della larghezza della pista in fase di avvicinamento e alla discordanza di uno o più display di bordo. I sistemi VRAIT preparano i piloti a questi spiacevoli inconvenienti, che potrebbero portare il velivolo in situazioni di approccio non stabilizzato, in un ambiente di addestramento sicuro. Lo scenario di volo viene simulato e offre all’equipaggio l’opportunità di prepararsi alla visualizzazione delle illusioni e all’esecuzione delle corrette contromisure.
  • Strumenti AR di assistenza dedicati: siccome gli studenti considerano i contenuti relativi all’avvicinamento e all’atterraggio come le parti più difficili della loro formazione, l’AR può aiutarli fornendo informazioni aggiuntive e segnali visivi per facilitare la loro navigazione durante un avvicinamento.

2- Controllo del traffico aereo

Nonostante la sua importanza a livello di ricerca, l’implementazione dell’XR al servizio dell’Air Traffic Management (ATM) è in uno stadio meno maturo del crew training.

Il lavoro di un controllore di torre in aeroporto consiste nella supervisione degli aeromobili nell’area di manovra a terra del traffico in arrivo e in partenza, affidandosi alla propria vista (fuori dalla finestra o su specifici supporti informatici) per fornire separazione e autorizzazioni. Il complesso di queste attività comporta un carico di lavoro e di stress senza precedenti.

Mentre le prestazioni sono una priorità in un teatro mondiale in cui traffico è in continua crescita, l’aggiunta dei supporti informatici sopra menzionati, sebbene adatti a garantire un aumento della sicurezza, hanno aumentato in modo collaterale il carico cognitivo, costringendo l’operatore a un continuo spostamento di focus tra la visuale esterna (posizione a testa alta) e le interfacce digitali contenenti informazioni di traffico e sicurezza (posizione a testa bassa) della postazione di lavoro.

In questo scenario, tra le tre tecnologie oggi presentate, l’AR è la più adatta ad aiutare nello svolgimento delle mansioni quotidiane, spostando le informazioni di sorveglianza dalla postazione fissa a una rappresentazione ibrida visualizzata su ciò che accade fuori dalla finestra, permettendo di risolvere il difficile compromesso tra
sicurezza e prestazioni.

Un esempio di queste soluzioni è stato sviluppato presso il Centro di Ricerca Aerospaziale Olandese (NLR) in collaborazione con l’aeroporto di Schiphol, uno dei più trafficati in Europa.

Sfruttando l’avanzatissimo NARSIM, un simulatore di controllo del traffico aereo modellato sull’aeroporto di Amsterdam e finalizzato alla validazione e verifica di tecnologie di assistenza agli operatori di torre, i ricercatori hanno potuto testare un software AR implementato su dei visori olografici GoogleGlass.

Le sue funzionalità principali possono essere riassunte come:

  • Abbattimento delle ostruzioni visive: gli occhiali erano in grado di proiettare in diretta la situazione di parti dell’area di manovra nascoste da ostacoli, grazie all’aiuto di webcam esterne e di un sistema di eye tracking che seguiva costantemente la direzione di osservazione del controllore.
  • Attention Capturing & Guidance: in caso di situazioni emergenziali, il sistema era in grado di veicolare l’attenzione del controllore verso il punto di interesse, tramite segnali acustici e indicatori visivi.
  • Assistenza all’identificazione: in prossimità degli aerei osservati dall’operatore veniva proiettato un indicatore interattivo con dati e colori variabili in funzione della fase di volo.

In conclusione, gli operatori TWR potrebbero quindi mantenere il focus sul traffico in tempo reale, con una maggiore consapevolezza situazionale e un carico di lavoro ridotto, migliorando la sicurezza complessiva e l’efficienza (temporale e quindi economica) delle operazioni aeroportuali in ogni condizione, specialmente in caso di traffico intenso e scarsa visibilità.

Altre dimensioni

Prima di concludere definitivamente, diamo una veloce occhiata ad altri due campi di applicazione, altrettanto interessanti:

  • Manutenzione.
    L’XR in ambito maintenance sta entrando in gioco su due livelli separati del processo: il VR per l’addestramento -in un modo molto simile al caso dei piloti- e l’AR per accertare lo svolgimento sicuro delle operazioni fatte sui velivoli (controllo della giusta chiusura di bulloni, riconoscimento di componenti e del loro corretto ordine di assemblaggio, manuali e checklist hand-free…). È stato dimostrato da diversi studi che tali accorgimenti sono effettivamente in grado di migliorare
    efficienza e accuratezza dei lavori, riducendo la finestra di tempo in cui l’aereo è a terra (soldi!)
  • Concurrent Design.
    Con l’introduzione del concetto di Realtà Mista (MR) si può ottimizzare il processo di design di un velivolo sulle specifiche del cliente finale. Durante un progetto seguito dal DLR (Centro di Ricerca Aerospaziale Tedesco), un team di ingegneri, medici e piloti si è concentrato sul design di un quadricottero UAM (Mobilità Aerea Urbana) che potesse sostituire le eliambulanze nelle città.
    Lavorando in squadre trasversali, i gruppi hanno progettato e allestito il proprio prototipo all’interno di un ufficio virtuale, mentre a fianco a loro veniva renderizzato in scala 1:1 quello che stavano disegnando, con la possibilità di entrarci e valutare in modo più soddisfacente e completo le decisioni e i requisiti scelti.

Fattore Umano: Luci e Ombre dell’Impiego

Nonostante le prospettive possano sembrarci assolutamente entusiasmanti e rivoluzionarie, è importante ricordare che non è tutto oro ciò che luccica e che integrare uomo e macchina in un rapporto così stretto ha sempre le sue conseguenze sul fattore umano.

Diversi studi hanno evidenziato alcune limitazioni significative nell’addestramento attraverso tecnologie XR. In particolare, la Realtà Virtuale può causare una sensazione di disconnessione tra il partecipante e il mondo fisico che occupa, nota come rottura nella presenza (Break In Presence – BIP), che può limitare le operazioni, specialmente quando il pilota deve interagire con specifici elementi all’interno dell’ambiente fisico. Tuttavia, se è vero che il problema potrebbe essere arginato con l’affiancamento di formazione in Realtà Mista, ciò non ridurrebbe un altro importante effetto, ovvero la cybersickness, una condizione causata da una discrepanza tra ciò che il cervello percepisce attraverso le informazioni visive e sensoriali e ciò che il corpo sperimenta fisicamente, manifestandosi con sintomi analoghi al mal d’auto: nausea, vertigini, disorientamento e mal di testa.

Una problematica causata invece da limitazioni tecnologiche riguarda il campo visivo (Field of View – FOV).
La limitata visuale nei dispositivi XR rende difficile visualizzare le informazioni, costringendo gli utenti a movimenti continui e posture non corrette. Di conseguenza, il tempo complessivo di operazione rispetto ai metodi tradizionali aumenta notevolmente e, siccome all’aumentare della difficoltà del compito aumenta anche il tempo di operazione in un ambiente XR, l’addestramento stesso rischia di risultare molto meno efficiente di quanto prospettato. Assieme a questo aspetto, c’è un altro problema legato all’hardware, ovvero che i dispositivi attuali sono percepiti come pesanti, limitando i movimenti degli utenti nel tempo e favorendo l’affaticamento.

Per quanto una tecnologia come la realtà aumentata può essere di immenso aiuto per ottenere un buon dettaglio di quello che sta succedendo attorno all’operatore, sia esso pilota o controllore, è necessario che lo sviluppo dell’interfaccia grafica sia ottimizzato al controllo e mantenimento della situational awareness. Simboli, dati, icone possono essere tanto utili quanto distrattivi, con il rischio di portare overload sensoriali, rendendo impossibile la gestione di situazioni particolarmente intense, stressanti o con molti fattori in gioco.

Conclusione

Ora che abbiamo imparato a conoscere le prospettive per l’integrazione delle tecnologie di Extended Reality nell’aviazione, nel loro potenziale e nelle loro limitazioni, torniamo un attimo al nostro piccolo amico immaginario del secolo scorso. È ovvio, il gap tra le aspettative visionarie del passato e la realtà attuale è notevole, l’innovazione per quanto continua e incessante è molto meno teatrale e eclettica di un qualsiasi Tron o Doctor Who, però, grazie all’immenso lavoro di milioni di persone dietro ai concetti che abbiamo esplorato oggi, non credo siamo stati mai così vicini.

A cura di
Edoardo Blanco

FONTI: