Evidence based training (EBT): che ne pensate?
 

Un interessante articolo che descrive il percorso dell’EBT e quali potrebbero essere gli sviluppi futuri nonché i potenziali vantaggi. Cosa ne pensate?

Aircraft engineering development has improved significantly in the last several decades. And though aircraft configuration, navigational systems or commercial pressures have changed accordingly, pilot training has remained the same. This training is not fully adapted to modern aircrafts in which automation control, flightpath guidance and monitoring, among others, are not currently taken into consideration to an adequate degree. Current aviation safety levels are very high and considered the safest transportation media, with just 0.035 deceases per 100 million person-kilometers (for comparison, motorcycling has 13.8 deaths). However, accidents still happen and following investigations determine human error as the main cause; according to Boeing, close to 80% of today’s accidents are caused by pilot error. In a way of further mitigating the risks, EBT has been proposed.

There are two types of pilot errors: tactical errors, which have to do with a pilot’s poor actions or decisions (fatigue or lack of experience); and operational errors, which are related to poor flight training or instruction. The latter can be mitigated by enhanced training programmes. Re-thinking training will lead to remarkable safety benefits. Training programs have to be restructured in order to face real threats to operations instead of facing risks that existed before. Is Evidence Based Training (EBT) the solution?

Evidence Based Training (EBT), sometimes referred as Competency-Based Training (CBT), has been supported by the International Civil Aviation Organization (ICAO), the International Air Transport Association (IATA) and by a group of airline industry experts. EBT consists of reducing airline accident rate through strategic review of pilot training and assessment of flight crew based on evidence. It is based on actual errors and safety data so that the pilot is instructed according to knowledge of current typical failures depending on the route and the type of aircraft.

A recent, relevant example is the QANTAS A380 accident in November 2010 due to engine failure. This might not have been seen as a challenge for the crew because they were used to being trained to deal with this type of failure after its occurrence. This time, engine failure resulted in an explosion with fragments damaging flight control surfaces, the cabin, fuel tanks, electrical systems and hydraulic lines. Mostly all systems were degraded at the same time. Was the crew prepared to deal with this situation? The answer is clearly no, as nobody had ever faced such an extreme situation, and thankfully the crew managed to make an emergency landing. If Evidence Based Training had been implemented, there would have been more opportunities to mitigate these risks by the crew beforehand.

EBT differs from traditional training in two main aspects: core competencies and evidence. Core competencies which are observable, measurable and include everything that a pilot needs to operate safely, competently and efficiently; evidence is the results from the analyses of global safety and training data. Another important aspect of EBT is the term ‘resilience’. In aviation, resilience refers to the capability of the crew to deal calmly and effectively with unexpected occurrences that do not deal with standard operating procedures. These unexpected occurrences, such as the example explained before, is what is called Black Swan Events. Black Swan Events are accidents difficult to predict, moreover pilot behavior is difficult to predict too.

To successfully achieve this system based on evidence, a large set of baseline data is crucial. This data includes pilot surveys, safety reports, flight observations and above all, flight data records and flight data analysis. Over the last several years, the availability of data covering flight information and training activity has improved significantly. Problems, errors, threats and undesired aircraft states are provided after this diagnosis so that airlines can make the decision whether or not to change how pilots are trained. Currently, Evidence Based Training is being progressively implemented, though it is not mandatory and flexible regulation facilitates addressing these problems. Airlines should implement changes incrementally and continuously measure if the changes implemented mitigate all errors. Implementing EBT is a complex and multi-year project. Each airline’s training program should be based on their routes, specific needs and risks. Training will be later on conducted in a full-flight simulator with high accuracy.

In sum, Evidence Based Training is definitely an effective way of adaptation for training programs as traditional ones are no longer as appropriate. Engine reliability and aircraft technology make events such as failures during take-off very rare and easy to solve. Moreover, the combination of skill, knowledge and attitude ensure a competent pilot. These are the abilities training should focus on. Is it time to change?

Qui la Fonte

​​​​​Ciao EI-PAUL !

Personalmente lavoro con il sistema EBT da oltre 6 anni e ritengo che lo sviluppo del pilota tramite le core competencies porti un valore aggiunto altissimo alle nostre operazioni nonché permetta di ottimizzare l'addestramento dei piloti in base a quelle che sono le reali necessità dell'Industria e dell'Operatore (Evidence). È un cambio di mentalità che all'inizio può sembrare ostico, specialmente per chi ha lavorato tanti anni con sistemi addestrativi più "convenzionali" ed impone la necessità di essere pronto a cambiare i propri punti di vista e lasciare da parte ogni sorta di pregiudizio e vecchie abitudini potenzialmente incompatibili con il grading dell'EBT.
Come avrai potuto notare i performance indicator delle competencies sono piuttosto generici e potrebbero tranquillamente anche essere applicati ad altri settori ; il punto è proprio nel fatto che non c'è mai un solo percorso per arrivare all'obbiettivo dell' enhanced safety ma posso essere intrapresi diversi percorsi e sta appunto nella bravura del Trainer riuscire a capirlo senza essere "biased" da altri preconcetti, cosa che nel nostro settore è sempre stata onnipresente.
L'EBT è tutto basato sul training. I piloti diventano più "bravi" se vengono addestrati di più, non se vengono messi sotto check costantemente e questo è proprio il messaggio principe dell'EBT. Un domani anche il concetto classico di "check" verrà sostituito da un training to proficiency che permetterà ai piloti di entrare nel training device, ricevere l'addestramento necessario su base individuale e proseguire le proprie attività di linea. Insomma un concetto che guarda, a mio parere, indubbiamente al futuro. Il feedback della pilot community mi sembra essere estremamente positivo in generale ma è fondamentale che tutti gli istruttori si adeguino alla forma mentis necessaria a fornire un servizio ottimale.
Ovviamente essendo questa una discussione tecnica mi auguro che ci siano punti di vista diversi magari anche dal mio così da instaurare un dibattito costruttivo e magari riuscire anche a migliorare un sistema sicuramente perfettibile.

Leggevo nel forum internazionale che il concetto base di questa filosofia sara’ applicato anche nella nuova , ennesima , revisione degli FCOM Airbus che verra’ ’ rilasciata entro il 2020 , per quanto riguarda le check list .

Il TR del 350 è già “embedded” in questa filosofia: learning from evidence A350
Airbus ha scommesso e sta spingendo molto su questa filosofia di training. Di conseguenza anche il materiale didattico e gli FCOM verranno probabilmente via via rinnovati in vista di un’implementazione totale dell’EBT.

Ciao I-2021. Grazie della risposta, fa piacere sentire che i più giovani vivono questa evoluzione con entusiasmo. Una precisazione che credo sia dovuta per quel che mi riguarda; non volo più in linea da più di un anno, quindi tutte le considerazioni che andrò a fare potrebbero nel frattempo essere state superate.
Personalmente ho avuto il piacere e l'onore di partecipare sin dall'inizio all'implementazione dell'EBT (mixed) nel training della mia precedente Compagnia, traendone impressioni discordanti, ma fondamentalmente affrontando la cosa con un certo scetticismo. Sentendo le opinioni di molti colleghi che lavorano ancora per implementare il sistema ed i risultati statistici che iniziano a venir fuori, col senno del poi riconosco che lo scetticismo era probabilmente immeritato. Rimango però convinto che il sistema, per come concepito ora, possa avere dei limiti.
Il primo, secondo me, si rifà al concetto di BIAS al quale fai giustamente riferimento ed è inerente all'attuale generazione di Istruttori più anziani, potremmo dire più "old style" (mi ci metto anch'io, così non si offende nessuno). I princìpi fondamentali nell'imparare un mestiere esigono che le ricompense per aver migliorato il rendimento sono SEMPRE più efficaci delle punizioni per aver commesso un errore e che l'ambiente nel quale si impara ha un forte impatto sul rendimento e sulla curva di apprendimento dell'allievo medio. Queste sono chiavi importanti dell'EBT, e richiedono un grande sforzo nell'attuarle da parte di chi ha ricevuto una formazione completamente diversa dai suddetti princìpi. Quando dici ad un Istruttore che la punizione è inutile, anzi in alcuni casi deleteria, alcuni si metteranno a ridere, altri ti daranno ragione ma in realtà pochi di loro riusciranno veramente a cambiare il loro atteggiamento, pur nell'assoluta buona fede riguardo al loro compito istruzionale. È un bias del tutto umano; tutto ciò che vedi e che sai (e qui conta molto l'esperienza formativa pregressa sia ricevuta che fornita) è essenzialmente tutta la propria realtà. In questo senso, cambiare atteggiamento rispetto ad un metodo consolidato che è metodologicamente diverso richiede uno sforzo titanico.

Ho dei seri dubbi quindi che, fin quando gli Istruttori non saranno giovani cresciuti "embedded" nel sistema EBT, il sistema stesso possa conoscere la sua piena potenzialità. Lo vedremo con la prossima generazione di Istruttori.

Il secondo limite sta invece nel fatto che, quando sarà implementato ed a regime, il sistema richiederà da parte del fruitore un certo grado di disciplina personale ed introspezione per capire dove sono le aree che richiedono maggiore attenzione e lavoro per essere migliorate.

In quest'ottica credo che il sistema EBT puro debba essere affiancato ad un sistema selettivo mirato.

Infine una personale sulla parte "evidence". Quest'ultima ha già un potenziale enorme, ma estendendo il nostro bacino di conoscenza attuale il suo potenziale potrebbe crescere esponenzialmente, rendendo l'esperienza addestrati ancora più utile. Mi riferisco all'opportunità di ampliare i sillabi standard con missioni che non siano solamente "automation based", ma estendere l'addestramento a manovre di handling pure che prendano in considerazione tutto l'inviluppo di volo, sia in condizioni normali che anormali.

Molto interessante. Io ho iniziato a volare in linea nel 2013 e le compagnie per cui ho lavorato già avevano adottato l’EBT come filosofia addestrativa. La mia domanda ai più esperti è: prima come era? Discrezione del TRE? Avarie multiple senza senso? Check al simulatore equivalente alla ghigliottina?

Grazie mille per il tuo feedback EI-PAUL e penso di avere capito a quale compagnia "mixed EBT" tu ti riferisca ;-)
Anche io ho vissuto la maggior parte della mia carriera aeronautica con "la vecchia scuola" ed indubbiamente, credo come te e tanti altri qui, sono felice di aver vissuto un certo modus operandi che volente o nolente ha portato allo sviluppo dell'industria in questi ultimi decenni formando generazioni di piloti. Quando ho fatto il mio primissimo corso di standardizzazione EBT come istruttore mi sembrava di studiare l'arabo (paragone non a caso) salvo poi con il tempo e la pratica assimilare sempre di più questa metodologia fino a poterla poi insegnare ad altri... ma a mio avviso gli ingredienti fondamentali sono un'apertura mentale incondizionata al cambiamento (!) e soprattutto il tempo... tanto, tanto, tanto tempo per entrare nell'ottica delle core competencies e poter dare valutazioni cristalline prive (o quasi) di qualsiasi pregiudizio. Insomma è un percorso lungo ma indubbiamente affascinante e che richiede tanta dedizione e tempo per essere assimilato. Sollevi inoltre un punto fondamentale : il "self debriefing". Per migliorare è importantissimo farsi dei debriefing regolari sulle proprie performance usando le competencies ed i performance indicator e capire dove siamo e cosa possiamo fare nel prossimo volo/simulatore per sistemare magari alcune carenze. Quest'ultimo punto è forse la cosa più complicata per noi piloti ed il nostro ego e serve anche qui tanto esercizio per diventare bravi :)

Ciao Papa_Golf ,

diciamo che i programmi dei recurrent training/checking di compagnie non EBT dipendono molto dalle filosofie adottate dalle compagnie stesse. Anche con i vecchi programmi "triennali" in cui si ripassavano tutti gli impianti con cadenza appunto triennale, ci dovevano essere dei programmi ben specifici per i check ed il TRE aveva la possibilità di scegliere le avarie che riteneva più appropriate per i singoli impianti del semestre. Era sicuramente ammessa più "discrezionalità" ma gli scenari apocalittici totalmente sconnessi dalla realtà erano in generale indice di gente che non avrebbe dovuto fare quel mestiere lì.

Il concetto non è tanto la standardizzazione delle sessioni (anche ...), quanto nel modo in cui l'addestramento viene somministrato. Il punto fondamentale è che il sistema è orientato alla performance, ma come ha sottolineato I-2021, ci sono migliaia di modi per arrivare allo stesso risultato, senza nulla di precostituito si va quindi ad agire su quelle che sono state individuate come competenze chiave (presentazione che certamente la tua Compagnia ti ha fornito) in modo da evidenziarne la presenza ed eventualmente migliorare quelle che sono da migliorare. L'evidenza arriva dal bacino statistico: FDM, ASR, final reports. Maggiore è il bacino statistico, maggiore sarà il potenziale addestrativo.
Delle matrici con le quali valutare la presenza (o l'assenza) di determinate competenze rende la valutazione più standard possibile o almeno coì dovrebbe essere.
L'altro punto fondamentale è quello di rendere l'esperienza addestrativa più vivibile e meno stressante; in quest'ottica, tra le altre cose che sono inerenti unicamente "all'attitudine istruzionale" anche il passaggio dal check puro al "training to proficency. Funziona? secondo me i pro sono molti più dei contro, con ampi margini di miglioramento, ma questa è una mia personale opinione.
In definitiva il percorso è passare da scenari precostituiti a scenari più consoni e basati sull'evidenza. Le manovre standard di handling obbligatorie per il rinnovo delle licenze rimangono tali, la discrezionalità dovrebbe essere soppiantata dalla standardizzazione e sta al buon senso di chi somministra addestramento, che si spera non manchi mai ma purtroppo a volte c'è sempre l'eccezione che conferma la regola ...

Credo che tu abbia toccato il punto fondamentale, almeno allo stato attuale e nell'immediato futuro.
Mi prendo come esempio: sono stato formato da Istruttori estremamente validi, motivati e competenti anche a forza di pugni sul casco, urla in interfono ed ho una copiosa collezione di riviste "mondo trans" che purtroppo mia moglie ha incenerito quando siamo andati a vivere assieme.
Non mi sono mai chiesto se quello era il metodo giusto, quello era IL metodo, punto. Ho poi continuato ad applicarlo - a mio modo - anche quando sono passato dall'altra parte, senza chiedermi se esistesse un'altro metodo, visto che comunque funzionava quasi sempre.
L'applicazione di determinati metodi di lavoro, alla lunga, creano una forma mentis che è impossibile azzerare. Col passare del tempo mi sono reso conto che gli errori di valutazione e la mancanza di oggettività in alcuni giudizi piuttosto che altri nascevano da quella forma mentis e dalla difficoltà di razionalizzare preconcetti che di fatto sono BIAS cognitivi che - soprattutto quando si è più maturi - è impossibile cancellare. C'è certamente chi è più bravo a farlo, ma di fondo quella forma mentis rimane.
Questo non significa che un metodo è migliore dell'altro dal punto di vista tecnico. Esistono però metodi che sono più adatti ad una platea statisticamente più ampia; l'EBT certamente lo è, e sono certo che una prossima generazione di Istruttori che nascono già "dentro" il sistema EBT lo renderà ancora più utile ...

direi quel filo in più

:}:}:}

Pro: 1 -al simulatore ti senti strizzato come un calzino e ti da l'impressione che una ripassata del genere, ogni sei mesi, ti faccia solo che un gran bene. Un po' come se appena sveglio, ogni 6 mesi, compaia qualcuno che, invece di portarti la colazione a letto, ti allunga il sudoku livello hard da finire prima del caffé, con la scusa di ri stimolarti il cervello
2 - La faccenda che è meno checking e più training , anche se non mi hanno convinto del tutto che sia veramente così
3 - Il fatto che ci siano infinite forme di risolvere la situazione, e ogni equipaggio ci deva mettere le sue proprie idee per venirne a capo. Il mio punto favorito!

Contro: 1 - sono scenari che definirei irrealistici, dove per spingerti al limite ficcano dentro una serie di sfighe che lasciano perplessi
2 - La tabellona delle Competenze è così piena di roba che lascia il tempo che trova, a me appare l'ennesimo tentativo di schematizzare cose poco schematizzabili. Il risultato? Con questa scusa chi esamina non deve neppure più mettere dei commenti, ma solo numeri accanto ad ogni dicitura con il risultato che se vado ora a rivedere la mia scheda dell'anno scorso non mi ricorderò mai e poi mai cosa sia successo al sim: guardando la tabellina competenze con i vari voti mi sembra invece di aver in mano la schedina delle corse cavalli, con un cavallo a cui hanno dato il mio nome e che ha competenze standard nella gestione dell'autopilota
3 - Il fatto che ci siano infinite forme di risolvere la situazione, e ogni equipaggio ci deva mettere le sue proprie idee per venire a capo, che era uno dei pro, si tramuta anche in un contro perché chi ti giudica, se non la pensa come te e se non ha quel cambio di mentalità di cui parlate, cercherà di fare a pezzi le tue idee, anche se in fin dei conti sarebbero due metodi ugualmente sensati. Esperienza a me successa

Giudizio complessivo? Positivo ma con riserve. Non so perché ma questi cambiamenti mi lasciano sempre un sapore da 'new age aviatoria' , non saprei come altro definirla. Avete mai letto quegli articoli che vorrebbero spiegarti la differenza tra leader e boss: 'diventa un bravo leader in 10 comodi passi! ' È lo stesso sapore. Tradotto: un buon pilota è buono a partire dal DNA, possono cambiare quanto vogliono i criteri per addestrare e verificare, ma è sempre il DNA del buon pilota a dare il maggior contributo sul risultato finale. Non è che se Mussolini leggeva su Vanity fair i 10 punti del buon leader di qui sopra, poi metteva giù il giornale e diceva: 'toh guarda, hanno ragione, in effetti meglio non partecipare alla campagna di Russia'.
Un buon pilota già faceva i self debriefing anche prima! Senza che nessuno glielo spiegasse. Solo un pilota ciabatta può non sapere una cosa del genere.
Però mi metto nei panni di chi deve creare e orientare l'addestramento: un compito veramente arduo. E con questa ottica, di estrema difficoltà a cui sono sottoposti, penso che in fondo stiano dando la direzione giusta

E questo è un peccato. Ma, purtroppo, come sostenevo sopra, c'è anche da aspettarselo. Una parte importante però è quella del feedback; se uno ritiene che l'addestramento si sia tramutato in una gara a chi lo ha più lungo (che è esattamente quello che EBT NON è) lo si può far gentilmente presente al diretto interessato e, ove necessario, anche a chi supervisiona. Se uno non ha capito come funziona il sistema ci sta che abbia bisogno di una rinfrescata di idee, l'Istruttore non è né infallibile né tanto meno non criticabile, anzi, sarebbe auspicabile il contrario. Capisco però che molte Organizzazioni non abbiano "linee guida" molto chiare a tal riguardo.


È un pò quello che si diceva a scuola, non bisogna lasciare indietro nessuno. I programmi li si fa su quelli che tendono a rimanere più indietro, non su quelli che se la cavano meglio. È esattamente quello che fa la statistica analizzando le banche dati ASR, FDM, reports, IOSA safety audit etc. Ad un certo punto si è dovuto decidere quali sono gli aspetti tecnici ed attitudinali che rendono un pilota completo a 360 gradi. Si è usata la Scienza ma certamente c'erano altre migliaia di modi per portare a termine il compito. Credo anche che, col passare del tempo, molte delle competenze di cui parliamo oggi verrano integrate ed altre semplificate. Questo sempre grazie ai dati statistici che verranno via via accumulati e, auspicabilmente, accresciuti.

Punto validissimo ! Vediamo il perché si ricorre a questo genere di scenari.
Uno degli obbiettivi della parte Scenario Based Training è quello di dare la possibilità ai piloti di essere esposti a situazioni che possano ricreare il c.d. "black swan event" ovvero una situazione che porti l'equipaggio ad un alto/altissimo livello di startle e quindi la necessità di utilizzare tutti i mezzi a propria disposizione al fine di allenare/dimostrare "resilience" e sostanzialmente tirarsi fuori in sicurezza da quella situazione. In questi frangenti il lavoro dell'istruttore è vitale : deve essere in grado di capire quando lo scenario sta prendendo una piega di "negative learning" ed interrompere quindi lo scenario per sviluppare insieme al crew altre possibili soluzioni e/o varianti per poi riprenderlo. Nell'ottica EBT lo Scenario Based Training va quindi interrotto ogni singola volta che si presenti una learning opportunity per l'equipaggio ed analizzata insieme. Durante quest'interruzione se l'istruttore parla più dell'equipaggio significa che non sta facendo il suo lavoro come dovrebbe ! Alla fine dello scenario il crew deve uscirne con un livello di "confidence" superiore a prima e con la convinzione che saprebbero gestire uno scenario ad altissimo carico di lavoro domani in linea, qualsiasi esso sia. Se questo non avviene e l'equipaggio esce traumatizzato e sfiduciato è l'istruttore ad aver sbagliato, non il crew.
Nell'ottica EBT l'istruttore è lì per i piloti e deve infondere sicurezza ai piloti sulle proprie capacità e svilupparne quelle più carenti. Se i piloti escono dal sim "perplessi" la sessione è fallita.

Giustissima osservazione. È importante che gli istruttori abbiano una conoscenza molto dettagliata dei PI delle varie competencies e richiamino "a valanga" questi PI durante la facilitation al crew, così da rendere quelle parole sempre più familiari.

Questo è un altro punto importantissimo e deleterio in quest'ottica.

Tutto condivisibile. Cosa più importante di tutte : non sta al pilota capire l'importanza dell'EBT da solo ma all'istruttore nel "vendergli" il prodotto così come non sta agli istruttori di una compagnia/ATO capire da soli l'importanza del cambio di forma mentis ma al management/instructor trainers/Tutors "venderla" agli istruttori.

Questo di I-2021 è secondo me uno spunto di riflessione estremamente interessante da approfondire per cercare di capire il razionale dietro a certi scenari che in molti, più che comprensibilmente, definiscono apocalittici e dei quali spesso ci si chiede quale sia il pro dal punto di vista didattico.
La logica è nella struttura della mente umana; essa apprende dai fatti molto più che dalle regole. Esercitare il pensiero astratto, creando schemi logici che spieghino l'esperienza vissuta, è qualcosa che ci risulta difficile e che semmai facciamo in seguito ( noi Piloti sempre, si chiama de-briefing e self-debriefing ...).
La motivazione è strettamente biologica. Se i nostri antenati, nella notte dei tempi, non si fossero dati una mossa anziché pensare in astratto sarebbero stati sopraffatti dagli eventi.
Preso atto di questo meccanismo, si è visto che siamo molto bravi ad affrontare situazioni di cui abbiamo esperienza e che siamo già stati in grado di elaborare e codificare, siamo però molto meno bravi nel prevedere scenari i quali, sebbene improbabili, possono comunque capitare e di conseguenza ci troviamo spesso impreparati ad affrontarli. Più "inconsueta" è l'esperienza, maggiore sarà la sua valenza addestrativa, a patto che, come detto da I-2021, l'Istruttore sia in grado di renderla tale. Il risultato finale non è più importante della confidenza che l'Istruttore può infondere nel Crew sulla capacità dello stesso di affrontare scenari estremamente complessi. In quest'ottica le competenze altro non sono se non strumenti dentro ad una cassetta degli attrezzi che serve per affrontare praticamente tutta la gamma di situazioni che possiamo sperimentare a terra ed in volo; se gli strumenti già ci sono possiamo comunque imparare ad usarli sempre meglio, se non ci sono bisogna fare in modo di metterli nella cassetta. In un'ottica di lungo corso, l'arricchimento del bacino esperienziale contribuisce alla capacità non tanto di poter prevedere il black Swan, quanto quello di accettare la sua esistenza sapendo di avere gli strumenti per poterlo affrontare razionalmente.

A proposito di “black swan”, qualche lettura interessante per comprendere come l’EBT può risultare utile in linea:

Black swan lessons

Black swan events: lessons learnt - Airbus