Procesy selekcji pilotów do linii nie są w stanie odpowiedzieć na trudne pytanie czy kandydat odniesie pełen sukces w zawodzie pilota. Choć wielu przewoźnikom selekcja kojarzy się z otrzymywaniem totalnej gwarancji na sprawdzenie się człowieka w tym trudnym środowisku przewozu lotniczego, to przepowiadanie sukcesu dotyczy najwyżej pierwszych 2-4 lat pracy pilota. Skutki w obszarze spadku możliwości pilota ze strony przewidywalnych czynników i tych zupełnie niespodziewanych, które przyniesie życie jest niemożliwa do oszacowania.
Dzieląc karierę pilota na mniejsze odcinki czasowe można dojść do dużo bardziej użytecznych wniosków. Artykuł, na podstawie którego opisuję także własne doświadczenia, obserwacje i dylematy w ocenie pilotów – kadetów powstał na bazie ciekawego i rzetelnego badania zaprojektowanego przez badaczy norweskich. MONICA MATRINUSSEN, OLE CHRISTIAN LANG-REE, HAVARD MJOEN, BENGT SVENDSEN, ADRIAN BARONE to w większości badacze pracujący w ośrodkach naukowych i edukacyjnych skupionych wokół oceny psychologicznej i co ważne: szkolenia pilotów w Norwegian Air Force w Oslo. Artykuł ukazał się w czasopiśmie wydawanym przez Hogrefe Publishing: Aviation Psychology and Applied Human Factors VOL.12 No.2 / 2022, pod tytułem: PREDICTING COMERCIAL PILOT TRAINING PERFORMANCE
Czym jest skuteczność szkolenia? To jest pytanie które w procesach szkoleniowych pilotów stawiamy sobie od dawna. Szalenie trudno jest to zdefiniować w sposób uniwersalny. Dla jednego przewoźnika będzie to szybko nabywana wiedza, dla innego po prostu zdanie check-a, uzależnione od relatywnych – indywidualnych wymagań instruktora.
W badaniu norweskich naukowców, do którego się odwołuję skuteczność szkolenia została zdefiniowana maksymalnie obiektywnie: Płynność szkolenia była monitorowana w okresie studiów licencjackich (3 lata) poprzez: a) sposób nabywania przez ucznia wiedzy (poziomu jej teoretycznego zapamiętywania i przyswajania) b) a także w procesie zastosowania tej wiedzy w praktyce. Obydwa rezultaty też w jakimś stopniu (w zależności od potrzeb i preferencji ucznia zależą także od skuteczności instruktora / insrtuktorów – jeśli kilku to także spójności w zakresie poziomu wiedzy jaki reprezentują). Żeby te dwa jakościowe cele były realizowane musi się pojawić profesjoanlna ocena instruktora i wgląd w potrzeby ucznia, dobranie metod szkoleniowych ma spore znaczenie – ocena isntruktora, jego doświadczenie w lotnictwie w ogóle, ale i jako assessora umiejętności, doświadczenie metodyczne, odpowiedzialność za to, co będzie konsekwencją decyzji ocennej.
Obiektywne wyznaczniki sukcesu szkolenia lotniczego wybrano w badaniu:
Wprowadzenie KSA do szkolenia ATPL jest pomysłem na to, żeby nauczyć się oceniać i wspierać rozwój umiejętności społecznych i a także tych, w zakresie wykorzystywania wiedzy i podejmowania decyzji. czy w takim razie są cechy, postawy, doświadczenie czy właściwości jak wiek, wykształcenie, które mogą nam w łatwy sposób odpowiedzieć na pytanie czy uda się wyszkolić ucznia?
Na przestrzeni ostatnich 30 lat przeprowadzono wiele badań, ale niewiele jest naprawdę odkrywczych, no i co najistotniejsze, rzadko prowadzone są na przestrzeni kilku lat, aby uchwycić proces zmiany. W latach 90 stwierdzono na podstawie badań kwestionariuszowych, że takiej zależności pomiędzy osobowością pilota, diagnozowaną przez tzw. Wielką Piątkę (pięć wymiarów to: ekstrawersja, neurotyzm, ugodowość, otwartość na nowe doświadczenia i sumienność) a powodzeniem procesu szkoleniowego po prostu nie ma. Później na początku kolejnej dekady bardzo wiele badań mocno chciało zależność i przydatność kwestionariuszy osobowości udowodnić i potwierdzić – słabe zależności statystyczne, interpretowano jako wystarczające dowody na istnienie tej współzależności.
Skuteczność szkolenia utożsamiana jest często z możliwością przewidzenia czy w ogóle ktoś to szkolenie ukończy lub nie, a to za mało. Wiemy, że ten fakt, w kontekście relatywnie pogarszającego się poziomu wyszkolenia kadetów, niż to obserwowaliśmy jeszcze 10 lat temu, może mieć niewielką wartość obiektywną. W badaniu, na które się powołuję, badacze w pełni świadomi są tego faktu, dlatego tak wiele czynników jakościowych dotyczących skuteczności szkolenia wzięli pod uwagę a przede wszystkim zdywersyfikowali system oceny – różne ośrodki szkolenia lotniczego świadczyły szkolenie praktyczne, zatem wyłącznie konkretne wyniki świadczyły o sukcesie i to kilka wyników jednocześnie było branych pod uwagę.
Ośrodek DLR – German Aerospace Center – dowiódł w badaniach przeprowadzonych w 2014 roku, że najsilniejszym predyktorem sukcesu szkoleniowego pilota-kadeta Są: 1. umiejętność rozwiązywania problemów technicznych – wyobraźnia i myślenie techniczne, zaraz potem 2. matematyka i fizyka, i oczywiście 3. wyobraźnia przestrzenna. Ocena osobowości przeprowadzana jest w tym ośrodku (posiadających najszersze w Europie doświadczenia selekcji pilotów) wyłącznie na podstawie zadań zespołowych i próbek pracy w odpowiednich warunkach ustandaryzowanych.
W ślad za wynikami powyżej przywołanego badania norwescy badacze także założyli, że współzależność pomiędzy sukcesem szkolenia lotniczego musi zachodzić głównie w obszarze poznawczych kompetencji kandydata. Postawili hipotezę że: inteligencja ogólna, zdolności koordynacji psychoruchowej i myślenie przestrzenne muszą mieć wpływ na przewidywanie sukcesu szkolenia lotniczego u kandydata. Choć także postanowili sprawdzić czy wymiary osobowości jakie bada najsłynniejszy kwestionariusz osobowości – czyli tzw. Wielka Piątka – na którejś ze skal przepowiada sukces szkoleniowy kadeta. Do oceny osobowości włączono także wywiad ustrukturalizowany. Główne wnioski na podstawie uzyskanych wyników po 3 letnim okresie badania grupy ponad 170 kadetów są następujące:
1. wyniki przeprowadzonych wywiadów ustrukturalizowanych znacząco przepowiadały sukces szkoleniowy zarówno w zakresie teoretycznym jak i praktycznym, choć z zapotrzebowaniem na ‘dodatkowe godziny w powietrzu’ związku nie zaobserwowano.
Przeprowadzona przez norweskich badaczy analiza doprowadziła do jednego ciekawego rezultatu, otóż badanie pokazało, że testy tradycyjne (typu papier – ołówek) mają niższą wartość przewidywania sukcesu w szkoleniu lotniczym, niż narzędzia komputerowe – może to znak czasów (?) Papierowe testy bardziej stresują kandydatów niż komputerowe!
Wyniki wywiadu psychologicznego mający na celu analizę doświadczenia ucznia, w zakresie nabywania wiedzy i motywacji osiągnięć, a także funkcjonowania w organizacji, znacząco przewidywały sukces szkoleniowy kandydata. Prowadzony przez doświadczonego psychologa branżowego, w odpowiednim kierunku interview powoduje otwarcie takich zasobów informacji, do jakiej w żadnym narzędziami standaryzowanymi nie uda się dotrzeć. Zatem metoda, jakiej boją się niedoświadczeni psychologowie, okazuje się kluczowa, bo dopełnia informacje uzyskane na drodze innych ocen.
2. wymiary osobowości, badane kwestionariuszowo (Kwestionariusza 5PFmil- adaptacja do badania kadetów w lotnictwie wojskowym) najczęściej stosowanym do oceny osobowości narzędziem jakim jest ‚Wielka Piątka’ (Sumienność, Otwartość, Neurotyzm, Ekstrawersja, Ugodowość) statystycznie nie ma sensu, bo predyktywność w kontekście także efektywności szkolenia jest niska i metodologicznie nieznacząca.
3. wyniki testów poznawczych -testu wyobraźni przestrzennej (testy typu siatka, bryły, kostki, sześciany) i testów sprawdzających poprawność i sprawność przetwarzania informacji wysoko korespondują zarówno z wynikami egzaminów wewnętrznych ATPL jak i dodatkowymi godzinami szkolenia praktycznego (związek ujemny – więcej godzin – niższe wyniki w testach).
Uczeń który potrafi się wykazać zdolnością wyobrażenia poprawnej rotacji w przestrzeni, prawdopodobniej bardziej ‘naturalnie’ i swobodnie nabywa wiedzę techniczną. Zdolność ta pomaga lepiej przewidywać konsekwencje swoich działań w powietrzu, co powoduje, że nie ma konieczności aplikowania dodatkowych godzin szkolenia w powietrzu. Wyniki testów przestrzennych są silnie skorelowane z wysokimi wynikami innych testów poznawczych. Zależność ta nie działa w drugą stronę. W mojej praktyce widzę przypadki osób, których potencjał poznawczy jest wysoki, jednak nie specyficzny dla pilotażu, bo brakuje płynności w zakresie zarządania uwagą i przestrzenia właśnie, w takich przypadkach szkolenie TR często powoduje trudności.
4. wysoki odwroty związek zanotowano między liczbą dodatkowych godzin w powietrzu, a średnią ocen uzyskanych na studiach – podczas sesji egzaminacyjnej. 
Czyli uczniowie którzy osiągają lepsze wyniki podczas egzaminów na studiach nie korzystali, nie potrzebowali dłuższego szkolenia, dodatkowych godzin latania – prawdopodobnie nabywanie wiedzy przychodzi łatwiej takim osobom? Także samodyscyplina (poświęcanie większej ilości czasu) systematyczność i wytrwałość, a także zdolność skupienia uwagi (w szkoleniu praktycznym kluczowa kwestia) ma wpływ na sposób funkcjonowania takiego ucznia.
5. wyniki uzyskane podczas wywiadu zadowalająco statystycznie związane są z wynikami zdawanych egzaminów ATPL przed komisją w CAA
Podczas wywiadu doświadczony psycholog miał zdecydować jaka będzie skuteczność ucznia w zakresie nabywania wiedzy, funkcjonowania w zawodzie pilota, jak sobie poradzi z wyzwaniami w zakresie nie tylko nabywania wiedzy, ale także zdawania egzaminów do ATPL. Czyli komponenty kompetencji jakie można uchwycić podczas wywiadu oceny psychologa: radzenie sobie ze stresem oceny, mobilizacja w sytuacji niepewnej, nabywanie wiedzy technicznej i pasja wobec niej, czy koncentracja i działanie pamięci a także sposób nabywania wiedzy były do oszacowania i miały wpływ na uzyskiwane podczas wywiadu oceny.
No i jeszcze jedno, uczestnicy tego badania prawdopodobnie nie kombinują, żeby zdać (zapamiętywanie ‘wyglądu’ pytania a nie jego treści czy genezy omawianego problemu, taka nauka nie przynosi efektu długotrwałej solidnej wiedzy – co się w praktyce niestety często zdarza) tylko nabywają wiedzę ze zrozumieniem bo wyniki testów przed komisją korespondują z oceną wystawioną przez instruktorów.
6. Wyniki teoretycznych wewnętrznych egzaminów w ośrodku szkolenia wchodzą w wysoki związek z wynikami egzaminów teoretycznych przed komisją egzaminacyjną CAA – to chyba oczywista zależność. Jeśli egzamin końcowy w ośrodku byłby inaczej przeprowadzany niż testy na poziomie komisji egzaminacyjnej to można by się spodziewać czegoś innego.
7. Wyniki wewnętrznych egzaminów teoretycznych w ośrodku szkolenia wchodzą w związek odwrotny do liczby dodatkowych godzin latania które trzeba zalecić uczniowi, któremu korzystanie z wiedzy w praktyce przychodzi z trudnościami.
Uczeń, który wyniki z wewnętrznych egzaminów teoretycznych w ośrodku szkolenia uzyskuje na wysokim poziomie, prawdopodobnie nabywa wiedzę sukcesywnie i systematycznie. Możliwe, że zmotywowany jest silnie do szkolenia, priorytetem jest osiągnięcie dobrego wyniku, a nie tylko ‘zaliczenie’. Zatem taki uczeń systematycznością własną wzmacnia także proces szkolenia od strony metodycznej – utrwalania wiedzy i egzekwowania jej w praktyce. Należy pamiętać, że mówimy o szkoleniu przebiegającym płynnie bez zatorów utrudniających uczenie się.
8. Średnia w nauce na studiach ma najsilniejszy związek z wynikami podczas zdawania egzaminów ATPL przed komisją egzaminacyjną
Wyniki egzaminów, mogą świadczyć o nauce na pamięć, niekoniecznie ze zrozumieniem genezy itp. Jednak wyniki w nauce na poziomie uczelnianym to osiągnięcie mające dużo więcej wspólnego z praktycznym wykorzystaniem wiedzy. Te dwa czynniki są ze sobą związane i mocno decydują o tej części sukcesu w szkoleniu.
Spójność wyników na przestrzeni lat szkolenia tej sporej grupy kadetów jest imponująca. Pokazuje, że ich wiedza jest solidna, nie ma miejsca na fart lecz testy odzwierciedlają rzeczywistą wiedzę! Pozazdrościć tego poziomu.
W Polsce i niestety w lotnictwie wciąż silny jest nurt oceny osobowości za pomocą kwestionariuszy w procesach selekcyjnych. Mimo znakomitych narzędzi wdrażanych na szeoką skalę opartych o koncepcję Evidence Based Assessment, zaufanie – nieuzasadnione zupełnie – do kwestionariuszy osobowości trwa.
Niedawno miałam okazję analizować wyniki pseudo-kwestionariuszy osobowości, z którymi zgłosił się zdezorientowany, odrzucony z procesu awansu kapitanskiego pilot. Ocena psychologiczna tego pilota została sformułowana na podstawie obciążonych błędami metodologicznymi badania, w którym użyto narzędzia, którego treść znana była pilotom przed badaniem! Na dodatek całe badanie zostało przeprowadzone online! Standardy oceny psychologicznej pilota są dokładnie opisane w przepisach i należy je egzekwować, angażowanie przypadkowych psychologów, którzy z branżą lotniczą w praktycznej pracy nie mieli zupełnie do czynienia powoduje powyższe konsekwencje.
Ocena psychologiczna pilotów powinna być tak zaprojektowana, żeby cieszyła się wysoką trafnością – czyli, żebyśmy byli pewni, że badamy i oceniamy u kanadyta to, co jest wymagane i musimy ocenić. Profil powinien być wynikiem głębokiej pracy analitycznej z instruktorami, doświadczonymi w danej organizacji i specyfiki operacyjnej i technologicznej w jakiej funkcjonuje pilot. Warto pamiętać, że błąd psychologa w ocenie krytycznych kompetencji załóg może mieć daleko idące skutki, związane z bezpieczeństwem – życiem i zdrowiem pasażerów – katastrofa w Alpach w 2015 dowiodła że system oceny i profesjonalizm w zakresie decyzji selekcyjnej zarówno w orzecznictwie jak selekcji w linii nie zadziałał właściwie,
Rzetelność oceny to druga charakterysta oceny psychologicznej – narzędzia jakie podczas tego procesu się stosuje są właściwą miarą, dzięki czemu wiemy, że kandydat prezentuje kompetencje na takim, a nie innym poziomie – ponieważ standaryzacja oceny pozwala nam wyniki porównać do norm, czyli wyników innych przedstawicieli danej populacji: np. pilotów, inżynierów, studentów, ludzi w tym samym wieku i z tym samym poziomem edukacji.
Brzmi skomplikowanie? Bo to jest i ma być skomplikowane! Tak jak skomplikowane i złożone jest środowisko lotnicze, a szacowanie niezawodności pilota w tym otoczeniu wymaga szacunku do tej złożoności – nie tylko kompetencji człowieka, ale kontekstu w jakim ten człowiek funkcjonuje.
Wyniki badania norweskich naukowców pokazują, że wyłącznie możliwość wieloletniej obserwacji i badania procesu adaptacji i rozwoju kompetencji daje naukowacom możliwość znalezienia rzeczywistych zależności pomiędzy potencjałem kandydata a jego osiągnieciami w pracy pilota czy szkoleniu lotniczym.
M.Chelis