Porównanie założonych celów głównych z rezultatami uzyskanymi w praktyce pozwala przeprowadzić ocenę procesu szkoleniowego. Jak sprawdzić, czy szkolenie przyniosło zamierzone rezultaty?

Celem głównym projektów szkoleniowych jest uzyskanie oczekiwanej zmiany w organizacji. Można go osiągnąć dzięki realizacji celów operacyjnych. Ewaluacja procesu szkoleniowego to sprawdzenie, czy szkolenie przyniosło zamierzone rezultaty. Jest odpowiedzią na pytanie: na ile cel został zrealizowany? Pozwala ocenić skuteczność przeprowadzonych działań rozwojowych.

Cele operacyjne określają konkretnie: czego uczestnicy mają się na szkoleniach dowiedzieć, co mają zrozumieć i zaakceptować, jakie umiejętności mają zdobyć i przećwiczyć oraz jakie zmiany powinny zajść w ich zachowaniu. Osiągnięcie celów operacyjnych gwarantuje wyniki na poziomie organizacji klienta.

Poziomy ewaluacji

Porównanie założonych celów głównych z rezultatami uzyskanymi w praktyce umożliwia ocenę procesu szkoleniowego. Dlatego w ewaluacji projektu szkoleniowego (adekwatnie do celów operacyjnych), stosuje się cztery poziomy ewaluacji. Są to: 1) reakcja, 2) uczenie się, 3) zachowanie, 4) wyniki. Każdy z nich jest istotny i ma wpływ na kolejny. Pierwszy poziom to pomiar reakcji uczestników na szkolenie w ogóle oraz poszczególne jego składniki, np. program, pracę trenera, materiały i przydatność. Istotny jest wybór skali ocen.

Uczenie się jest pojmowane jako zmiana poziomu wiedzy, nastawienia lub/i umiejętności uczestnika zajęć. Aby ocenić efektywność szkolenia na poziomie wiedzy, umiejętności i postaw, należy przeanalizować cele zajęć, program szkolenia oraz zmiany w zachowaniu uczestników.

Zmiana w zachowaniu to poziom trzeci ewaluacji. Zachowanie jest tu rozumiane jako „zakres, w obrębie którego następuje zmiana w postępowaniu danej osoby na skutek uczestnictwa w szkoleniu”.[Donald L Kirkpatrick, Ocena efektywności szkoleń, tłum. J. Teodorowicz, Wydawnictwo Studio EMKA, Warszawa 2001, str.42]

Ostatni poziom stanowią wyniki. Można je zdefiniować jako „ostateczne efekty uczestnictwa danej osoby w procesie szkoleniowym”.[Donald L Kirkpatrick, Ocena efektywności szkoleń, tłum. J. Teodorowicz, Wydawnictwo Studio EMKA, Warszawa 2001, str.45] Mogą być nimi: podniesienie tempa pracy, jakości, ilości, obniżenie kosztów, liczby potrzebnych akcji korygujących, zmniejszenie absencji czy liczby wypadków w pracy.

Dlaczego warto mierzyć zmianę?

Zmiana jest ważna dla mówienia o skuteczności procesu szkoleniowego. Kluczowe dla dokonania pomiaru efektywności szkolenia na trzecim poziomie jest to, że uczestnik musi chcieć zmienić swoje zachowanie, wiedzieć, co chce zrobić i jak to uczynić, musi działać w pozytywnej atmosferze i powinien być wzmacniany (nagrody zewnętrzne lub wewnętrzne np. satysfakcja) za to, że zmienia swoje zachowanie zgodnie z oczekiwaniami.

Samo szkolenie może stworzyć optymalne warunki dla realizacji dwóch pierwszych warunków. Pozytywną atmosferę natomiast rozumie się jako warunki, które stworzy osobie jej bezpośredni przełożony. To od jego zachowania będzie zależała atmosfera sprzyjająca wprowadzaniu i utrwalaniu zmian po procesie szkoleniowym. Wśród reakcji przełożonego mogą wystąpić zarówno te, które będą zmianom sprzyjały, jak i takie, które je utrudnią, a nawet uniemożliwią. Należą do nich:

• wymaganie – zwierzchnik oczekuje, że uczestnicy będą wykorzystywali zdobytą wiedzę i umiejętności w codziennej, zawodowej praktyce;
• zachęcanie – przełożony motywuje podwładnych do maksymalnego skorzystania ze szkolenia, a następnie posługiwania się na co dzień nowymi wiadomościami i umiejętnościami;
• neutralność – przełożony nie interesuje się tym, co wydarzy się w zachowaniu podwładnego po szkoleniu, ważne są dla niego jedynie wyniki, jeśli się poprawią lub utrzymają – będzie zadowolony; jeżeli zaś w wyniku zmiany rezultaty pracy będą niezadowalające, będzie interweniował;
• zniechęcanie – zwierzchnik zachowuje się tak, aby podwładny uznał, że nie należy wprowadzać w swoim zachowaniu żadnych zmian, choć nie informuje o tym oficjalnie;
• zapobieganie – przełożony zabrania uczestnikom wprowadzania zmian.

Nawet jeśli bezpośredni przełożeni nie zawsze wspierają efekty szkoleń, założeniem przy decyzji o rozpoczęciu procesu szkoleniowego w organizacji jest uzyskanie w rezultacie pożądanej zmiany w zachowaniach uczestników. Aby stwierdzić, czy zmiana nastąpiła, najpierw należy zbadać zarówno reakcję, jak i efekty uczenia się. Dopiero wówczas można ocenić z czego wynika poziom efektywności szkolenia. Na ile jest to rezultat samego przeprowadzenia zajęć, a na ile atmosfery czy właściwych nagród.

Pomiar zmiany dotyczącej zachowań doskonalonych podczas szkoleń pozwala na pewne stwierdzenie, czy zajęcia były efektywne. Jeśli uczestnicy mogą i umieją zmienić swoje zachowanie zgodnie z oczekiwaniami organizacji realizując cele procesów szkoleniowych, można stwierdzić, iż proces jest skuteczny.

Ewaluacja szkolenia – przykład

Proces szkoleniowy prowadzony dla jednej z organizacji może być dobrym przykładem ilustrującym efektywność procesu szkoleniowego. Przełożeni uczestników wzięli udział w dodatkowych warsztatach. Dyrektorzy poznali program oraz wiadomości i konkretne umiejętności, które nabyli uczestnicy. Wypracowali sposoby wspierania i utrwalania zmian w zachowaniu podwładnych oraz uzgodnili sposoby nagradzania przejawiania nowych zachowań.

Rola reakcji uczestników szkoleń

Reakcja uczestników na program i przebieg zajęć jest istotnym wskaźnikiem dla badania efektywności szkolenia. Ważne, żeby uczestnicy treningu byli usatysfakcjonowani. Ich pozytywne emocje i nastawienie zwiększają zainteresowanie i uwagę. Można uznać, że pozytywna reakcja jest motorem dla pojawiania się motywacji do rozwoju. Ta z kolei ma wpływ na poziom zaangażowania w proces szkoleniowy – pobudza aktywność w pozyskiwaniu wiedzy i umiejętności.

Jeśli pozytywnych reakcji brakuje, może się to odbić na motywacji do nauki. Choć z drugiej strony pozytywna reakcja nie zapewnia właściwego przyswajania wiedzy. Jednak ocena negatywna przeważnie wpływa na obniżenie efektywności procesu. Poza tym, pozytywna ocena zajęć jest istotna w przypadku wielomodułowych procesów szkoleniowych. Zwiększa prawdopodobieństwo zaangażowanego udziału w kolejnych zajęciach. Opinie uczestników mogą przyczynić się do wprowadzenia zmian w programie lub sposobie realizacji zajęć po to, by jak najskuteczniej realizować cel postawiony przed procesem szkoleniowym. Pozwoli to na ciągłe doskonalenie oferty szkoleniowej.

Pomiar satysfakcji uczestników pozwala zatem zamawiającemu na ocenę zajęć w kontekście oczekiwań i umożliwia utwierdzenie się w trafności wyboru dostawcy.

By zbadać zadowolenie uczestników szkolenia, zastosowany został drugi poziom ewaluacji procesu szkoleniowego. Wykorzystując ankiety ewaluacyjne można było uzyskać ilościową i jakościową informację zwrotną od osób biorących udział w zajęciach. Arkusz ankiety ewaluacyjnej zawierał pięć obszarów oceny: szkolenie ogólnie, program, trener, materiały szkoleniowe, przydatność w pracy. Każdy z obszarów był oceniany w czterostopniowej skali, ankiety były anonimowe. Pod każdym z pytań umieszczona było pole zachęcające do pogłębienia i skomentowania oceny. Trener zbierał ankiety po każdym szkoleniu, co pozwoliło uzyskać 100 procent zwrotów.

Wyniki ocen poszczególnych modułów szkoleniowych były prezentowane w trakcie comiesięcznych spotkań z klientem. Uzyskane od uczestników informacje zwrotne były feedbackiem zarówno dla trenerów prowadzących zajęcia, ich przełożonych, jak i przedstawicieli działu HR. Dzięki nim udoskonalano na bieżąco programy kolejnych szkoleń, sposoby ich realizacji, oraz działania wspierające podejmowane w firmie.

Testy wiedzy a testy kompetencyjne i badanie kompetencji

Zdobycie wiedzy przez uczestników to warunek konieczny dla wystąpienia zmian w zachowaniach. Dlatego istotne jest zmierzenie poziomu wiedzy dotyczącej zagadnień realizowanych podczas zajęć. Stan pozyskanych przez uczestników wiadomości można kontrolować za pomocą: testów wiedzy, testów kompetencyjnych lub badania kompetencji menedżerskich metodą 360 stopni.

Testy wiedzy mają przeważnie formę pisemnych formularzy. Mogą być konstruowane jako ankiety z pytaniami otwartymi lub jako testy wyboru. Można je przeprowadzać po szkoleniu albo dwukrotnie: tuż przed zajęciami i natychmiast po nich. Wówczas można zestawić ze sobą rezultaty i ocenić skuteczność procesu szkoleniowego na drugim poziomie ewaluacji.

Testy kompetencyjne pozwalają na skontrolowanie nie tylko poziomu uzyskanych wiadomości, ale także zrozumienia, postaw i wyobrażeń uczestnika o tym, jak powinno się wykorzystać w praktyce zdobyte podczas szkolenia umiejętności. Arkusz testu kompetencyjnego zawierać może krótkie opisy konkretnych sytuacji. Zadaniem uczestnika jest wskazanie właściwych i pożądanych zachowań, które należy w danym momencie zastosować. Można je przeprowadzić przed zakończeniem procesu szkoleniowego i po nim – wówczas wyniki będą bardziej wiarygodne. Ten rodzaj pomiaru pozwala na diagnozę na drugim i trzecim poziomie ewaluacji.

Badanie kompetencji (np. menedżerskich) metodą 360 stopni jest najbardziej skomplikowanym przedsięwzięciem. Wymaga bowiem skonstruowania ankiety badawczej na podstawie modelu kompetencji, które mają być zdobywane i doskonalone w trakcie procesu szkoleniowego. Poza tym, warunkiem przeprowadzenia badania jest udział respondentów, którzy powinni być właściwie wyselekcjonowani. Jeśli np. badanie dotyczy kompetencji menedżerskich, ankiety powinni wypełnić przede wszystkim podwładni osoby badanej, a oprócz nich jego przełożony i koledzy; jeżeli zaś sprawdzane są kompetencje dotyczące obsługi klienta wewnętrznego, respondentami powinni być przedstawiciele działów, które obsługuje uczestnik szkolenia, jego współpracownicy i przełożony. Informacja jest pełna, jeśli diagnoza zostanie uzupełniona samooceną badanego. Również w tym przypadku bardziej skuteczne jest poprzedzenie cyklu szkoleniowego badaniem, a następnie przeprowadzenie go pewien czas po zakończeniu szkoleń. Pozwoli to wiarygodnie zmierzyć zmianę w zachowaniach. Jest to pomiar efektywności szkolenia na trzecim poziomie ewaluacji.

W realizowanym projekcie zastosowane zostały wszystkie sposoby pomiaru. W celu zmierzenia zmiany w wiadomościach uczestnicy wypełniali po zajęciach testy wiedzy. Arkusz obejmował od sześciu do ośmiu pytań z możliwością wyboru prawidłowej odpowiedzi. Uczestnicy odpowiadali samodzielnie. Rezultatem satysfakcjonującym było 70% prawidłowych odpowiedzi. Uczestnicy zawsze uzyskiwali zadawalające wyniki.

Poza tym dwukrotnie przeprowadzony został test kompetencyjny. Poprzedził rozpoczęcie cyklu szkoleniowego, pozwalając przy okazji na zweryfikowanie i uszczegółowienie potrzeb szkoleniowych. To na podstawie jego rezultatów zrekrutowano grupy szkoleniowe na różnych poziomach. Po zakończeniu zajęć ankiety zostały ponownie wypełnione. Różnica w uzyskanych rezultatach wykazała skuteczność udziału respondentów w szkoleniach – wyniki pokazały istotną statystycznie zmianę.

Ostatnim elementem było przeprowadzenie internetowego badania kompetencji menedżerskich metodą 360 stopni. Ocenianymi w badaniu zachowaniami były: komunikacja interpersonalna, kierowanie ludźmi, motywowanie w praktyce, praca zespołowa i zarządzanie projektami. Na koniec zostały porównane rezultaty badania poprzedzającego cykl szkoleniowy i przeprowadzonego po jego zakończeniu.

Tym sposobem dokonano wiarygodnej ewaluacji projektu na drugim i trzecim poziomie.

Obserwacje uczestniczące

Obserwacje uczestniczące pozwalają na uzupełnienie pomiaru efektywności cyklów szkoleniowych na trzecim i czwartym poziomie. Mogą być przeprowadzane przez konsultantów i trenerów oraz przedstawicieli organizacji podczas zajęć albo w trakcie realizacji obowiązków w codziennej pracy uczestników. Spostrzeżenia z obserwacji można notować na specjalnych formularzach pozwalających na ocenę przejawianych zachowań. Stanowią one podstawę analizy i wniosków dotyczących ewaluacji szkoleń.

Cykl szkoleń z zakresu kierowania ludźmi realizowany dla organizacji zakończył się przeprowadzeniem obserwacji uczestniczących, dotyczących wykorzystania zdobytych wiadomości i umiejętności. Okazją do tego były spotkania projektowe kierowników oraz kręcenie filmów instruktażowych do wykorzystania na szkoleniach wewnętrznych. Obserwacji podlegały umiejętności skutecznej prezentacji, prowadzenia spotkań, radzenia sobie w trudnych sytuacjach interpersonalnych, prowadzenia rozmów z podwładnymi z zakresu zlecania, wspierania, kontroli, interweniowania oraz wzmacniania.

Obserwacja wzbogaciła ewaluację procesu szkoleniowego na poziomie trzecim.

Spotkania monitorujące

Stałym elementem realizacji projektu były spotkania monitorujące, odbywające się po każdym module szkoleniowym. Ich celem było zaprezentowanie zrealizowanych zagadnień przełożonym uczestników. Ważne też było przedstawienie wyników ankiet ewaluacyjnych i testów wiedzy, co umożliwiało przedyskutowanie efektywności szkolenia na poziomie pierwszym i drugim. Podczas zebrań monitorujących uczestnicy udzielali ustnych informacji zwrotnych dotyczących swoich wniosków i dalszych potrzeb szkoleniowych. Mieli okazję otrzymać feedback od swoich przełożonych, którzy na bieżąco obserwowali ich pracę i zmiany zachodzące w zachowaniach. Spotkania kończyły się wypracowaniem programu działań wspierających zmiany w reakcjach pracowników i w organizacji.

Tworzyło to atmosferę sprzyjającą procesowi szkoleniowemu. Uczestnicy wiedzieli, że ich przełożeni oczekują wdrażania zdobytych wiadomości i umiejętności w codziennej praktyce.

Ostatnie spotkanie, podsumowujące cały projekt, pozwoliło na dokonanie i zaprezentowanie pełnej ewaluacji procesu szkoleniowego. Zakończyło się wypracowaniem dalszego ciągu działań rozwojowych, w które zaangażowani będą zarówno uczestnicy, ich przełożeni, jak i ich podwładni, tak aby pożądane zachowania były prezentowane przez wszystkich pracowników w organizacji.

W ten sposób zmiana w organizacji – potwierdzona konkretnymi wskaźnikami – stała się faktem.