Planowanie ewaluacji programu profilaktycznego

Projekt ewaluacji

Ewaluacja to proces gromadzenia, analizowania i komunikowania informacji na temat wartości działań. W ewaluacji nie chodzi zatem o ocenę działań dokonaną z wykorzystaniem wybranej skali, ale o refleksję nad jakością, a w konsekwencji o refleksję nad wartością podjętych działań. Aby takiego wartościowania dokonać, ewaluator powinien wiedzieć, jakimi kryteriami ma się posłużyć. Ocena ta nie ma więc charakteru zdroworozsądkowego czy też uznaniowego, ale jest oparta na jasnych czynnikach służących za podstawę tej oceny. Proces ewaluacji zatem musi zostać zaplanowany i ujęty w tzw. projekcie ewaluacji, który opisuje założenia merytoryczne i metodologiczne badania ewaluacyjnego, w skład którego wchodzi określenie:

• przedmiotu badania ewaluacyjnego oraz głównych problemów (obszarów, zagadnień) badawczych;
• kluczowych pytań (badawczych);
• kryteriów ewaluacji;
• metod badawczych;
• harmonogramu ewaluacji;
• formatu raportu i sposobu upowszechniania wyników.

Planowanie ewaluacji warto rozpocząć od:

• sformułowania celu ewaluacji i sposobu wykorzystania jej wyników;
• określenia odbiorców ewaluacji (dla kogo ewaluację prowadzimy, kto z niej skorzysta);
• określenia zasobów (np. czasowych, finansowych, ludzkich);
• określenia wykonawców ewaluacji (czyli wskazania osób, które stworzą tzw. zespół ewaluacyjny).

Po ustaleniu założeń ewaluacji w sferze organizacyjno-merytorycznej należy przystąpić do opracowania projektu ewaluacji.

Sformułowanie przedmiotu badania oraz pytań kluczowych

Określenie przedmiotu badania bezpośrednio wiąże się z postawieniem pytań ewaluacyjnych (problemowych), na które będzie poszukiwać się odpowiedzi (nie zawsze oznacza to, iż zostaną one bezpośrednio zadane osobom objętym ewaluacją, np. uczniom, rodzicom, nauczycielom). W rezultacie przeprowadzanej ewaluacji uzyskane informacje staną się kanwą dla formułowania wniosków i rekomendacji w raporcie ewaluacyjnym, a w efekcie – przyczynią się do podjęcia decyzji o zaprzestaniu, modyfikacji lub kontynuowaniu wybranych działań.

Kryteria ewaluacji

Kryteria ewaluacji stanowią rodzaj standardów, według których dokonuje się wartościowania. Ewaluację programu profilaktycznego można przeprowadzić w odniesieniu do następujących kryteriów ewaluacji:

• skuteczności – w jakim stopniu (do jakiego stopnia) cele programu profilaktycznego zostały osiągnięte;
• efektywności – jaki jest poziom ekonomiczności programu profilaktycznego, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów (nakłady to zasoby finansowe, ludzkie, jak i czas poświęcony na realizację działań prowadzących do osiągnięcia założonego celu). O efektywnym działaniu możemy mówić wówczas, gdy nakład środków do realizacji celów był odpowiednio zbilansowany (czyli ani zbyt wysoki, ani za niski). o ile natomiast te same rezultaty można osiągnąć angażując mniejsze zasoby, wówczas mamy do czynienia z działaniem nieefektywnym;
• użyteczności – w jakim stopniu realizacja ewaluowanych działań rzeczywiście przyczyniła się do rozwiązania problemów zidentyfikowanych w programie profilaktycznym i przyniosła korzyści beneficjentom (m.in. uczniom, rodzicom, nauczycielom);
• trafności – w jakim stopniu przyjęte cele i metody w programie profilaktycznym odpowiadają zidentyfikowanym problemom i/lub realnym potrzebom beneficjentów (zatem o ile dobrze dobrano metody działań, aby rozwiązać określony problem, mówimy o ich trafności),
• trwałości – czy pozytywne rezultaty ewaluowanego programu profilaktycznego mogą trwać po zakończeniu jego funkcjonowania, a także czy możliwe jest utrzymanie się wpływu działań/interwencji w dłuższej perspektywie czasowej.

Poddanie ewaluacji programu profilaktycznego w kontekście przedstawionych wyżej kryteriów pozwala na dokonanie jego wartościowania. Na przykład można wyciągnąć wnioski, iż program profilaktyczny realizowany w szkole jest skuteczny, gdyż przynosi założone efekty (osiągamy cele), ale nieefektywny, ponieważ realizowany jest z ogromnymi, niewspółmiernymi do efektów wysiłkiem i środkami, a ponadto nietrwały, dlatego iż problem nie został skutecznie (kompleksowo i całościowo) rozwiązany. Może się również okazać, iż program profilaktyczny wykazuje użyteczność dla adresatów (uczniów), ale nie wszystkie zaplanowane działania i metody pracy są równie trafne. Warto pamiętać, iż przedstawiony powyżej katalog kryteriów nie jest ani wyczerpujący, ani adekwatny dla wszystkich badania ewaluacyjnego realizowanego w szkole. Ewaluacja powinna bowiem zostać zaplanowana w odniesieniu do konkretnej interwencji.

Metody badawcze

Metodologia badań ewaluacyjnych korzysta z bogatego dorobku badań społeczno-socjologicznych. Ewaluatora, podobnie jak każdego badacza społecznego, obowiązują rygory metodologiczne dotyczące trafności i rzetelności stosowanych metod oraz narzędzi badawczych, z uwzględnieniem triangulacji metod i źródeł, innymi słowy, stosowaniu co najmniej dwóch rodzajów metod badawczych, które pozwalają zapewnić wyższą jakość badań i ograniczać błąd pomiaru. Metody badawcze i techniki realizacyjne stosowane w konkretnym badaniu ewaluacyjnym powinny być dobierane tak, by dostarczały wiarygodnych informacji. Dysponujemy metodami i technikami ilościowymi oraz jakościowymi. Praktycznie każda z metod i technik badawczych może zostać zaplanowana i wykorzystana przez ewaluatora w obydwu aspektach. Popularne metody i techniki, takie jak ankieta, wywiad, analiza dokumentów, case study, obserwacja, mogą dostarczyć zarówno danych ilościowych, jak i jakościowych.

Harmonogram ewaluacji

W projekcie ewaluacji powinny się znaleźć informacje na temat ram czasowych ewaluacji, w szczególności kiedy powinno nastąpić rozpoczęcie i zakończenie ewaluacji oraz ile czasu przeznaczamy na zbieranie danych oraz ich analizę.

Raport i upowszechnianie wyników

Projekt ewaluacji wewnętrznej powinien się kończyć określeniem formy przedstawienia wyników ewaluacji. Wyniki te są prezentowane w postaci raportu, można także zaplanować przedstawienie skróconej wersji raportu lub prezentacji multimedialnej czy broszury informacyjnej, która zostanie umieszczona na stronie internetowej szkoły, będzie rozdawana przy okazji uroczystości szkolnych lub omawiana na zebraniach z rodzicami. Tak rozumiana i przeprowadzona ewaluacja staje się częścią procesu podejmowania decyzji. Ewaluacja sama w sobie nie przedstawia gotowych rozwiązań czy sposobów postępowania, ale pozwala pozyskać informacje, które wspierają skuteczny i efektywny proces decyzyjny co do dalszych działań.