Po co w ogóle badamy? Krótki porządek w celach ewaluacji
Monitoring, ewaluacja i badania „dla ciekawości” – trzy różne porządki
W projektach społecznych słowo „badania” bywa workiem, do którego wrzuca się wszystko: listę obecności, ankietę po szkoleniu, pogłębione wywiady, a nawet luźne wrażenia zespołu. Żeby sensownie zdecydować między wywiadem a ankietą, trzeba najpierw uporządkować pojęcia.
Monitoring to systematyczne zbieranie danych o realizacji działań. Odpowiada na pytania: co zrobiliśmy, dla kogo, kiedy i w jakiej skali. Tu mieszczą się: listy obecności, rejestry godzin, proste ankiety frekwencyjne. Monitoring nie mówi, czy projekt działa dobrze – mówi, czy robimy to, co zaplanowaliśmy.
Еwaluacja to bardziej wymagający etap. Interesuje nie tylko, co zrobiliśmy, ale przede wszystkim: co to zmieniło. Czy uczestnicy czegoś się nauczyli, czy w społeczności zmniejszyły się konflikty, czy młodzież angażuje się mocniej w życie lokalne. Ewaluacja odpowiada też na pytanie: co działa, co nie działa i dlaczego. Tutaj właśnie pojawiają się wywiady i ankiety jako główne narzędzia.
Obok tego istnieją także badania „dla ciekawości” – sytuacje, gdy organizacja chce lepiej zrozumieć swoje otoczenie, ale nie ma to bezpośredniego związku z konkretnym projektem i jego wskaźnikami. To może być sensowne, ale w kontekście rozliczania projektów i rozmów z grantodawcą kluczowa jest ewaluacja powiązana z celami, a nie ciekawostki.
Co jest naprawdę przedmiotem ewaluacji w projektach społecznych
Ewaluacja może dotyczyć czterech poziomów projektu. Każdy z nich trochę inaczej „lubi” wywiady i ankiety:
Działania – liczba warsztatów, wydarzeń, spotkań, zasięg rekrutacji. Tu rządzą proste narzędzia: monitoring, krótkie ankiety organizacyjne, rejestry.
Rezultaty – co się zmieniło u uczestników (np. wiedza, kompetencje, poczucie wpływu). Tu przydają się zarówno ankiety (skala zmiany), jak i wywiady (jak uczestnicy rozumieją zmianę).
Zmiana społeczna – relacje sąsiedzkie, zaufanie, współpraca między instytucjami. Tego nie widać tylko w liczbach. Potrzebne są opowieści, przykłady, opisy sytuacji – typowe pola dla wywiadów.
Proces – jak projekt był prowadzony, jakie były bariery, co organizacja zrobiła dobrze, a co warto zmienić. Tu często łączy się krótkie ankiety (np. ocena komunikacji, organizacji) z wywiadami z kluczowymi osobami.
Wywiady i ankiety nie są celem samym w sobie. To narzędzia, które pomagają odpowiedzieć na konkretne pytania o działania, rezultaty, proces i zmianę społeczną. Sens zaczyna się w momencie, gdy jasno wiadomo, o co chodzi grantodawcy, zespołowi i społeczności.
Co wiemy bez badań, a czego wciąż brakuje?
Dobrym punktem wyjścia są dwie krótkie listy. Pierwsza: co już wiemy o projekcie bez badań. Druga: czego jeszcze nie wiemy, a ma znaczenie dla decyzji.
Zwykle bez formalnych badań wiemy sporo o:
liczbie zrealizowanych działań (z harmonogramu i raportów),
orientacyjnej frekwencji (listy obecności),
problematycznych sytuacjach (opowieści zespołu),
kilku skrajnych opiniach uczestników (pochwały lub skargi).
Natomiast brakuje odpowiedzi na pytania kluczowe z perspektywy decyzji:
jakie realne zmiany zaszły u różnych grup uczestników, a nie tylko u tych najbardziej aktywnych,
co sprawia, że część osób rezygnuje lub nie korzysta w pełni z oferty,
które elementy projektu najmocniej „ciągną” efekty, a które są dodatkiem,
jak projekt jest postrzegany przez instytucje i społeczność wokół.
Wywiady i ankiety wchodzą dokładnie w tę lukę. Jeżeli brakuje liczb i skali zjawisk – pojawia się potrzeba ankiety. Jeśli brakuje rozumienia tego, co się dzieje pod powierzchnią – lepszym tropem są wywiady. Kluczem jest uświadomienie sobie, że bez jasnej odpowiedzi na pytanie: „po co nam konkretnie te dane?” każda metoda będzie strzelała „na oślep”.
Od pytania badawczego do metody: decyzja nr 1
Jak pytanie badawcze prowadzi do wyboru narzędzia
Dobór metod badawczych w ewaluacji zaczyna się na długo przed otwarciem edytora ankiet online. Najpierw trzeba sformułować pytania badawcze – jasne, konkretne, powiązane z celami projektu i wskaźnikami. Dopiero potem można uczciwie odpowiedzieć na pytanie: wywiady czy ankiety, a może jedno i drugie.
Pytania badawcze można podzielić prosto:
pytania ilościowe – interesuje nas skala, częstość, rozkłady odpowiedzi, porównania w czasie,
pytania jakościowe – interesuje nas znaczenie, interpretacje, mechanizmy, powody zachowań.
Jeśli dominantą są pytania ilościowe („ilu?”, „jak często?”, „w jakim stopniu?”), naturalnym wyborem stają się ankiety. Gdy główny ciężar jest po stronie pytań jakościowych („jak?”, „dlaczego?”, „co z tego wynika?”), wskazanie pada na wywiady.
Często jednak projekty społeczne wymagają podejścia mieszanego. Dobrym przykładem jest sytuacja, w której trzeba jednocześnie pokazać skalę zmiany (np. ile osób deklaruje większą aktywność obywatelską) i opisać, jak ta aktywność wygląda w praktyce (np. jakie działania młodzież podejmuje, z jakimi przeszkodami się mierzy). Wtedy decyzja brzmi: ankieta i wywiady, ale z różnymi pytaniami badawczymi.
Przykładowe pytania badawcze w projektach społecznych
Kilka typowych pytań, z którymi mierzą się zespoły realizujące projekty:
„Co się zmieniło dla uczestników?” – ogólne pytanie o rezultaty. Można je rozbić na: „w jakim stopniu uczestnicy deklarują wzrost wiedzy/kompetencji?” (ankieta) oraz „jak uczestnicy wykorzystują tę wiedzę w życiu codziennym?” (wywiady).
„Dlaczego część osób rezygnuje z udziału?” – pytanie o bariery. Tutaj ankieta bywa zbyt płytka. Odejścia mają często złożone przyczyny (czas, dojazd, atmosfera, obawy). Wywiad – choćby telefoniczny – zwykle da bogatszy obraz.
„Jak projekt wpływa na relacje sąsiedzkie?” – pytanie o zmianę społeczną. Ankieta może wychwycić deklaratywne poczucie zaufania („bardziej ufam sąsiadom – tak/nie”), ale to wywiady pokażą konkretne historie współpracy lub konfliktów.
„Które elementy projektu są dla uczestników najważniejsze?” – pytanie o priorytety. Nadaje się do ankiety (wybór z listy, skale ważności), jednak dla zrozumienia, dlaczego coś jest ważne, i co za tym stoi, przydadzą się 2–3 wywiady pogłębione.
W tle ciągle to samo pytanie kontrolne: czego naprawdę potrzebujemy – liczby czy historii? Odpowiedź rzadko jest zero-jedynkowa, ale zwykle da się wskazać dominujący kierunek.
Kiedy potrzebna jest liczba, a kiedy opowieść
W ewaluacji projektów społecznych jedną z najważniejszych decyzji jest rozstrzygnięcie, co ma być główną walutą opisu: procenty czy cytaty? Jedno i drugie ma swoją funkcję.
Liczby są potrzebne, gdy trzeba:
pokazać skalę zjawiska – np. odsetek uczestników deklarujących zmianę zachowania,
porównać stan „przed” i „po” – np. poziom wiedzy w pre- i post-teście,
zestawić efekty między różnymi grupami – np. młodsi vs starsi uczestnicy, mieszkańcy różnych osiedli,
zaprezentować wyniki grantodawcy w formacie, który ułatwia raportowanie (wykresy, tabele).
Opowieści i kontekst są potrzebne, gdy trzeba:
zrozumieć mechanizmy zmiany – co konkretnie sprawiło, że ktoś się zaangażował lub odszedł,
pokazać złożone zjawiska, których nie da się streścić jedną skalą,
odkryć nieoczekiwane efekty – pozytywne lub negatywne,
zbudować przekonującą narrację do komunikacji z lokalną społecznością i partnerami.
Gdy dominują potrzeby liczbowe – wyraźny sygnał dla ankiety. Gdy potrzeba przede wszystkim zrozumienia i pogłębienia – pole dla wywiadów.
Prosty filtr decyzyjny „jak / dlaczego” kontra „ile / jak często”
W praktyce zespoły projektowe często potrzebują prostego narzędzia, które pomoże podjąć szybką decyzję. Można zastosować następujący filtr decyzyjny:
Jeśli pytanie badawcze zaczyna się od „jak?” lub „dlaczego?” i dotyczy motywacji, doświadczeń, interpretacji – priorytet mają wywiady.
Jeśli pytanie badawcze zaczyna się od „ile?”, „jak często?”, „w jakim stopniu?” i dotyczy skali, zasięgu, częstotliwości – priorytet mają ankiety.
Do tego dochodzą wyjątki. Np. pytanie „jak często uczestnicy korzystają z nowej świetlicy?” można próbować uchwycić wywiadami, jeśli grupa jest bardzo mała (np. 10 stałych bywalców). Z kolei pytanie „dlaczego częściej przychodzą kobiety niż mężczyźni?” może wymagać najpierw ankiety (żeby zobaczyć skalę różnicy), a potem wywiadów (żeby zrozumieć przyczyny).
Najbardziej ryzykowne są sytuacje, gdy zespół zaczyna od narzędzia („zróbmy ankietę, bo jest w harmonogramie”) zamiast od pytania badawczego. Wtedy wywiady i ankiety produkują dane, które trudno powiązać z decyzjami i wskaźnikami.
Źródło: Pexels | Autor: Edmond Dantès
Wywiady – co naprawdę dają, a czego nie zapewnią
Jakie informacje odsłania wywiad w ewaluacji
Wywiady jakościowe w projektach społecznych pozwalają dotrzeć do warstwy, której nie widać w tabelach. Dobrze przeprowadzona rozmowa odsłania to, jak uczestnicy rozumieją projekt i co on dla nich znaczy.
W wywiadzie można pozyskać m.in.:
motywacje – dlaczego ktoś w ogóle zdecydował się wziąć udział, co go przyciągnęło,
bariery – jakie przeszkody sprawiały, że trudno było dojechać, zaangażować się, odezwać na forum,
doświadczenia – co było wspierające, co frustrujące, co zaskakujące,
interpretacje uczestników – co uważają za sukces, a co za porażkę, jak definiują „aktywność”, „zaufanie”, „współpracę”,
kontekst lokalny – jak projekt wpisuje się w sieć relacji między instytucjami, sąsiadami, lokalnymi liderami.
Takich treści nie da się wygenerować gotowymi kafelkami odpowiedzi. Uczestnicy, mówiąc własnymi słowami, często ujawniają czynniki, których zespół nie brał pod uwagę przy planowaniu projektu. Wywiad bywa też sygnałem szacunku – pokazuje, że głos uczestnika jest wart czasu i uważnej rozmowy.
Formy wywiadów w ewaluacji: indywidualne, grupowe, fokusy
W praktyce ewaluacji działań społecznych pojawia się kilka wariantów wywiadów:
Wywiady indywidualne – rozmowa jeden na jeden, na żywo, telefonicznie lub online. Dają największe poczucie bezpieczeństwa, pozwalają na wątek osobisty, lepiej nadają się do tematów wrażliwych (np. konflikty, dyskryminacja).
Wywiady grupowe – prostsza wersja fokusów. Spotkanie kilku uczestników, często mniej formalne. Dobre, gdy chodzi o ocenę organizacji zajęć, atmosfery, współpracy w grupie.
Grupy fokusowe (FGI) – bardziej złożona metoda moderowanej dyskusji, używana do eksploracji opinii o programach, usługach, wizerunku. W ewaluacji projektu społecznego często wystarczy lżejsza, prostsza forma – niekoniecznie pełny „fokus” z lustrem weneckim.
Wywiady telefoniczne / online – skracają dystans geograficzny, mogą być wygodniejsze czasowo. Sprawdzają się zwłaszcza przy rozmowach z partnerami instytucjonalnymi, liderami lokalnymi, osobami z napiętym grafikiem.
Ograniczenia wywiadów: kiedy rozmowa nie wystarczy
Choć wywiady odsłaniają to, czego nie widać w tabelach, mają swoje ograniczenia. Warto je nazwać, zanim cała ewaluacja zostanie oparta wyłącznie na rozmowach.
Brak reprezentatywności – kilka, kilkanaście wywiadów pokaże zniuansowany obraz, ale nie odpowie na pytanie, jaka jest skala zjawiska. Trzy mocne historie nie mówią, czy podobnie myśli większość, czy raczej margines.
Ryzyko dominacji silnych głosów – w wywiadach częściej słyszymy osoby komunikatywne, aktywne, zaufane przez zespół. Mniej dochodzą do głosu ci, którzy są cisi, nieufni, sporadycznie uczestniczą w działaniach.
Czasochłonność – każdy wywiad to nie tylko rozmowa, ale też przygotowanie, umawianie terminu, analiza nagrania. Przy napiętym harmonogramie łatwo skończyć z kilkoma rozmowami, które trudno przełożyć na decyzje dla całego projektu.
Subiektywność interpretacji – dwa zespoły badawcze mogą z tych samych wypowiedzi wyciągnąć różne wnioski. Dopóki nie ma wspólnych kryteriów kodowania i analizy, wywiady zostają bliżej reportażu niż twardej analizy.
Wpływ relacji z prowadzącym – uczestnicy mogą łagodzić krytyczne opinie, jeśli wywiad prowadzi ktoś z organizacji. Z kolei zewnętrzny badacz nie zawsze „złapie” lokalny kontekst i niuanse.
Pytanie kontrolne brzmi: co wiemy z samych wywiadów, a czego nadal nie umiemy policzyć? Jeśli druga kategoria jest długa, sygnał jest prosty – przyda się narzędzie ilościowe, choćby w minimalnej wersji.
Jak przygotować scenariusz wywiadu pod cele ewaluacji
Scenariusz wywiadu w ewaluacji nie jest listą „wszystkich możliwych pytań”. To filtr, który ma przepuścić tylko te treści, które rzeczywiście pomogą odpowiedzieć na pytania badawcze i wskaźniki projektu.
Przy opracowywaniu scenariusza pomaga kilka kroków:
Przekład pytań badawczych na bloki tematyczne – jeśli celem jest zrozumienie, co motywuje młodzież do udziału, pojawia się blok o motywacjach, a nie pięć różnych wątków pobocznych.
Pytania od ogółu do szczegółu – najpierw prosimy o ogólny obraz („Jak Pan/Pani wspomina udział w projekcie?”), potem przechodzimy do przykładów („Proszę opowiedzieć o sytuacji, kiedy…?”).
Pytania neutralne, bez podpowiedzi – zamiast „Czy projekt dodał Pani odwagi, żeby działać w społeczności?”, lepiej: „Czy po projekcie coś zmieniło się w Pani aktywności w okolicy? Jeśli tak, co konkretnie?”.
Miejsce na wątki nieoczekiwane – na końcu scenariusza przydaje się przestrzeń na pytanie otwarte: „Czy jest coś ważnego, o czym nie rozmawialiśmy, a co wiąże się z projektem?”.
Dobry scenariusz jest krótki. Jeśli mieści się na jednej stronie, szansa na uważne podążanie za rozmówcą jest większa niż przy pięciu stronach punktów do odhaczenia.
Kiedy ankieta zada to samo pytanie taniej i szybciej
Są obszary, w których zamiast kolejną godzinę rozmawiać z jedną osobą, bardziej sensownie jest zadać krótkie pytanie większej grupie w ankiecie. Dotyczy to zwłaszcza ocen prostych i porównań.
Przykład z praktyki: zespół chciał wiedzieć, jak uczestnicy oceniają godziny zajęć. Najpierw planowano wywiady. Po chwili refleksji pytanie przełożono na ankietę online z trzema wariantami odpowiedzi godzinowych i jednym pytaniem otwartym. Odpowiedziało kilkadziesiąt osób. Wywiady zostawiono na kwestie motywacji i doświadczeń, których ankieta nie uchwyci.
Punktem odniesienia jest tu pytanie: czy odpowiedź da się zamknąć w kilku wariantach bez utraty sensu? Jeśli tak, ankieta zrobi to szybciej i taniej niż wywiad.
Ankiety w ewaluacji – atuty, ryzyka i dobre praktyki
Co realnie mierzy ankieta w projektach społecznych
W projektach społecznych ankiety służą najczęściej do dwóch zadań: pokazania skali deklarowanych zmian oraz zebrania ocen działań. Wbrew pozorom nie są to pytania o „obiektywną prawdę”, tylko o deklaracje.
Ankieta może wiarygodnie wesprzeć ewaluację, gdy mierzy:
subiektywne poczucie zmiany – np. „Na ile zgadzasz się ze stwierdzeniem: lepiej znam swoje prawa pracownicze?” (skala odpowiedzi),
częstotliwość zachowań – np. „Jak często w ostatnich 3 miesiącach brałeś/aś udział w spotkaniach rady osiedla?”,
ocenę jakości działań – organizacji, komunikacji, dostępności,
profil uczestników – dane demograficzne, poziom wyjściowy wiedzy, wcześniejsze doświadczenia.
Co ważne, ankieta mierzy to, co zostanie w niej nazwane. Jeśli brakuje pytań o bariery finansowe, trudności z opieką nad dziećmi czy poczucie bezpieczeństwa, te wątki po prostu nie zaistnieją w wynikach, choć mogą być kluczowe dla projektowej rzeczywistości.
Najczęstsze błędy przy projektowaniu ankiet ewaluacyjnych
W praktyce projektowej powtarza się kilka schematycznych potknięć. Wszystkie zmniejszają przydatność wyników przy podejmowaniu decyzji.
Za długa ankieta – gdy kwestionariusz ma kilkadziesiąt pytań, rośnie liczba przerwanych odpowiedzi i „zjeżdżania” po skali bez namysłu. Lepiej mieć mniej, za to dobrze przemyślanych pytań, niż wszystko, co kiedykolwiek przyszło do głowy.
Pytania z tezą – „Na ile interesujące były dla Ciebie bardzo ciekawe warsztaty z liderstwa?” to nie jest neutralne pytanie. Tego typu sformułowania fałszują wyniki w stronę oczekiwanej odpowiedzi.
Skale bez opisu – gdy przy skali 1–5 nie ma jasnego opisu krańców („1 – zdecydowanie się nie zgadzam, 5 – zdecydowanie się zgadzam”), każdy respondent interpretuje liczby inaczej.
Mieszanie kilku wątków w jednym pytaniu – „Jak oceniasz organizację i atmosferę zajęć?” nie pozwala oddzielić logistyki od relacji w grupie. W efekcie trudno z tego wyciągnąć konkretną rekomendację.
Brak powiązania z pytaniami badawczymi – ankieta zbiera opinie o wszystkim po trochu, ale na koniec trudno powiedzieć, czy projekt osiągnął zakładany efekt zmiany.
Dobre pytanie kontrolne na etapie projektowania brzmi: czy będziemy w stanie użyć odpowiedzi z tego pytania do podjęcia jakiejś decyzji? Jeśli nie, pytanie może spokojnie zniknąć.
Kiedy ankieta nie zadziała: bariery praktyczne i kontekstowe
Nawet najlepiej zaprojektowana ankieta nie zadziała, jeśli uczestnicy jej nie wypełnią albo wypełnią ją „po łebkach”. Część powodów jest techniczna, część – społeczna.
Niski poziom zaufania – w środowiskach, gdzie silna jest obawa przed oceną instytucji, respondenci unikają szczerej krytyki. Wypełniają ankietę „tak, jak trzeba”, by nie zaszkodzić prowadzącym.
Trudności językowe i cyfrowe – dla części osób ankiety online z długimi pytaniami są po prostu niedostępne. Problem wraca przy pracy z seniorami, młodzieżą z trudnościami szkolnymi, osobami z doświadczeniem migracji.
Zmęczenie ewaluacją – gdy każda aktywność kończy się długim formularzem, pojawia się znużenie. Odpowiedzi stają się rutynowe, a liczby niewiele mówią.
Nieczytelny cel badania – jeśli uczestnicy nie wiedzą, po co się ich pyta i co się stanie z wynikami, motywacja do rzetelnego wypełniania ankiety spada.
W takich sytuacjach lepszym wyborem bywa krótsza ankieta uzupełniona wywiadami lub warsztatem ewaluacyjnym, zamiast rozbudowanego formularza, który zniechęca już samym widokiem.
Jak zwiększyć użyteczność ankiet w projektach społecznych
Aby ankiety rzeczywiście wspierały decyzje, a nie tylko wypełniały wymogi sprawozdawcze, przydaje się kilka praktycznych rozwiązań.
Test na małej grupie – krótkie „próbne” wypełnienie ankiety przez 3–5 osób zbliżonych do grupy docelowej często ujawnia niezrozumiałe pytania i brakujące opcje odpowiedzi.
Łączenie pytań zamkniętych z jednym–dwoma otwartymi – liczby dają obraz skali, a krótkie komentarze pozwalają uchwycić powtarzające się wątki i niespodziewane sygnały.
Dopasowanie formy do odbiorców – dla części grup lepsza będzie ankieta papierowa rozdana po zajęciach, dla innych – krótki formularz w telefonie. Kluczowa jest wygoda użytkownika, nie preferencje zespołu.
Wyjaśnienie celu i sposobu wykorzystania danych – jasna informacja, że ankieta ma realny wpływ na kształt kolejnej edycji projektu, zwykle podnosi jakość odpowiedzi.
W tle pozostaje pytanie: czy sposób zbierania danych jest możliwie najmniej uciążliwy dla uczestników, a jednocześnie wystarczający dla potrzeb ewaluacji? Odpowiedź rzadko bywa oczywista, dlatego ankietę warto planować równie uważnie jak sam projekt.
Łączenie wywiadów i ankiet: podejścia mieszane w praktyce
Strategie sekwencyjne: najpierw rozmowa, potem skala
Jednym z częstych rozwiązań w ewaluacji projektów społecznych jest podejście sekwencyjne. Najpierw kilka wywiadów, które pomagają zrozumieć pole gry, a dopiero potem ankieta nakierowana na kluczowe wątki.
Ten układ sprawdza się zwłaszcza wtedy, gdy:
projekt wchodzi na nowe terytorium (np. pilotaż nowych działań w małej gminie),
zespół nie ma jeszcze jasności, które bariery i motywacje są najważniejsze,
dotychczasowe doświadczenia podpowiadają, że „na papierze” wszystko wygląda inaczej niż w realnym życiu uczestników.
Wywiady pełnią w takim układzie rolę „radaru”. Wskazują, o co w ogóle pytać w ankiecie, jakie odpowiedzi przewidzieć, jak nazwać doświadczenia uczestników ich własnym językiem. Dopiero potem ankieta pomaga sprawdzić, jak rozpowszechnione są odkryte wątki.
Strategie odwrócone: ankieta jako punkt wyjścia do pogłębienia
Odwrotna sekwencja – najpierw ankieta, potem wywiady – przydaje się wtedy, gdy zespół potrzebuje najpierw zobaczyć obraz całościowy, a potem dopiero wejść w szczegóły.
Taki sposób pracy bywa stosowany, gdy:
projekt obejmuje dużą liczbę osób i wiele lokalizacji,
konieczne jest szybkie zebranie danych dla grantodawcy,
nie wiadomo, które grupy warto pogłębić (np. zaskakuje wysoka lub niska ocena danego elementu).
Przykładowo: ankieta pokazuje, że warsztaty w jednej z gmin otrzymują wyraźnie niższe oceny niż w pozostałych. Na tej podstawie zespół decyduje o przeprowadzeniu 3–4 wywiadów z uczestnikami i prowadzącymi tylko w tym miejscu, by zrozumieć, co kryje się za różnicą w wynikach.
Minimalny miks: małe projekty, ograniczone zasoby
W małych projektach lokalnych – kilku spotkaniach, krótkim cyklu warsztatów – pełnoskalowe badania często są nierealne. Nadal można jednak połączyć ankietę i wywiady w wersji „light”.
Typowy zestaw obejmuje wtedy:
bardzo krótką ankietę (5–7 pytań) wypełnianą na ostatnich zajęciach, z jedną skalą oceny i jednym pytaniem otwartym o zmianę lub rekomendacje,
2–3 wywiady telefoniczne z osobami o różnych doświadczeniach (ktoś bardzo zaangażowany, ktoś, kto bywał rzadko, ktoś, kto przerwał udział).
Taki miks nie da bardzo precyzyjnych wniosków, ale pomaga uchwycić zarówno ogólny kierunek zmian, jak i konkretne historie. Co ważne, skala jest dopasowana do czasu i możliwości zespołu, a nie kopiowana z dużych programów.
Dobór osób do wywiadów na podstawie wyników ankiet
Gdy ankieta jest punktem wyjścia, jej wyniki mogą pomóc w świadomym doborze rozmówców do wywiadów. Zamiast zdawać się na przypadek, zespół może zaplanować, kogo konkretnie zapytać o doświadczenia.
Możliwe kryteria wyboru to:
skrajne oceny – osoby bardzo zadowolone i bardzo niezadowolone, by zobaczyć, skąd biorą się różnice,
różne wzory uczestnictwa – stali bywalcy i osoby, które pojawiły się raz czy dwa,
Identyfikacja luk: czego ankieta nie pokaże bez rozmowy
Praca na danych z ankiet często odsłania białe plamy. Widać liczby, ale brakuje kontekstu: skąd wzięły się różnice między grupami, dlaczego część osób nie odpowiada na wybrane pytania, co kryje się pod pozornie neutralnymi ocenami.
Typowe sygnały, że potrzebne są wywiady lub inne metody jakościowe, to m.in.:
duży odsetek odpowiedzi „trudno powiedzieć” – szczególnie przy pytaniach o zmiany, poczucie wpływu, relacje z instytucjami,
nierozwiązywalne sprzeczności – w jednej części ankiety wysoka ocena satysfakcji, w innej liczne uwagi krytyczne,
nagłe skoki w wynikach między edycjami projektu lub lokalizacjami, których nie da się wyjaśnić na podstawie znanych danych,
puste pola przy pytaniach otwartych, mimo wysokiej frekwencji w ankiecie – co sugeruje brak przestrzeni na szczerą wypowiedź.
W takich sytuacjach pytanie kontrolne brzmi: co wiemy na pewno z liczb, a co jest tylko domysłem zespołu? Wszystko, co pozostaje w sferze przypuszczeń, można uporządkować rozmowami: indywidualnymi, grupowymi lub krótkimi telefonicznymi wywiadami uzupełniającymi.
Przykład z praktyki: ankieta po cyklu warsztatów młodzieżowych pokazuje wysokie oceny prowadzących, ale jednocześnie niski poziom deklarowanego bezpieczeństwa w grupie. Bez rozmów z uczestnikami trudno stwierdzić, czy chodzi o konflikty rówieśnicze, brak prywatności w sali czy jeszcze inny czynnik.
Projektowanie pytań wywiadu w oparciu o wyniki ankiet
Gdy wiadomo już, gdzie są luki, łatwiej ułożyć scenariusz wywiadu. Pytania nie powtarzają ankiety, tylko dopowiadają to, czego nie dało się w niej uchwycić.
Przydatny jest prosty schemat pracy z wynikami ankiety:
Wybrać 3–4 kluczowe zaskoczenia – na przykład elementy z najniższą oceną, najwyższą rozbieżnością między grupami lub pytania z największą liczbą braków odpowiedzi.
Zamienić je na pytania „dlaczego?” i „jak?” – zamiast „jak oceniasz X?”, pytanie w wywiadzie brzmi: „co sprawiło, że udział w X był dla Ciebie pomocny / mało użyteczny?”.
Dodać 1–2 pytania o szerszy kontekst – na przykład o sytuację w domu, dostępność usług w okolicy, wcześniejsze doświadczenia z podobnymi projektami.
W ten sposób wywiad staje się narzędziem doprecyzowania hipotez, a nie luźną rozmową o wszystkim. Ankieta wyznacza pole, w którym rozmowa ma się poruszać, ale nie zamyka listy tematów – prowadzący może podążać za wątkami zgłaszanymi przez rozmówców.
Równoległe stosowanie wywiadów i ankiet: kiedy ma sens
Czasem harmonogram i zasoby pozwalają na równoległe zbieranie danych z obu źródeł. Nie chodzi wtedy o prostą „podwójną kontrolę”, ale o uchwycenie różnych perspektyw w tym samym czasie.
Równoległy układ bywa użyteczny, gdy:
projekt jest wrażliwy politycznie lub społecznie (np. praca z osobami uchodźczymi, społecznościami lokalnymi w konflikcie) i potrzebne są zarówno anonimowe opinie, jak i zniuansowane relacje,
różne grupy interesariuszy mają odmienne role – na przykład uczestnicy, partnerzy instytucjonalni, wolontariusze,
zespół podejmuje decyzje „w locie” – potrzebuje więc szybkich sygnałów z ankiet oraz bardziej pogłębionych opowieści, by korygować działania w trakcie trwania projektu.
W praktyce oznacza to np. krótkie ankiety po każdym warsztacie (monitoring bieżący) oraz wywiady po kluczowych etapach cyklu. Dane z obu źródeł są analizowane równolegle, a nie dopiero „po wszystkim”.
Dobór metody do etapu cyklu projektu
Ten sam projekt może potrzebować innych narzędzi na starcie, w trakcie i po zakończeniu działań. Wywiady i ankiety pełnią wtedy różne funkcje.
Etap planowania – dominują wywiady, rozmowy z liderami lokalnymi, czasem krótkie ankiety diagnozujące potrzeby. Celem jest rozpoznanie terenu, a nie mierzenie efektów.
Etap realizacji – pojawiają się krótkie ankiety monitorujące jakość (logistyka, dostępność, pierwsze wrażenia) oraz wywiady „kontrolne” z wybranymi osobami. Chodzi o to, by zawczasu dostrzec problemy, a nie dopiero w raporcie końcowym.
Etap podsumowania – ankiety pomagają uchwycić skalę zmian i zadowolenia w całej grupie, a wywiady dają materiał do zrozumienia mechanizmów: co konkretnie zadziałało, dla kogo i dlaczego.
Odpowiedź na pytanie „kiedy wywiady, a kiedy ankiety?” w dużej mierze zależy więc od tego, czego projekt w danym momencie najbardziej potrzebuje: zrozumienia czy pomiaru.
Ograniczenia obu metod przy pracy z grupami wrażliwymi
W projektach z osobami w kryzysie bezdomności, doświadczającymi przemocy, choroby psychicznej czy migracji, standardowe wywiady i ankiety napotykają dodatkowe bariery. Przede wszystkim – kwestie bezpieczeństwa i obciążenia emocjonalnego.
Po stronie ankiet częstsze są:
puste odpowiedzi na pytania o sytuację osobistą i zdrowie,
deklaracje „pod instytucję”, czyli takie, które mają poprawić relację z organizatorem lub nie zaszkodzić w przyszłym wsparciu,
trudności w uchwyceniu zmian miękkich – poczucia sprawczości, zaufania, relacji w rodzinie.
Wywiady z kolei niosą ryzyko:
ponownego przeżywania trudnych doświadczeń bez zapewnionego wsparcia,
asymetrii sił – badacz może być postrzegany jako ktoś decydujący o dostępie do usług lub świadczeń,
nadmiernej koncentracji na „historii sukcesu”, gdy respondent czuje, że oczekuje się od niego pozytywnej narracji.
W takich kontekstach wybór między ankietą a wywiadem powinien być powiązany z pytaniem: jakie ryzyko dla uczestników generuje każda z metod i jak je ograniczyć? Czasem odpowiedzią jest rezygnacja z części pytań, przesunięcie ewaluacji w czasie lub zastosowanie metod partycypacyjnych zamiast klasycznych narzędzi.
Metody uzupełniające: gdy ankieta i wywiad to za mało
Są sytuacje, w których nawet dobrze zaplanowany zestaw wywiadów i ankiet nie daje pełnego obrazu. Dzieje się tak przede wszystkim wtedy, gdy kluczowe są procesy grupowe, relacje w społeczności lub codzienne praktyki, których uczestnicy nie potrafią łatwo nazwać.
W repertuarze metod często pojawiają się wtedy:
obserwacja uczestnicząca – obecność na spotkaniach, warsztatach, wydarzeniach, z notowaniem zachowań, sposobów komunikacji, ról w grupie,
dzienniczki uczestników – krótkie notatki, zdjęcia lub nagrania wideo dokumentujące codzienne korzystanie z nowej usługi, przestrzeni czy narzędzia,
mapowanie zasobów i relacji – wspólne rysowanie mapy miejsca, sieci wsparcia, ścieżek poruszania się po instytucjach,
mini-warsztaty ewaluacyjne – praca w małych grupach nad tym, co się zmieniło, co działa, a co nie, z wykorzystaniem prostych ćwiczeń zamiast formularzy.
Te metody nie zastępują ankiet ani wywiadów, ale wskazują, gdzie dane liczbowe i wypowiedzi indywidualne nie wystarczą. Szczególnie przydatne są tam, gdzie doświadczenie jest „rozlane w czasie” – zmiana nie wydarza się w jednym punkcie, lecz w codziennych drobnych decyzjach.
Pułapki nadmiernego przywiązania do jednej metody
W wielu organizacjach utrwala się rutyna: zawsze ankieta na końcu warsztatu albo zawsze kilka wywiadów fokusowych po projekcie. Taki automatyzm niesie kilka ryzyk.
Uproszczony obraz rzeczywistości – dane dostosowują się do metody, zamiast metoda do pytania. Gdy pytamy tylko skalami, widzimy wyłącznie rozkłady odpowiedzi, a nie procesy czy mechanizmy.
Niewidzialność części uczestników – w ankietach gubią się osoby z barierami językowymi lub cyfrowymi, w wywiadach – ci, którzy nie czują się na siłach rozmawiać lub nie mają czasu.
Nadmierne obciążenie jednej grupy – powtarzane co edycję wywiady z tymi samymi liderami lokalnymi albo długie ankiety wypełniane po każdym działaniu prowadzą do zmęczenia i coraz bardziej powierzchownych odpowiedzi.
Przy planowaniu kolejnej ewaluacji praktyczne bywa pytanie: kogo nasza standardowa metoda „nie widzi” i jak to skorygować? Odpowiedzią może być dołożenie prostego narzędzia (np. tablicy z karteczkami na miejscu działań) albo zamiana części wywiadów na krótkie rozmowy telefoniczne po godzinach pracy.
Techniczne aspekty łączenia danych z wywiadów i ankiet
Kiedy dane ilościowe i jakościowe już są zebrane, pojawia się kolejne wyzwanie: jak je połączyć, by wzajemnie się uzupełniały, a nie tworzyły dwóch osobnych raportów.
Przydatne są tu trzy proste kroki:
Ustalenie wspólnych kategorii – na przykład „dostępność”, „relacje”, „poczucie wpływu”. Ocenę w ankiecie i fragmenty wywiadów przypisuje się do tych samych pól analitycznych.
Szukanie wzajemnego potwierdzenia i rozbieżności – w których obszarach liczby i wypowiedzi się zgadzają, a gdzie pokazują różne obrazy.
Opisanie przyczyn rozbieżności – czy wynikają z doboru próby (kto wypełnił ankietę, a kto poszedł na wywiad), z kontekstu (czas, miejsce) czy z samej metody.
W raporcie nie chodzi tylko o zestawienie wykresów z cytatami. Kluczowe jest pokazanie, jak interpretacja jednego rodzaju danych zmienia się pod wpływem drugiego. Przykładowo: ankieta wskazuje na średnie zadowolenie z dostępności sali, ale wywiady ujawniają, że dla osób poruszających się na wózku różnice między budynkami są znaczące, choć statystycznie „rozmywają się” w ogólnej ocenie.
Rola czasu i dystansu w wyborze metody
Nie każde pytanie ewaluacyjne można sensownie zadać od razu po zakończeniu działania. Wywiady i ankiety różnie reagują na upływ czasu.
Bezpośrednio po warsztacie ankieta dobrze wychwytuje świeże emocje, ocenę organizacji, pierwsze wrażenia. Trudniej wtedy o rzetelną deklarację zmiany zachowania czy wpływu na życie codzienne. Z kolei kilka miesięcy po projekcie część szczegółów zaciera się w pamięci, ale łatwiej dostrzec trwałe efekty.
Wywiady prowadzone z dystansem czasowym pozwalają na bardziej refleksyjną wypowiedź: co zostało, co się nie utrzymało, jak projekt wpasował się w inne doświadczenia. Ankieta w takiej sytuacji wymaga dobrze przemyślanych pytań o konkretne działania (np. „ile razy w ostatnim miesiącu korzystałeś z…?”), a nie o ogólne wrażenia.
Pytanie „kiedy wywiad, a kiedy ankieta?” można więc uzupełnić o kolejne: w jakim momencie po działaniu uczestnicy są w stanie najuczciwiej i najprecyzyjniej o nim opowiedzieć? Odpowiedź bywa różna przy krótkim wydarzeniu jednorazowym i długim programie wsparcia.
Kompetencje zespołu jako kryterium wyboru metody
Nawet najlepiej dopasowana do celu metoda nie zadziała, jeśli zespół nie ma doświadczenia w jej stosowaniu. Różnica między ankietą a wywiadem to nie tylko forma pytań, ale również wymagane umiejętności.
podstawowa znajomość analizy danych (proste statystyki opisowe, czytanie rozkładów odpowiedzi),
organizacja procesu zbierania: przypomnienia, zachęty, wsparcie techniczne.
Wywiady wymagają z kolei:
umiejętności aktywnego słuchania i reagowania na emocje,
zadawania pytań pogłębiających bez sugerowania odpowiedzi,
późniejszego opracowania materiału: transkrypcji, kodowania, wyciągania wniosków z różnorodnych wypowiedzi.
Najczęściej zadawane pytania (FAQ)
Kiedy lepiej zrobić wywiady, a kiedy ankiety w ewaluacji projektu?
Ankiety sprawdzają się, gdy głównym celem jest poznanie skali zjawiska: ile osób coś deklaruje, jak często coś robi, w jakim stopniu odczuwa zmianę. Przydają się do pytań typu „ilu?”, „jak często?”, „w jakim stopniu?”, np. przy pomiarze wzrostu wiedzy przed i po cyklu warsztatów.
Wywiady są lepsze, gdy najważniejsze jest zrozumienie mechanizmów: „jak?”, „dlaczego?”, „co z tego wynika?”. Pomagają uchwycić motywacje, bariery, nieoczywiste efekty projektu. Przykład z praktyki: ankieta pokaże, że 30% osób zrezygnowało z udziału, ale dopiero rozmowa telefoniczna ujawni, że problemem była atmosfera na spotkaniach, a nie sam termin.
Co wybrać do badania rezultatów projektu: wywiad czy ankietę?
Rezultaty, czyli zmiany u uczestników (wiedza, kompetencje, poczucie wpływu), dobrze widać w połączeniu obu metod. Ankieta pokaże skalę – np. odsetek osób, które deklarują wzrost kompetencji czy większe zaangażowanie. Wywiad dopowie, jak ta zmiana wygląda w praktyce, w jakich sytuacjach nowa wiedza jest używana, co realnie się zmieniło w zachowaniu.
Praktyczny układ bywa taki: ankieta po cyklu działań dla wszystkich uczestników + kilka wywiadów pogłębionych z osobami, które skorzystały z projektu w różny sposób (bardzo aktywni, mniej obecni, osoby, które wypadły po drodze). Dzięki temu widać zarówno liczby, jak i kontekst.
Jak dobrać metodę badawczą do pytania ewaluacyjnego?
Kluczowy krok to jasne sformułowanie pytania badawczego. Jeśli pytanie brzmi „w jakim stopniu uczestnicy zwiększyli wiedzę o prawach obywatelskich?”, naturalnym wyborem jest ankieta z prostymi skalami odpowiedzi i możliwością porównania wyniku „przed” i „po”. Gdy pytanie brzmi „jak uczestnicy wykorzystują tę wiedzę w życiu codziennym?”, lepiej sprawdzi się wywiad.
W praktyce pomaga krótkie ćwiczenie: spisać wszystkie pytania, a potem przy każdym dopisać „potrzebujemy liczby czy opowieści?”. Tam, gdzie dominuje potrzeba liczb, można projektować ankietę. Tam, gdzie ważniejsze są historie, motywacje i przykłady – planować wywiady indywidualne lub grupowe.
Czym różni się monitoring od ewaluacji i kiedy wystarczy sama lista obecności?
Monitoring dotyczy realizacji działań: co zrobiono, kiedy, dla kogo i w jakiej skali. Tutaj wystarczą narzędzia takie jak listy obecności, rejestry godzin, krótkie ankiety organizacyjne. One odpowiadają na pytanie: „czy zrobiliśmy to, co zaplanowaliśmy?”.
Ewaluacja idzie krok dalej i pyta: „co to zmieniło?”. Interesuje ją wpływ projektu na uczestników i otoczenie, a także to, co działa, co nie działa i dlaczego. Gdy celem jest wyłącznie rozliczenie frekwencji i liczby wydarzeń wobec grantodawcy, monitoring może wystarczyć. Gdy trzeba pokazać rezultaty i zmianę społeczną – potrzebne są wywiady, ankiety i bardziej przemyślany plan badania.
Jak sprawdzić, dlaczego uczestnicy rezygnują z projektu – ankieta czy wywiad?
Rezygnacje najczęściej mają złożone przyczyny: godziny zajęć, dojazd, atmosfera w grupie, brak poczucia sensu, konflikty. Krótka ankieta z pytaniem jednokrotnego wyboru zwykle nie uchwyci całego obrazu. Z tego powodu bardziej adekwatne są krótkie wywiady – nawet telefoniczne – z wybranymi osobami, które przerwały udział.
Ankieta może być uzupełnieniem, gdy liczba rezygnacji jest duża i chcemy zobaczyć ogólne tendencje (np. który powód dominuje). W praktyce często stosuje się dwustopniowe podejście: prosta ankieta z 2–3 pytaniami zamkniętymi wysłana do wszystkich, a następnie kilka wywiadów z osobami, które wskażą najbardziej niepokojące powody.
Jak rozmawiać z grantodawcą o wyborze między wywiadami a ankietami?
Dobrym punktem wyjścia jest wspólne doprecyzowanie, czego grantodawca naprawdę potrzebuje: liczb czy przykładów. Część instytucji oczekuje głównie wskaźników (procenty, liczby uczestników, wyniki testów), inne chętnie czytają także historie uczestników i opisy zmian w społeczności. Warto zadać proste pytania: „co musi się znaleźć w raporcie?”, „które informacje są dla Państwa kluczowe przy ocenie projektu?”.
Na tej podstawie można zaproponować układ: np. ankieta do pokazania skali rezultatów oraz kilka wywiadów, z których cytaty trafią do części opisowej raportu. Taka rozmowa porządkuje oczekiwania i ułatwia obronę budżetu na sensowną ewaluację, a nie tylko na „odhaczenie” ankiety po szkoleniu.
Czy w małym projekcie lokalnym wystarczy jedna metoda badawcza?
W małych projektach często można oprzeć się na jednej dominującej metodzie, jeśli jest dobrze dopasowana do pytań. Przykładowo: przy krótkim cyklu warsztatów dla kilkunastu osób sensowna bywa prosta ankieta przed i po, uzupełniona notatkami z obserwacji zespołu. Z drugiej strony, w projekcie budującym relacje sąsiedzkie lepsze mogą być 3–4 wywiady z mieszkańcami niż rozbudowany formularz online, którego i tak nikt nie wypełni.
Warto zadać sobie dwa kontrolne pytania: „co już wiemy bez badań?” oraz „czego wciąż nie wiemy, a ma znaczenie dla decyzji o przyszłości projektu?”. Jeśli brakują głównie liczby – wystarczy dobrze przygotowana ankieta. Jeśli brakuje przede wszystkim zrozumienia procesów i emocji – lepiej postawić na rozmowy, nawet w niewielkiej liczbie.
