I to o nich właśnie chciałbym skreślić kilka uwag, bo problem narasta.
Wyniki badań popularności polityków, partii, opinie Polaków na temat różnych mniej lub bardziej ważnych wydarzeń i kwestii są często przekazywane jako główne wiadomości i potem szeroko komentowane. Dziennikarzy, zwłaszcza telewizyjnych, nie interesuje metodologia badań, mają też problemy z właściwym ich odczytaniem i zrozumieniem. Z wypiekami na twarzy pytają: „Spadło wam o dwa punkty, dlaczego?” Indagowany wije się, bo oczywiście nie ma zielonego pojęcia, więc w końcu coś zmyśla, a ostatnią deską ratunku jest odpowiedź: „Mamy własne wyniki badań i są one zupełnie inne”.
W trakcie kampanii wyborczych zjawisko przybiera na sile, przy czym ambicją poszczególnych stacji telewizyjnych i wielu gazet jest operowanie własnymi badaniami, stąd też i firm firmy badawczych przybywa jak grzybów po deszczu.
W tym wysypie badań nie byłoby nic złego, gdyby prowadzono je fachowo, rzetelnie, sprawdzonymi metodami. Tymczasem praca ankietera jest prosta, łatwa i przyjemna, więc bada kto chce i jak chce. Kto sondaż przeprowadził, na jakiej próbie wyborców, jak zapewniono reprezentatywność próby, jakie było pytanie, czy procenty odnoszą się do wszystkich badanych, czy tylko do tych, którzy zdeklarowali się głosować, a jeśli do tych ostatnich, to czy zadeklarowali się oni głosować zdecydowanie, czy nie byli do końca pewni - często nie wiadomo. Osobna kwestia to badania telefoniczne, które - zwłaszcza w polskich warunkach
- obarczone są ogromnym błędem. A przecież wyniki zależą właśnie od takich „szczegółów” i dlatego są tak duże różnice między sondażami i firmami badawczymi.
Błędny sondaż, pokazany w odpowiednim miejscu i czasie, może utopić partie lub kandydatów, część wyborców bowiem te sondaże bezkrytycznie kupuje decydując na ich podstawie na kogo warto głosować, a na kogo nie.
Gdy chcemy posłać dziecko do dobrej szkoły, sprawdzamy rankingi, opracowywane przez niezależne instytucje. To samo, gdy szukamy dobrej uczelni. Gdy zarządzamy funduszem inwestycyjnym i kupujemy obligacje rządowe, to od Polski zażądamy wyższych odsetek, niż od Niemiec, bo rating (czyli ranking) Polski, sporządzony przez niezależne instytucje, jest gorszy od ratingu Niemiec. Przykłady można mnożyć. Nie stosuje się natomiast takich metod do instytutów badania opinii publicznej, przez co zamawiający oraz obywatel nie wiedzą, czy mają do czynienia z mistrzem, czeladnikiem, czy partaczem w tym zawodzie.
Postanowiłem zatem zainicjować takie oceny. Moment jest dobry, bo właśnie odbyły się wybory i sondaży było bez liku. Podzielmy je na dwie grupy - tzw. exit polls, dokonywane w dniu wyborow, po głosowaniu i pozostałe, dokonywane przed głosowaniem, czyli badanie preferencji. Te drugie są ważniejsze, ale te pierwsze bardziej spektakularne, bo w ich wyniku zwycięzcą może ogłosić się nie ten, co naprawdę wygrał.
Zacznijmy od exit polls. W ostatnich wyborach wykonywano je dwukrotnie - po I i po II turze. W I turze startowało dziesięciu kandydatów, ale ocenę trafności ograniczmy do dwóch głównych, aby zachować porównywalność z II turą.
A oto tabelka:
Jak widać, OBOP po prostu zdeklasował rywali. Wiemy oczywiście, że w I turze, kiedy kompromitacja SMG/KRC i Homo Homini była najwieksza, obie te sondażownie usprawiedliwiały się, że ich badanie było telefoniczne, podczas gdy OBOP wykonywał klasyczne exit polls, czyli badania po wyjściu wyborcy z lokalu. Zgoda, TVN i Polsat pożałowały pieniędzy na porządny sondaż i same też zaliczyły niezłą wpadkę, ale co nas to obchodzi. Szanujący się instytut badawczy, wiedząc o jaką polityczną stawkę chodzi, nie zgadza się na tak zawodne badania, a jeśli już się zgadza, to domaga się od zamawiającego, aby za każdym razem, gdy ten posłuży się wynikami tych badań, informował o wysokim dopuszczalnym błędzie. Tak się nie stało i w rezultacie w TVN i Polsacie przez kilka godzin toczyła się nierealistyczna dyskusja, w trakcie której snuto równie nierealistyczne prognozy.
W II turze obie te stacje, chcąc zatrzeć fatalne wrażenie, wysupłały większe sumy i obie firmy ustawiły ankieterów przed lokalami wyborczymi. SMG/KRC nawet przed tysiącem lokali, podczas gdy OBOP tylko przed pięciuset. O Homo Homini nic bliższego nie wiemy.Trochę pomogło, ale nie do końca. OBOP okazał się jeszcze lepszy, niż w I turze, właściwie perfekcyjny. Okazuje się, że nie wystarczy zwiększyć liczbę punktów badawczych, trzeba jeszcze zapewnić ich reprezentatywność i mieć doświadczenie.
Dobrze zrobione, autentyczne badania exit polls (przed lokalem wyborczym, ankieter i urna, do której wrzuca się wypełnioną ankietę) powinny być bardzo precyzyjne. Przyjmijmy zatem -umownie oczywiście, ale chyba dość sensownie -że pomyłka o 0,3 pkt.proc. zasługuje na ocenę celującą (czyli 6 pkt rankingowych), a następnie za każde dalsze odchylenie o 0,3 pkt proc. przyznajemy ojeden punkt rankingowy mniej.
W takim przypadku ranking trzech firm uwzględniający tylko drugie badanie (jedynie po II turze metody badania były analogiczne) przedstawia się tak:
1. OBOP-6 pkt (celująco)
2. SMG/KRC -3 pkt (dostatecznie-)
3. Homo Homini -2 pkt (niedostatecznie)
Wniosek dla wszystkich mediów jest oczywisty: jeśli chcecie zamawiać badania exit polls, wybierzcie OBOP, pozostałe niech na razie ćwiczą „na sucho”. Nie dziwcie się także, jeśli stawki OBOP-u za takie badania wzrosną. Za dobry towar warto zapłacić więcej.
Marek Borowski
Źródło: "Gazeta Wyborcza"
Powrót do "Publikacje" / Do góry