Dziś będę się czepiał. Ale konstruktywnie! A ten wpis to w ogóle rarytas, bo bardzo rzadko łączę moje blogowe życie z życiem zawodowym.
Może już wiecie, a może jeszcze nie, ale od kilku lat pracuję w badaniach społecznych, badaniach opinii, badaniach rynku. Zwał jak zwał.
Dlatego też za każdym razem, gdy trafia się badanie dotyczące bezpośrednio moich zainteresowań (finanse, oszczędzanie, banki), to cieszę się podwójnie. Z jednej strony mogę wtedy głębiej przeanalizować wyniki (i wyciągnąć z nich coś ciekawego dla czytelników Metafinansów), a z drugiej strony dowiem się czegoś nowego na temat, który mnie interesuje.
Niestety głębsza analiza raportu Money.pl „Jak Polacy oszczędzają?” odkrywa tylko kolejne błędy w sztuce badawczej, przez co wartość poznawcza tego badania jest praktycznie żadna.
Rozprawmy się z tymi błędami po kolei. Sam raport w całości znajdziesz tutaj.
Strike one!
Brakuje najbardziej podstawowej informacji
Raport ma dotyczyć oszczędności Polaków, a wszystkie pytania zostały podpisane jako zadane „tym, którzy oszczędzają”.
Ok, tylko kto to konkretnie jest? Czy to osoby, które oszczędzają regularnie, miesiąc w miesiąc? A może tacy, którzy oszczędzają od czasu do czasu, jak im coś zostanie na koniec miesiąca? Czy może chodzi o takie osoby, które zadeklarowały, że posiadają jakiekolwiek oszczędności (choć może nie dokładały do tej kwoty już nic od kilku miesięcy czy lat)?
Gdy ktoś chce mi opowiedzieć o tym „jak oszczędzają Polacy”, to ja właśnie tego chce się dowiedzieć: jak? Jak często odkładają? Na początku miesiąca, na końcu? Regularnie, czy od czasu do czasu? Odkładają często małe kwoty, czy rzadziej, ale większe sumy? No i przede wszystkim: jaki odsetek Polaków w ogóle oszczędza?
Informacja o tym jak zostało zadane takie pytanie filtrujące po prostu musi znaleźć się w raporcie z badań. To absolutna podstawa do tego, by móc potem interpretować kolejne wyniki.
To nie koniec! Money.pl wprawdzie podaje na koniec informację o tym, że badanie przeprowadzono na próbie 4129 użytkowników swojego portalu… ale chwila! – chyba nie każdy z nich oszczędza? Trzeba było im zadać to nieszczęsne pytanie o oszczędzanie. Więc ile osób z tych ponad-4000 odkłada jakieś pieniądze? 10%, 20%, 30%? Nie wiadomo.
Nie wiemy więc, ile jest „oszczędzających”. A co za tym idzie, nie wiemy ile osób tak naprawdę odpowiadało na właściwie pytania z raportu: 300, 500, 1000? Tak na dobrą sprawę, to nie wiadomo nawet czy oni w ogóle zadali takie pytanie o oszczędzanie, czy może arbitralnie założyli, że czytelnicy portalu na pewno oszczędzają i przepytali wszystkich jak leci.
To istotnie ogranicza (jeżeli nie całkowicie wyklucza) możliwość interpretacji wyników.
Strike two!
Przeinaczenia i robienie z raportu czegoś, czym nie jest
To w zasadzie detal, ale irytujący. Raport nosi tytuł „Jak Polacy oszczędzają?”. Widząc link do raportu od razu pomyślałem „O, fajnie! Zrobili pewnie jakieś ciekawe badanie na ogólnopolskiej próbie reprezentatywnej i może mają ciekawe wnioski!”. Tylko, że nie.
Badanie zostało przeprowadzone na użytkownikach Money.pl. Jakoś mi się to nie spina z domniemaniem, że chodzi o wszystkich Polaków. Później jest już trochę lepiej, bo w opisie wyników piszą o „ankietowanych”, „czytelnikach portalu” itp., ale mylne wrażenie pozostaje.
Strike three, aaaaaand you’re out!
Głupio zadawane pytania
Projektowanie badań to w dużej mierze sztuka właściwego zadawania i konstruowania pytań. Z tego zadania redakcja Money.pl niestety nie wywiązała się dobrze.
Gdybym zadał Ci pytanie „gdzie trzymasz swoje oszczędności?”, to jak odpowiesz? Pewnie powiesz mi, że część trzymasz na koncie oszczędnościowym, masz kilka lokat, zapas gotówki na ROR i lepiej lub gorzej inwestujesz na giełdzie. Albo podasz mi jakąś inną kombinację różnych instrumentów finansowych. Lub wprost powiesz, że to nie mój interes ;).
A jak odpowiadali badani z raportu Money.pl?
Mieli tylko jedną opcję do wyboru! Nie wierzę!
Nie widać tego na pierwszy rzut oka, a w raporcie w ogóle o tym nie piszą. Ale jeżeli przyjrzeć się wykresowi (obrazek powyżej, kliknij by zobaczyć całość), to widać, że słupki z poszczególnych odpowiedzi sumują się do 100% (lub prawie do 100%, pewnie mieli jakieś braki danych). To niemal jednoznacznie wskazuje, że mamy przed sobą pytanie jednowyborowe.
To jest naprawdę duży, rażący błąd. Tym bardziej, że osoba opracowująca raport wyciąga z tych danych kuriozalny wniosek, że „dwie trzecie z oszczędzających trzyma oszczędności w bankach”. Jak on do tego doszedł? Zwyczajnie zsumował sobie słupki z „kontami oszczędnościowymi”, „lokatami” i „RORem” – wyszło mu 65% i jest wniosek do raportu.
Tylko, że to ekstremalna nieodpowiedzialność, bo całkowicie eliminuje sytuacje, w których jedna osoba jednocześnie ma np. konto ROR i konto oszczędnościowe (a nawet na intuicję wiadomo, że niemal każdy klient, który ma w banku konto oszczędnościowe, ma też ROR). Raport Money.pl w ogóle nie bierze pod uwagę, że istnieje taka część wspólna! Wszystkie odpowiedzi w ich pytaniu są rozłączne.
Po takich trzech poważnych błędach raportu nie warto czytać dalej.
Po co w ogóle o tym piszę?
Lubię robić badania, pisać raporty, podpatrywać jak to robią inne firmy. Cieszę się, gdy widzę, jak wnioski z badań realnie wpływają na strategie klientów i dają cenne insighty. Świetnie jest też pochwalić się w mediach fajnymi danymi. Za to ekstremalnie nie lubię, gdy badania rynku kojarzone są z manipulacją, wprowadzaniem w błąd, brakiem rzetelności czy niestarannością. A tak się czasem niestety dzieje (punkt kulminacyjny – przed którymikolwiek wyborami).
Mam wrażenie, że takie byle-jakie „raporty” nadwerężają żmudnie budowane zaufanie do badań. Ktoś pewnie powie, że nie ma się czym przejmować: zwykła ankieta na stronie, każdy bloger może sobie taką strzelić i opisać. Tyle, że tutaj ta ankieta jest uwiarygadniana marką dużego portalu finansowego (Money.pl – zrobili z tego raport, feature na dwie strony i „serwis specjalny”) i wiodącego banku (cały raport jest obrandowany znakiem sponsora – mBanku). Kurczę, trochę głupio.
Podsumowując, do każdego badania i do każdych przedstawianych danych trzeba podchodzić krytycznie. Trzeba stawiać pytania, trzeba się zastanawiać, czy sposób prowadzenia ankiety w ogóle miał sens. Wierzę, że dzięki takiemu krytycznemu myśleniu badania będą lepsze i będą dostarczać odbiorcom rzetelnych i cennych informacji.
A, jeszcze jedno! Jeżeli czyta to ktoś z portalu informacyjnego, banku, czy jakiejkolwiek innej firmy lub instytucji, która poważnie myśli o badaniach – to błagam, nie zlecajcie ich amatorom (ani nie podpisujcie się pod ich raportami)! Zaufajcie specjalistom, a do Waszych badań nikt nie będzie mógł się przyczepić.
Opublikowano . Fot. Thomas Hawk.
rzeczywiście… trochę mało rzetelny ten raport…
No, pojechali po całości ;). Strasznie żałuję, bo to ciekawy temat i na Światowy Dzień Oszczędzania (to dziś!) można było przygotować interesujące badanie, napisać raport i pochwalić się fajnymi danymi.
Tymczasem poszli po najmniejszej linii oporu.
Mam wrażenie, że większość publikacji szumnie nazywanych „raportami” tworzona jest na podstawie prostej ankiety umieszczonej gdzieś na stronie. Publikacja na poziomie testu dla gimnazjalistów sprawdzającego umiejętność „czytania” wykresów.
Krzysztof,
Trafiłeś w sedno. Sam się zastanawiałem czy nie warto tego opisać i bardzo się cieszę, że mnie wyręczyłeś. Najgorsze w tym wszystkim jest to, że raport po prostu wprowadza w błąd i wypacza rzeczywistość. A już widziałem inne artykuły, które się na niego powołują…
Dawno nie widziałem tak intensywnego malowania trawy na zielono.
Pozdrawiam serdecznie i zalecam szybkie zapomnienie o tym, że coś takiego jak raport Money.pl miało miejsce.
Cześć Michał, dzięki za komentarz!
Cóż mogę dodać… ja się obawiam, że takiej wpadki im jednak szybko nie zapomnę ;).
Słyszeliście o narzędziu analitycznym do analizy rynków finansowych – ATool? http://biznestrend.pl/artykuly/837/Narzedzie-dla-analitykow-technicznych kolega to testuje obecnie i mnie właśnie namawia żebym też się przełamał ;)
Piotr Baron z Investio czasem tu wpada, on na pewno by Cię przekonał ;)