• Przejdź do głównej nawigacji
  • Przejdź do treści
  • Przejdź do głównego paska bocznego
Metafinanse

Metafinanse

blog finansowy Krzysztofa Sobolewskiego

  • O blogu
  • Zacznij tutaj
  • Newsletter
  • Kontakt

Czemu badania o finansach Polaków muszą być tak złe? Raport Money.pl to jakaś porażka

31 października 2012 7 komentarzy

złe badania

Dziś będę się czepiał. Ale konstruktywnie! A ten wpis to w ogóle rarytas, bo bardzo rzadko łączę moje blogowe życie z życiem zawodowym.

Może już wiecie, a może jeszcze nie, ale od kilku lat pracuję w badaniach społecznych, badaniach opinii, badaniach rynku. Zwał jak zwał.

Dlatego też za każdym razem, gdy trafia się badanie dotyczące bezpośrednio moich zainteresowań (finanse, oszczędzanie, banki), to cieszę się podwójnie. Z jednej strony mogę wtedy głębiej przeanalizować wyniki (i wyciągnąć z nich coś ciekawego dla czytelników Metafinansów), a z drugiej strony dowiem się czegoś nowego na temat, który mnie interesuje.

Niestety głębsza analiza raportu Money.pl „Jak Polacy oszczędzają?” odkrywa tylko kolejne błędy w sztuce badawczej, przez co wartość poznawcza tego badania jest praktycznie żadna.

Rozprawmy się z tymi błędami po kolei. Sam raport w całości znajdziesz tutaj.

Strike one!

Brakuje najbardziej podstawowej informacji

Raport ma dotyczyć oszczędności Polaków, a wszystkie pytania zostały podpisane jako zadane „tym, którzy oszczędzają”.

Ok, tylko kto to konkretnie jest? Czy to osoby, które oszczędzają regularnie, miesiąc w miesiąc? A może tacy, którzy oszczędzają od czasu do czasu, jak im coś zostanie na koniec miesiąca? Czy może chodzi o takie osoby, które zadeklarowały, że posiadają jakiekolwiek oszczędności (choć może nie dokładały do tej kwoty już nic od kilku miesięcy czy lat)?

Gdy ktoś chce mi opowiedzieć o tym „jak oszczędzają Polacy”, to ja właśnie tego chce się dowiedzieć: jak? Jak często odkładają? Na początku miesiąca, na końcu? Regularnie, czy od czasu do czasu? Odkładają często małe kwoty, czy rzadziej, ale większe sumy? No i przede wszystkim: jaki odsetek Polaków w ogóle oszczędza?

Informacja o tym jak zostało zadane takie pytanie filtrujące po prostu musi znaleźć się w raporcie z badań. To absolutna podstawa do tego, by móc potem interpretować kolejne wyniki.

To nie koniec! Money.pl wprawdzie podaje na koniec informację o tym, że badanie przeprowadzono na próbie 4129 użytkowników swojego portalu… ale chwila! – chyba nie każdy z nich oszczędza? Trzeba było im zadać to nieszczęsne pytanie o oszczędzanie. Więc ile osób z tych ponad-4000 odkłada jakieś pieniądze? 10%, 20%, 30%? Nie wiadomo.

Nie wiemy więc, ile jest „oszczędzających”. A co za tym idzie, nie wiemy ile osób tak naprawdę odpowiadało na właściwie pytania z raportu: 300, 500, 1000? Tak na dobrą sprawę, to nie wiadomo nawet czy oni w ogóle zadali takie pytanie o oszczędzanie, czy może arbitralnie założyli, że czytelnicy portalu na pewno oszczędzają i przepytali wszystkich jak leci.

To istotnie ogranicza (jeżeli nie całkowicie wyklucza) możliwość interpretacji wyników.

Strike two!

Przeinaczenia i robienie z raportu czegoś, czym nie jest

To w zasadzie detal, ale irytujący. Raport nosi tytuł „Jak Polacy oszczędzają?”. Widząc link do raportu od razu pomyślałem „O, fajnie! Zrobili pewnie jakieś ciekawe badanie na ogólnopolskiej próbie reprezentatywnej i może mają ciekawe wnioski!”. Tylko, że nie.

Badanie zostało przeprowadzone na użytkownikach Money.pl. Jakoś mi się to nie spina z domniemaniem, że chodzi o wszystkich Polaków. Później jest już trochę lepiej, bo w opisie wyników piszą o „ankietowanych”, „czytelnikach portalu” itp., ale mylne wrażenie pozostaje.

Strike three, aaaaaand you’re out!

Głupio zadawane pytania

Projektowanie badań to w dużej mierze sztuka właściwego zadawania i konstruowania pytań. Z tego zadania redakcja Money.pl niestety nie wywiązała się dobrze.

Gdybym zadał Ci pytanie „gdzie trzymasz swoje oszczędności?”, to jak odpowiesz? Pewnie powiesz mi, że część trzymasz na koncie oszczędnościowym, masz kilka lokat, zapas gotówki na ROR i lepiej lub gorzej inwestujesz na giełdzie. Albo podasz mi jakąś inną kombinację różnych instrumentów finansowych. Lub wprost powiesz, że to nie mój interes ;).

A jak odpowiadali badani z raportu Money.pl?

klik powiększa

Mieli tylko jedną opcję do wyboru! Nie wierzę!

Nie widać tego na pierwszy rzut oka, a w raporcie w ogóle o tym nie piszą. Ale jeżeli przyjrzeć się wykresowi (obrazek powyżej, kliknij by zobaczyć całość), to widać, że słupki z poszczególnych odpowiedzi sumują się do 100% (lub prawie do 100%, pewnie mieli jakieś braki danych). To niemal jednoznacznie wskazuje, że mamy przed sobą pytanie jednowyborowe.

To jest naprawdę duży, rażący błąd. Tym bardziej, że osoba opracowująca raport wyciąga z tych danych kuriozalny wniosek, że „dwie trzecie z oszczędzających trzyma oszczędności w bankach”. Jak on do tego doszedł? Zwyczajnie zsumował sobie słupki z „kontami oszczędnościowymi”, „lokatami” i „RORem” – wyszło mu 65% i jest wniosek do raportu.

Tylko, że to ekstremalna nieodpowiedzialność, bo całkowicie eliminuje sytuacje, w których jedna osoba jednocześnie ma np. konto ROR i konto oszczędnościowe (a nawet na intuicję wiadomo, że niemal każdy klient, który ma w banku konto oszczędnościowe, ma też ROR). Raport Money.pl w ogóle nie bierze pod uwagę, że istnieje taka część wspólna! Wszystkie odpowiedzi w ich pytaniu są rozłączne.

Po takich trzech poważnych błędach raportu nie warto czytać dalej.

Po co w ogóle o tym piszę?

Lubię robić badania, pisać raporty, podpatrywać jak to robią inne firmy. Cieszę się, gdy widzę, jak wnioski z badań realnie wpływają na strategie klientów i dają cenne insighty. Świetnie jest też pochwalić się w mediach fajnymi danymi. Za to ekstremalnie nie lubię, gdy badania rynku kojarzone są z manipulacją, wprowadzaniem w błąd, brakiem rzetelności czy niestarannością. A tak się czasem niestety dzieje (punkt kulminacyjny – przed którymikolwiek wyborami).

Mam wrażenie, że takie byle-jakie „raporty” nadwerężają żmudnie budowane zaufanie do badań. Ktoś pewnie powie, że nie ma się czym przejmować: zwykła ankieta na stronie, każdy bloger może sobie taką strzelić i opisać. Tyle, że tutaj ta ankieta jest uwiarygadniana marką dużego portalu finansowego (Money.pl – zrobili z tego raport, feature na dwie strony i „serwis specjalny”) i wiodącego banku (cały raport jest obrandowany znakiem sponsora – mBanku). Kurczę, trochę głupio.

Podsumowując, do każdego badania i do każdych przedstawianych danych trzeba podchodzić krytycznie. Trzeba stawiać pytania, trzeba się zastanawiać, czy sposób prowadzenia ankiety w ogóle miał sens. Wierzę, że dzięki takiemu krytycznemu myśleniu badania będą lepsze i będą dostarczać odbiorcom rzetelnych i cennych informacji.

A, jeszcze jedno! Jeżeli czyta to ktoś z portalu informacyjnego, banku, czy jakiejkolwiek innej firmy lub instytucji, która poważnie myśli o badaniach – to błagam, nie zlecajcie ich amatorom (ani nie podpisujcie się pod ich raportami)! Zaufajcie specjalistom, a do Waszych badań nikt nie będzie mógł się przyczepić.

Opublikowano 31 października 2012. Fot. Thomas Hawk.

Podobał Ci się ten artykuł?

Zapisz się na newsletter aby otrzymywać dodatkowe materiały i nowe artykuły na swój email. Żadnego spamu.

Na początek dostaniesz ode mnie:

- szablon budżetu domowego w Excelu
- przydatne arkusze Excel do obliczania m.in. własnego wskaźnika inflacji czy oszczędności z przesiadki z samochodu na rower
- wzory wniosków o zamknięcie konta w popularnych polskich bankach

Zapisz się — wystarczy email:

Zobacz przykładowy email

Reader Interactions

Komentarze

  1. xxx napisał

    31 października 2012 o 09:26

    rzeczywiście… trochę mało rzetelny ten raport…

    Odpowiedz
    • Krzysztof Sobolewski napisał

      31 października 2012 o 09:54

      No, pojechali po całości ;). Strasznie żałuję, bo to ciekawy temat i na Światowy Dzień Oszczędzania (to dziś!) można było przygotować interesujące badanie, napisać raport i pochwalić się fajnymi danymi.

      Tymczasem poszli po najmniejszej linii oporu.

      Odpowiedz
      • Andrzej Otrebski napisał

        25 listopada 2012 o 16:49

        Mam wrażenie, że większość publikacji szumnie nazywanych „raportami” tworzona jest na podstawie prostej ankiety umieszczonej gdzieś na stronie. Publikacja na poziomie testu dla gimnazjalistów sprawdzającego umiejętność „czytania” wykresów.

  2. Michal Szafranski napisał

    31 października 2012 o 17:12

    Krzysztof,

    Trafiłeś w sedno. Sam się zastanawiałem czy nie warto tego opisać i bardzo się cieszę, że mnie wyręczyłeś. Najgorsze w tym wszystkim jest to, że raport po prostu wprowadza w błąd i wypacza rzeczywistość. A już widziałem inne artykuły, które się na niego powołują…

    Dawno nie widziałem tak intensywnego malowania trawy na zielono.

    Pozdrawiam serdecznie i zalecam szybkie zapomnienie o tym, że coś takiego jak raport Money.pl miało miejsce.

    Odpowiedz
    • Krzysztof Sobolewski napisał

      31 października 2012 o 17:24

      Cześć Michał, dzięki za komentarz!

      Cóż mogę dodać… ja się obawiam, że takiej wpadki im jednak szybko nie zapomnę ;).

      Odpowiedz
  3. Kuba napisał

    6 listopada 2012 o 16:39

    Słyszeliście o narzędziu analitycznym do analizy rynków finansowych – ATool? http://biznestrend.pl/artykuly/837/Narzedzie-dla-analitykow-technicznych kolega to testuje obecnie i mnie właśnie namawia żebym też się przełamał ;)

    Odpowiedz
    • Krzysztof Sobolewski napisał

      6 listopada 2012 o 20:21

      Piotr Baron z Investio czasem tu wpada, on na pewno by Cię przekonał ;)

      Odpowiedz

Dołącz do dyskusji Cancel reply

Pierwszy Sidebar

zdjęcie autora

Cześć! Jestem Krzysztof.

Prowadzę Metafinanse od 2009 roku i pokazuję tu jak oszczędzać pieniądze, zarządzać domowym budżetem i wychodzić z długów.

Metafinanse zostały docenione przez magazyn Press jako „jeden z tych blogów, które naprawdę dostarczają praktycznej pomocy w finansach osobistych” oraz serwis Bankier.pl, według którego Metafinanse to „znakomite miejsce dla osób, które chcą zacząć efektywnie oszczędzać, lepiej monitorować swoje wydatki czy rozpocząć przygodę ze światem inwestycji”.

Jeśli szukasz pomocy w osiągnięciu równowagi finansowej, to jesteś w dobrym miejscu.

Zostań swoim własnym doradcą finansowym — za darmo

Już 1 601 osób wzięło sprawy w swoje ręce i polepsza własną sytuację finansową korzystając z:

- szablonu budżetu domowego w Excelu
- rocznego planu finansowego
- arkuszy Excel do obliczania własnego wskaźnika inflacji i oszczędności z przesiadki z samochodu na rower
- wzorów wniosków o zamknięcie konta w popularnych polskich bankach
- nowych porad z bloga

Zapisz się i otrzymaj materiały, które pomogą ci zadbać o własne finanse:

Nigdy nie wysyłam spamu! → Zobacz przykładowy newsletter

Dołącz do społeczności

→ Twitter (749)

→ Facebook (2503)

→ Instagram

→ Pinterest

→ RSS

Szanuję Twoją prywatność

Na Metafinansach nie zbieram żadnych danych o użytkownikach -- poza natywnymi statystykami odwiedzin WordPressa. Te gromadzone są jedynie w zagregowanej formie i nie pozwalają na przypisanie żadnych danych do konkretnych Czytelników.

Mój newsletter nie zawiera kodów śledzących i nie zbiera informacji o tym, czy otwierasz maile ode mnie i czy kilkasz w moje linki.

Polityka prywatności i cookies

Nota prawna

Treści zawarte w blogu są wyłącznie wyrazem osobistych poglądów autora i nie stanowią "rekomendacji" w rozumieniu przepisów Rozporządzenia Ministra Finansów z dnia 19 października 2005 r. w sprawie informacji stanowiących rekomendacje dotyczące instrumentów finansowych, lub ich emitentów (Dz. U. z 2005 r. Nr 206, poz. 1715).

Copyright © 2021 Krzysztof Sobolewski