Praktyki sondażowe na świecie i w Polsce: dokumentacja, reprezentatywność, preferencja techniki

Abstract

Badania sondażowe znalazły się w historycznie szczególnej sytuacji. Z jednej strony obserwujemy ich ilościowy rozwój, a kolejne programy obejmują coraz bardziej odległe zakątki świata. Z drugiej strony można dostrzec podwójny kryzys. Po pierwsze badania oparte na Big Data oferują analizy o coraz wyższej jakości, które mogą stanowić w pewnych obszarach alternatywę dla sondaży. Po drugie pandemia COVID-19 wywołała kryzys w przeprowadzaniu badań sondażowych, znacząco ograniczając stosowanie zdecydowanie dominującej w obszarze społeczno-naukowym techniki wywiadu kwestionariuszowego. W krótkim okresie uniemożliwiło to realizację wywiadów w domu respondentów, a w dłuższej perspektywie poważnie osłabiło funkcjonowanie sieci ankieterskich. Ta sytuacja spowodowała przyspieszenie wdrażania alternatywnych technik – nawet instytucje silnie przywiązane do wywiadu kwestionariuszowego zmieniły swoje podejście. Zasygnalizowany problem sugeruje zasadność podjęcia refleksji metodologicznej i dokonania podsumowujących analiz, które mogą lepiej ukierunkować przyszły rozwój badań sondażowych. Podstawą mojej pracy doktorskiej jest seria czterech publikacji. Dwie pierwsze były wynikiem inwentaryzacji praktyk sondażowych z programów porównawczych, które obejmowały wszystkie zamieszkane kontynenty i zostały przeprowadzone w ciągu ostatnich 65 lat. Omawiają one praktyki dokumentacyjne, a także prezentują analizy wpływu charakterystyk sondaży na reprezentatywność. Dwie kolejne prace dotyczą problematyki preferencji techniki sondażu, jedna z nich ma charakter teoretyczny, a druga bazuje na dwóch badaniach przeprowadzonych w Polsce. Choć dwie pierwsze prace nie omawiają explicite tematyki zróżnicowania praktyk sondażowych na świecie, to jednak ich inwentaryzacja była warunkiem sine qua non przeprowadzenia analiz, dlatego temat ten znalazł swoje miejsce w poprzedzającym publikacje autoreferacie. Publikacja 1 łączy opis zmiennych dotyczących kompletności dokumentacji metodologicznej sondaży z programów porównawczych z jakościową oceną formy raportów i refleksją nad kierunkami ewentualnej standaryzacji tych dokumentów. Publikacja 2 używa modeli metaregresji, by ocenić wpływ charakterystyk (operatu, techniki, programu, doświadczenia instytucjonalnego) badań na ich reprezentatywność mierzoną za pomocą kryterium wewnętrznego, opartego wyłącznie na strukturze próby. Publikacja 3 ma charakter teoretyczny i poświęcona została próbie integracji hipotezy o preferencji techniki sondażu z kognitywistycznym modelem pamięci roboczej. Publikacja 4 natomiast wykorzystuje model wielomianowej regresji logistycznej, bazującej na pochodzących od polskich respondentów danych na temat preferencji techniki do zbadania czynników kształtujących jej zróżnicowanie. Najistotniejszymi wnioskami z całości analiz wydają się następujące kwestie: 1) Potrzeba wypracowania jednolitego standardu dokumentacji metodologicznej pozwalającego na automatyzację procesu zbierania danych metodologicznych. 2) Znaczenie dostępności operatu imiennego w sytuacji stopniowego odchodzenia od wywiadów kwestionariuszowych. 3) Potencjał sondaży mixed-mode do uzyskiwania prób o satysfakcjonującym poziomie reprezentatywności. 4) Zasadność badania źródeł i korelatów preferencji techniki sondażu w celu tworzenia modeli predykcyjnych pozwalających na planowanie przyszłych badań mixedmode w schemacie równoległym w poszczególnych krajach.

Survey research is facing a historically unprecedented situation. On the one hand, quantitative growth continues, and additional programs cover more and more distant corners of the world. On the other hand, a double crisis can be attested. Research based on Big Data offers analyses of increasingly better quality and can potentially push surveys out from some areas. The Covid-19 pandemic caused a crisis in conducting research in face-to-face mode, which is dominant in the social and academic sphere – both making it impossible in the short term and threatening the existence of interviewer networks in the long term. This has accelerated the implementation of alternative modes – even institutions strongly attached to face-to-face, such as the European Social Survey or the Centre for Public Opinion Research (PL), have changed their approach. This suggests the relevance of looking back and making summary analyses to better guide future developments. My thesis is based on a series of four articles. The first two were the result of an inventory of survey practices from comparative programs carried out in the last 65 years. The data covers all inhabited continents. The first article uses the whole dataset to discuss documentation practices. The second deals with the impact of survey characteristics on the representativeness and uses a selected part of the dataset. Two other papers concern the issue of mode preference, the first in a theoretical way, and the other is based on two surveys conducted in Poland. These surveys are covered by the inventory. Papers do not explicitly discuss the subject of survey practices, but because their examination was a necessary condition for conducting analyses – this topic found its place in the self-report preceding the publications. The first publication combines a quantitative analysis of the completeness of survey methodological reports with a qualitative assessment of their form and a reflection on the possible standardization of these documents. The second publication uses three-level crossnested metaregression models to assess the impact of the survey characteristics (frame, mode, program, institutional experience) on their representativeness, measured by internal criteria based solely on the sample structure. The third publication is theoretical and concerns an attempt to integrate the hypothesis of mode preference with the cognitive model of working memory. The fourth publication contains a model of multinomial logistic regression based on declarative and behavioral data on mode preference of Polish respondents. The most important conclusions from the entire analysis are the following issues. 1) The need to create a uniform standard of methodological documentation with fixed headings, which would enable the automation of collecting methodological data. 2) The key importance of the availability of an individual sampling frame in the situation of departure from face-to-face surveys. 3) High potential of mixed-mode surveys to obtain robust sample representativeness. 4) Importance of studying local and global predictors of mode preference to create predictive models for planning future parallel mixed-mode surveys.