Von
5. März 2020
Das FOKUS-Aargau-Mixed-Mode-Umfrageexperiment
Die Umfrageforschung bewegt sich heutzutage immer stärker in Richtung online. Das liegt nicht nur an den tieferen Kosten von web-basierten Umfragen, sondern auch an der effizienteren Aufbereitung von Daten und Berichterstattung. Daten und Elemente der Berichterstattung wie Tabellen und Grafiken sind dank digitaler Verarbeitung direkt integrier- und wiederverwendbar. Erfahrungen in der Schweiz mit Online-Umfragen zeigen gute Rücklaufquoten. Über die Qualität von Stichproben bei Online-Befragungen im Vergleich zu Lösungen auf Papier mit Postversand ist jedoch relativ wenig bekannt. Anlässlich der Parlamentswahlen vom Oktober 2019 in der Schweiz hat das Team von FOKUS Aargau am ZDA deshalb ein Experiment durchgeführt, in dem untersucht wurde, wie sich die Rücklaufquote sowie die Qualität der Stichprobe bei einer Online- gegenüber einer Offline-Umfrage unterscheidet. Basierend auf dem offiziellen Adressregister erhielten 10’000 zufällig ausgewählte Schweizer Bürgerinnen und Bürger des Kantons Aargau ein Einladungsschreiben mit der Bitte, an der Umfrage teilzunehmen. Während die Hälfte der Stichprobe eine Papierversion erhielt und die Möglichkeit hatte, ihren jeweiligen Fragebogen mittels eines frankierten Umschlags per Post einzureichen, wurde die andere Hälfte nur mit einem Link (oder QR-Code) auf die Adresse der Online-Umfrage hingewiesen.
Resultate
In dieser Studie betrachten wir drei Kriterien, worin sich online von auf Papier ausgefüllten Fragebogen unterscheiden könnten:
Der Unterschied in der Rücklaufquote zwischen den beiden Modi ist nicht sehr stark ausgeprägt (mit nur leichten Vorteilen für die gedruckte Variante), und man könnte versucht sein, den Schluss zu ziehen, dass der Papiermodus mehr oder weniger veraltet ist. Die Rücklaufquote ist jedoch nicht das einzige Kriterium für die Bewertung der Qualität einer Stichprobe.
Hinsichtlich Repräsentativität ergänzen sich die beiden Unterstichproben in der Tendenz deutlich. Die Stichprobe mit der Mail-In-Option ist repräsentativer für das Geschlecht, ältere Altersgruppen und Personen mit einem niedrigeren formalen Bildungsniveau. Bei der Online-Stichprobe ist das Muster umgekehrt. Insgesamt ergab die Kombination beider Modi eindeutig die repräsentativste Stichprobe. Die auffälligsten Unterschiede zwischen den Antwortmodi der Befragten zeigen sich vorderhand, wenn man die politischen Präferenzen betrachtet. Bei einer Mail-in-Umfrage tendieren die Befragten stärker dazu, sich mit der SVP zu identifizieren, während die Befragten im Online-Modus häufiger für linke politische Parteien stimmen. Sobald in einem multi-variaten Modell zur Kontrolle weitere Variablen hinzugezogen werden, verschwinden die parteibasierten Unterschiede jedoch nahezu und zeigen ein Muster der digitalen Spaltung auf, z. B. bevorzugen Befragte, die eine landesweite Generalisierung von E-Voting befürworten, eher den Online-Umfragemodus. Zusammenfassend und in Übereinstimmung mit anderen Studien finden wir, dass der Ausschluss von Antwortenden, welche den Print-Fragebogen bevorzugen, signifikante Verzerrungen erzeugen würde, während die Einbeziehung dieser Personen in die Stichprobe die Repräsentativität der Umfrage deutlich verbessert.
Die Nichtbeantwortung von Fragen als letztes der drei Qualitätskriterien im Vergleich zwischen den beiden Erhebungsmodi zeigte starke Unterschiede. Mit einer mageren Ausfüllungsrate von 52 Prozent schneidet die Papierversion bei dieser Umfrage deutlich schlechter ab als der Online-Modus (84 % komplett ausgefüllte Fragebogen). Die automatische Führung durch den Fragebogen sowie die Hinweise, im Fall eine Frage nicht beantwortet wurde, resultieren bei der Online-Version offensichtlich in deutlich vollständiger ausgefüllten Interviews.
Das Special als PDF-Datei (in Englisch):
