Zur Erhebung der Evaluationskapazitäten im Bereich der Extremismusprävention, Demokratieförderung und politischen Bildung in Deutschland führte das Institut für interdisziplinäre Konflikt- und Gewaltforschung (IKG) in 2023 eine bundesweite Befragung durch. Aufbauend auf einer ersten Erhebungswelle (2020/2021) standen vor allem aktuelle Herausforderungen und die Vertiefung spezifischer Evaluationsbedarfe im Vordergrund der Befragung.
Um auch Veränderungen in der Evaluationslandschaft besser nachzeichnen zu können, wurden bereits in der ersten Erhebungswelle Interviewte in die aktuelle Befragung einbezogen.
Die Identifizierung der Evaluationsakteure erfolgte hierbei entlang von Bundes- und Landesprogrammen bis hinab in die kommunale Ebene. Hierzu wurden einerseits ausführliche On- und Offlinerecherchen durchgeführt, aber auch wichtige Gatekeeper (wie z. B. Landes-Demokratiezentren) und andere Stakeholder in die Identifizierungsphase einbezogen. Vervollständigt wurde der Datenpool durch Rückmeldungen aus Bedarfserhebungen, die in Zusammenarbeit mit dem Kompetenznetzwerk Islamistischer Extremismus (KN:IX) und dem Kompetenznetzwerk Rechtsextremismusprävention (KompRex) in der ersten PrEval-Projektphase durchgeführt wurden. Zusätzlich konnten mithilfe der im Rahmen des MAPEX-Forschungsprojekts gewonnenen Daten weitere selbstevaluierende Präventionsakteure identifiziert und in die Erhebung einbezogen werden. Zusätzliche Akteure wurden für die aktuellen Erhebung über (automatisierte) Webscraping-Verfahren und weitere On- und Offlinerecherchen identifiziert.
Hinsichtlich der Auswahlkriterien ergaben sich folgende Unterschiede in Bezug auf die Auswahl der Fremd- und Selbstevaluationsakteure:
Hier wurde eine möglichst vollständige Erhebung fremdevaluierender Einrichtungen im Bereich der Extremismusprävention, Demokratieförderung und politischen Bildung in Deutschland angestrebt.
Nicht in den Blick genommen wurden selbstständig tätige Einzelpersonen bzw. Freiberufler:innen oder Beratungsunternehmen, die eher im Sinn einer Unternehmensberatung Geschäftsprozesse o. ä. evaluieren oder in diesem Rahmen beraten.
Insgesamt konnten 83 Einrichtungen im Bereich der Fremdevaluation identifiziert werden.
Einbezogen wurden hier unter anderem die bereits in der ersten Erhebungsphase 2020/2021 befragten Projektträger:
Aufgrund der begrenzten Laufzeit des PrEval-Projekts konnte im Bereich der Selbstevaluation keine Zufallsstichprobe über die gesamte Trägerlandschaft in Deutschland gezogen werden. Bei den ausgewählten Einrichtungen war also größtenteils bekannt, dass diese bereits eine Selbstevaluation bzw. interne Evaluation durchgeführt hatten.
Insgesamt konnten im Bereich der Selbstevaluation 200 Einrichtungen identifiziert werden.
Die Datenerhebung erstreckte sich von März bis Oktober 2023. Für die Bereiche der Fremd- und Selbstevaluation wurde eine auf den jeweiligen Kontext angepasste Version eines gemeinsamen Basisfragebogens verwendet.
Der Erhebungsphase ging eine Pretest-Phase voraus, um ggf. weitere Evaluationsbedarfe zu identifizieren, die Erhebungsdimensionen anzupassen und den Fragebogen auf Verständlichkeit und statistische Eignung hin zu überprüfen.
Die Erhebung erfolgte zweistufig. Im ersten Teil wurden die Evaluationsakteure eingeladen, an einer Onlinebefragung teilzunehmen. Im zweiten Schritt wurden nachgelagerte qualitative Telefoninterviews zur Vertiefung spezifischer Themen durchgeführt.
Zu den Erhebungskategorien zählten unter anderem die:
Insgesamt wurden über 35 verschiedene Kategorien abgefragt. Die Interviews wurden von den Projektmitarbeiter:innen des IKG durchgeführt.
Um den Fragebogen zu erstellen, wurde auf die Open-Source-Umfrage-Software LimeSurvey zurückgegriffen. Dadurch konnten die Antworten aus der Onlinebefragung während des nachgelagerten Telefoninterviews direkt über eine grafische Benutzeroberfläche vervollständigt und in der Umfragedatenbank aktualisiert werden. Die Umfragedatenbank lieferte anschließend die Grundlage für die digitale Plattform zur Visualisierung der Forschungsdaten.