PrEval-Plattform

Das nachfolgend dargestellte methodische Vorgehen bezieht sich auf die bundesweite Befragung aus den Jahren 2020/2021. Das neue Vorgehen wird nach der neuen Befragungsphase und Aktualisierung der PrEval-Plattform aktualisiert (voraussichtlich im Herbst 2023).

Methodisches Vorgehen

Zur Erhebung der Evaluationskapazitäten in Deutschland führte das Institut für interdisziplinäre Konflikt- und Gewaltforschung (IKG) eine bundesweite telefonische Befragung mit Evaluationsakteuren durch. Bei der Bestandsaufnahme standen vor allem drei Fragen im Mittelpunkt:

Wer führt Evaluationen durch (z.B. universitäre oder außeruniversitäre Forschungseinrichtungen, gewinnorientierte Unternehmen etc.)?
Wie werden diese Evaluationen durchgeführt?
Anhand welcher Methoden, Kriterien, Ansätze und Evaluationsformen? Aber auch welche Ressourcen stehen zur Verfügung?
Was wird evaluiert?
Projekte und Maßnahmen, Programme, ganze Organisationen oder Träger?

Im ersten Schritt erfolgte dabei die Identifizierung und Erfassung der Evaluationsakteure entlang von Bundes- und Landesprogrammen bis hinab in die kommunale Ebene. Hierzu wurden einerseits ausführliche On- und Offlinerecherchen durchgeführt, aber auch wichtige Gatekeeper (wie z.B. Landes-Demokratiezentren) und andere Stakeholder und Quellen in die Identifizierungsphase einbezogen. Vervollständigt wurde der Datenpool zudem durch Rückmeldungen aus den Bedarfserhebungen, die im Rahmen von PrEval in Zusammenarbeit mit dem Kompetenznetzwerk Islamistischer Extremismus (KN:IX) und dem Kompetenznetzwerk Rechtsextremismusprävention (KompRex) durchgeführt wurden. Zusätzlich konnten mithilfe der im Rahmen von MAPEX gewonnenen Daten weitere selbstevaluierende Präventionsakteure identifiziert und in die Erhebung einbezogen werden.

Auswahlkriterien

Hinsichtlich der Auswahlkriterien ergaben sich folgende Unterschiede in Bezug auf die Auswahl der Fremd- und Selbstevaluationsakteure:

Fremdevaluation

Hier wurde eine möglichst vollständige Erhebung fremdevaluierender Einrichtungen im Bereich der Extremismusprävention sowie den Schnittstellen zur politischen Bildung in Deutschland angestrebt.
Nicht in den Blick genommen wurden dabei selbstständig tätige Einzelpersonen bzw. Freiberufler:innen oder Beratungsunternehmen, die eher im Sinn einer Unternehmensberatung Geschäftsprozesse o. ä. evaluieren oder in diesem Rahmen beraten.

Insgesamt konnten hier 90 Einrichtungen identifiziert werden, die den oben genannten Aufnahmekriterien entsprechen.

Selbstevaluation

Ausgewählt wurden:

Träger anhand von Rückmeldungen aus den Bedarfserhebungen
im MAPEX-Datensatz enthaltene Träger,
- die angegeben hatten, bereits eine Selbstevaluation durchgeführt zu haben und in mindestens einem der Phänomenbereiche des islamistischen Extremismus, Rechtsextremismus oder Linksextremismus tätig waren.
- Differenziert wurde hier auch anhand der Reichweite einzelner Angebote (von online, deutschlandweit, bundeslandweit, kommunal bis hin zu in einer Stadt / einem Stadtteil tätigen Projekten bzw. Maßnahmen), um eine möglichst breite Abdeckung zu erreichen.
Nicht berücksichtig wurden Einzelprojekte oder Maßnahmen, außer wenn diese in Form einer Fach- oder Beratungsstelle auftraten.
Einrichtungen, die im Interview angaben, nur interne Fremdevaluationen durchzuführen, wurden der Selbstevaluation zugerechnet, da sich die Akteurs- und Evaluationsebenen hier nicht eindeutig abgrenzen ließen. Diese Akteure waren dadurch eher im Bereich der Selbstevaluation zu verorten.

Aufgrund der kurzen Laufzeit des PrEval-Projekts konnte im Bereich der Selbstevaluation bzw. internen Evaluation keine Zufallsstichprobe über die gesamte Trägerlandschaft gezogen werden, so dass hier auf die drei oben genannten internen Datensätze zurückgegriffen wurde. Bei den so ausgewählten Trägern war dann jeweils bekannt, dass diese bereits eine Selbstevaluation bzw. interne Evaluation durchgeführt hatten.

Insgesamt konnten im Bereich der Selbstevaluation 183 Einrichtungen identifiziert werden.

Datenbasis

Von den insgesamt 273 erfassten Einrichtungen im Bereich der Fremd- und Selbstevaluation konnten

104 Einrichtungen (38 %) für ein Interview gewonnen werden, davon 37 (36 %) im Bereich der Fremdevaluation und 67 (64 %) im Bereich der Selbstevaluation.
Bei 77 Einrichtungen (28 %) stellte sich im Anbahnungsgespräch heraus, dass keine (Selbst-)Evaluationen im eigentlichen Sinn, keine Evaluationen in den von PrEval untersuchten Bereichen oder bisher überhaupt keine Evaluationen durchgeführt wurden.
Bei 48 Einrichtungen (18 %) kam kein Kontakt zustande, konnte ein bereits vereinbarter Interviewtermin nicht mehr realisiert werden, gab es die Einrichtung nicht mehr oder es haben sonstige Gründe das Zustandekommen eines Interviews verhindert.
Bei 44 Einrichtungen (16 %) war eine Interviewteilnahme aus Zeit- bzw. Ressourcenmangel nicht möglich bzw. wurde diese explizit abgelehnt.

Erhebung und Feldphase

Die Datenerhebung erstreckte sich von September 2020 bis Juni 2021 mit einigen nachgelagerten Interviews, sofern im Haupterhebungszeitraum kein Interviewtermin gefunden werden konnte. Der Erhebungsphase ging ein Standard-Pretest voraus, um den Fragebogen auf Verständlichkeit und statistische Eignung hin zu überprüfen und im Anschluss daran für die Haupterhebung zu überarbeiten.

Die Interviews wurden jeweils von den Projektmitarbeiter:innen am IKG durchgeführt. Im Schnitt waren fünf Kontaktversuche erforderlich, bevor ein Interview durchgeführt werden konnte. Die durchschnittliche Interviewdauer betrug 59 Minuten, mit einem Maximum von 166 und einem Minimum von 25 Minuten. Die lange durchschnittliche Interviewdauer unterstreicht auch noch einmal den Gesprächs- und Austauschbedarf, der sowohl von den Trägern als auch den evaluierenden Einrichtungen ausging. Zu den Schwerpunkten des Fragebogens zählte die Erhebung

der Evaluationsakteure,
der Auftraggeber,
der angewandten Evaluationsmethoden, -ansätze und -formen,
der Qualifikationen der Evaluierenden,
der Erfolgskriterien und Ziele von Evaluationen,
der evaluierten Arbeitsbereiche und Präventionsebenen,
von Herausforderungen, Evaluations- und Forschungsbedarfen aus Sicht der Evaluierenden,
von Verbesserungspotenzialen in der Zusammenarbeit mit Mittelgebern bzw. evaluierten Einrichtungen und Projekten,
aber auch der positiven Entwicklungen der letzten Jahre im Bereich der Evaluation.

Insgesamt wurden 30 verschiedene Kategorien abgefragt.