Wirkung messen: Ziele formulieren und Kennzahlen bestimmen

Vorgehen

Bestimmen Sie Wirkungsziele und Kennzahlen bereits bei der Planung eines digitalen Angebots oder bei der Planung der Weiterentwicklung. Wirkung entsteht durch Entscheidungen im gesamten Entwicklungsprozess. Es ist sinnvoll, Personen einzubeziehen, die unterschiedliche Perspektiven auf das digitale Angebot haben, damit fachliche, praktische und datenbasierte Sichtweisen in die Wirkungsziele einfließen.

Personen dieser Disziplinen können helfen

• Fachreferenten und Fachreferentinnen
• Sachbearbeiter und Sachbearbeiterinnen
• Daten-Analysten und Daten-Analystinnen
• Nutzende bzw. Ergebnisse aus Nutzerforschung
• bei Bedarf externe Wissenschaft wie Sozialforschung

Nutzen Sie vorhandene Informationen, zum Beispiel

• Ziele der Leistung oder des Gesetzgebers
• Erkenntnisse aus Nutzerforschung
• aktuelle Daten aus Verfahren, Support oder Monitoring

Unterschied zwischen Outcome und Impact verstehen

Ziele für Wirkung werden in zwei Arten von Zielen unterteilt. Beide bauen aufeinander auf: Veränderungen für die Nutzergruppe bilden die Grundlage für langfristige gesellschaftliche Wirkung.

Wirkung für die Nutzergruppe (Outcome)

Die Wirkung für die Nutzergruppe ergibt sich aus der Betrachtung des aktuellen Verhaltens der Nutzergruppe und Annahmen, wie sie sich in Zukunft verhalten wird. Sie zeigt sich

• direkt
• relativ früh
• nah am digitalen Angebot
• in konkreten Veränderungen für eine klar benannte Nutzergruppe

Wirkung auf gesellschaftlicher oder systemischer Ebene (Impact)

Die gesellschaftliche Wirkung zeigt sich in Veränderungen, die oft erst später sichtbar werden. Um ein Ziel zu bestimmen, hilft es, die Ziele des Gesetzgebers im Zusammenhang mit dem digitalen Angebot oder der Leistung anzuschauen. Sie können ein Ziel auch übernehmen, wenn das Ziel passt.

Sie zeigt sich

• zeitlich versetzt
• indirekt
• auf der Ebene von Gesellschaft oder System

Die vier Kernelemente eines Wirkungsziels verstehen

Die vier Kernelemente gelten für beide Zielarten. Die Struktur ist gleich, nur die Inhalte unterscheiden sich.

Ein Wirkungsziel besteht aus vier Elementen:

Zielzustand: Sie beschreiben eindeutig einen zukünftigen, aber realistischen Zustand.

Nutzergruppe:

• Sie definieren eine Veränderung für die Nutzergruppe Ihres digitalen Angebots
• Sie definieren eine Veränderung bei gesellschaftlicher Wirkung für eine gesellschaftliche Gruppe oder ein System

Zeit: Sie benennen ein konkretes Datum, bis wann der Zielzustand eingetreten sein soll.

Zielprüfung: Sie machen die Ziele mit Kennzahlen messbar.

Beispiele für Wirkungsziele

Beispiel für ein Ziel für die Nutzergruppe (Outcome)

• Im Jahr 2028 sagen 80% der Anmelde-Dienstleister (Autohäuser und Agenturen), dass sie mit dem Service zur Anmeldung eines KfZ zufrieden oder sehr zufrieden sind.

Beispiel für ein Ziel auf gesellschaftlicher oder systemischer Ebene (Impact)

• Im Jahr 2030 sagen 60 % der Gewerbetreibenden, dass sie mehr Zeit für ihr Kerngeschäft haben, da der Verwaltungsaufwand spürbar gesunken ist.

Ziel für die Nutzergruppe ableiten (Outcome)

Beantworten Sie folgende Frage:
Wodurch verbessert das digitale Angebot das Leben/die Situation für die Nutzenden?

Dafür müssen Sie wissen

• wer die Nutzenden des Services sind
• wie das Leben/die Situation der Nutzenden aktuell aussieht und was sie dort erreichen wollen/müssen
• bei welchen Handlungen oder Entscheidungen Nutzende aktuell auf Unterstützung angewiesen sind

Dafür müssen Sie Annahmen treffen, darüber

• wie das Leben/die Situation von Nutzenden aussieht, wenn Sie das digitale Angebot nutzen
• wie das digitale Angebot die Fähigkeit der Nutzenden verändert, eine Handlung oder Entscheidung selbstständig vorzunehmen
• bis wann Sie die Veränderung bei Nutzenden erreichen wollen

Nutzen Sie die Antworten, um das Wirkungsziel in einem Satz festzuhalten.

Ziel für die Nutzergruppe formulieren

Sie können diese Vorlage für die Zielformulierung nutzen:

Im Jahr [Jahrezahl] [Handlung/Aktivität der Nutzenden (zum Beispiel sagen, machen,…)] [Prozentzahl] der Nutzergruppe durch [den Service-Namen] [Verhalten/Fähigkeit (kombinierbar)].

Kennzahlen für die Wirkung auf Nutzergruppe festlegen

Durch Kennzahlen beurteilen Sie, ob Sie das Wirkungsziel erreichen.

Beantworten Sie folgende Frage, um geeignete Kennzahlen zu bestimmen:
Woran erkennt man, dass diese Wirkung eingetreten ist?

Beispiele für geeignete Kennzahlen

• Anteil der Nutzenden, die Unterlagen vollständig einreichen
• Anzahl der Nachreichungen oder Rückfragen pro Antrag
• Zeit, die Nutzende benötigen, um Schritte in einem Antrag abzuschließen
• Zahl der Abbrüche während des Vorgangs
• Anteil der Nutzenden, die den Vorgang ohne Hilfe durchführen
• Zufriedenheit mit Verständlichkeit und Ablauf
• wahrgenommene Sicherheit oder Klarheit beim Einreichen
• Häufigkeit von Fehlern in Formularen oder Angaben

Mögliche Fragen zur Auswahl geeigneter Kennzahlen

• Woran erkennen Sie, dass Nutzende besser zurechtkommen?
• Welche Schritte erleichtert das digitale Angebot konkret?
• An welchen Stellen treten weniger Rückfragen oder Fehler auf?
• Welche Verbesserungen lassen sich direkt messen?

Mögliche Datenquellen für Kennzahlen

• Nutzungsdaten aus dem digitalen Angebot
• Rückfragen oder Nachreichungen in der Verwaltung
• Befragungen oder Feedback während oder nach der Nutzung
• Fehlerquoten in Formularen
• Abbruchraten und Nutzungsdauer

Ziel für gesellschaftliche Wirkung ableiten (Impact)

Das Wirkungsziel kann zum Beispiel aus den Zielen des Gesetzgebers abgeleitet werden, die im Zusammenhang mit einer Leistung oder einem digitalen Angebot stehen.

Um ein Ziel zu gesellschaftlicher oder systemischer Wirkung zu bestimmen, beantworten Sie folgende Fragen:

• Welche Veränderung möchte der Gesetzgeber langfristig erreichen?
• Welche gesellschaftlichen Gruppen oder Strukturen werden beeinflusst?
• Welche Prozesse, Abläufe oder Rollen verändern sich durch das digitale Angebot?
• Welche indirekten Effekte entstehen durch die Nutzung im System oder in der Verwaltung?

Teil des Ziels könnte sein, das Vertrauen von Bürgerinnen und Bürgern in den Staat zu stärken.

Ziel für Gesellschaft formulieren

Sie können diese Vorlage für die Zielformulierung nutzen:

Im Jahr [Jahrezahl] [tritt/steigt/sinkt] [gesellschaftliche Veränderung oder struktureller Effekt] für [betroffene Gruppe oder System], weil [das digitale Angebot / die Leistung] [relevanten Beitrag oder Veränderung ermöglicht].

Kennzahlen für die gesellschaftliche Wirkung festlegen

Wirkungsziele gesellschaftlicher oder systemischer Kennzahlen geprüft, die strukturelle, systemische oder vertrauensbezogene Entwicklungen sichtbar machen.

Diese Kennzahlen helfen Ihnen dabei, datenbasiert zu überprüfen, ob die gewünschte langfristige Wirkung eingetreten ist.

Dazu gehören zum Beispiel

• Veränderungen im Vertrauen in digitale Angebote
• Verbesserungen in Verwaltungsabläufen
• Entlastung für Verwaltung, Wirtschaft oder Bürgerinnen und Bürger
• geringere Fehlermeldungen oder Rückfragen
• stärkere Nutzung gemeinsamer digitaler Standards
• strukturelle Effekte wie Medienbruchfreiheit oder Prozessqualität

Beispiele für mögliche Kennzahlen

• Rückgang von Rückfragen zwischen Verwaltung und Wirtschaft
• sinkende Bearbeitungszeiten in der Verwaltung
• Anzahl medienbruchfreier oder interoperabler Prozesse
• geringere Fehlerquote in eingereichten Unterlagen
• Nutzung gemeinsamer Komponenten oder Standards
• Vertrauenswerte in digitale Verwaltungsangebote
• verringerter Aufwand oder gesparte Arbeitszeit im Prozess

Mögliche Datenquellen für Kennzahlen

• Statistiken aus Fachverfahren
• Monitoringdaten der Verwaltung
• Berichte von Ministerien oder Organisationen
• repräsentative Studien zu Vertrauen oder Zufriedenheit mit Verwaltung

Erfahrung aus der Praxis hat gezeigt

Daten-Expertise einbeziehen: Beziehen Sie Daten-Analysten und Daten-Analystinnen ein. Sie helfen Ihnen, geeignete Datenquellen zu finden, Trends über längere Zeit zu erkennen und die Wirkung systematisch auszuwerten.

Wissenschaftliche Unterstützung nutzen: Fragen Sie bei Universitäten an, ob im Rahmen von Masterarbeiten oder Promotionen die Wirkung Ihres digitalen Angebots auf den Impact untersucht werden kann. Zum Beispiel in Fakultäten zur Sozialforschung.

Hilfreiche Fachgebiete

Die genannten Fachgebiete und ihre Beschreibungen dienen als Orientierung. Sie zeigen auf, mit welchem Wissen und mit welchen Fähigkeiten die Punkte am besten umgesetzt werden können.

Daten-Analyse

Daten-Analystinnen und -Analysten erheben qualitative und quantitative Daten, um Nutzungsverhalten und Bedürfnisse besser zu verstehen. Sie analysieren diese mit passenden Tools und bereiten die Ergebnisse so auf, dass Produktentscheidungen auf fundierter Grundlage getroffen werden können. Daten-Analystinnen und -Analysten visualisieren komplexe Informationen, damit relevante Zusammenhänge schnell erkannt werden. Sie ziehen daraus gezielt Schlussfolgerungen, die die Produktentwicklung steuern und die Verbesserungen des Angebots ermöglichen.

Zu allen hilfreichen Fachgebieten

Wichtig in diesen Entwicklungsphasen

Jedes digitale Angebot durchläuft verschiedene Phasen. Die 4 Phasen zur Entwicklung nach Servicestandard helfen Teams, strukturiert vorzugehen, die richtigen Schwerpunkte zu setzen und Entscheidungen zum passenden Zeitpunkt zu treffen.

Verstehen

In der Phase „Verstehen" entsteht ein gemeinsames Verständnis für das Problem, das gelöst werden soll. Anforderungen und Ziele für das digitale Angebot und den Prozess werden festgelegt. Die Grundlage bilden Erkenntnisse über die Personen, die den Service nutzen. Es entsteht Klarheit über bestehende Abläufe und Rahmenbedingungen. Veränderungen werden skizziert. Mit dieser Basis kann die Entwicklung in die passende Richtung gelenkt werden.

Entwickeln

In der Phase „Entwickeln" entsteht das digitale Angebot Schritt für Schritt. Lösungen werden von Personen mit verschiedenem Fachwissen gemeinsam erarbeitet. Lösungsansätze werden getestet, angepasst und ausgebaut. Die technische Entwicklung basiert auf offenen Standards und Open Source. Mit diesem Vorgehen reift der Service und wird betriebsbereit.

Alle 4 Entwicklungsphasen