Lernen messen: die vier Ebenen von Kirkpatrick, ohne erfundene Zahlen

Die vier Ebenen

Ebene	Frage
1. Reaktion	Wie haben die Teilnehmenden es erlebt? War es relevant?
2. Lernen	Was wissen oder können sie jetzt, was sie vorher nicht wussten oder konnten?
3. Verhalten	Tun sie es in der Arbeit anders?
4. Ergebnis	Bringt es der Organisation etwas?

Die Ebenen bauen aufeinander auf, aber Sie müssen nicht alle gleich aufwendig messen. Wählen Sie pro Lernreise, welche Ebene für Sie die Entscheidung steuert.

Was eine Lernreise Ihnen liefert

Für Ebene 1 und 2 liefert CoVince viel. Fragen erhalten eine Gewichtung und ein Thema, sodass Sie Punkte pro Thema sehen. Offene Antworten werden von der KI bewertet, es gibt Umfragen und Fragenabläufe, und pro lernender Person schreibt die KI einen persönlichen Bericht (mehrsprachig, als Word oder PDF). Sie haben Statistiken pro Lernreise und pro lernender Person, mit anklickbaren Zahlen.

Das sagt Ihnen, wo eine Gruppe steht, wie jemand denkt und wo die Lernreise selbst schwach ist. Es sind die besten Signale zum Verbessern.

Verhalten messen: Signale aus der Arbeit

Verhalten in der Arbeit sehen Sie nicht in einer Lernreise. Es braucht Signale aus der Arbeit selbst: weniger Nacharbeit, schnellere Bearbeitung, bessere Bewertungen eines Gesprächs, häufiger eine rechtzeitige Sicherheitsmeldung. Welche Signale Sie wählen, hängt vom Lernziel ab.

Ein praktischer Anfang: Wählen Sie vorab ein messbares Verhalten und vereinbaren Sie, wer es festhält. Wenn die Daten schon in einem System stehen, können Sie sie neben den Lernergebnissen in einem Control Room zeigen. Siehe Lernen im Flow of Work.

Warum wir keine erfundenen Zahlen nennen

Anbieter versprechen gern „bis zu 70 % besser behalten“ oder „3-mal schneller“. Solche Zahlen stammen selten aus Ihrer Situation. Sie sind ein Durchschnitt von etwas anderem, messen oft etwas anderes oder wurden nie untersucht. Wer sie in einen Business Case übernimmt, baut auf Sand.

Besser: Messen Sie in Ihrer eigenen Situation, vergleichen Sie mit einer früheren Runde oder mit einer Kontrollgruppe und seien Sie ehrlich darüber, was Sie nicht wissen. Ein vorsichtiges Ergebnis auf eigener Basis ist mehr wert als eine große Behauptung ohne.

Passt es neben Ihr LMS?

Haben Sie bereits ein LMS, muss die Messung nicht umziehen. CoVince hat einen SCORM-Player und -Export, xAPI und LTI 1.3 mit Notenrückmeldung, sodass eine Lernreise auch in Moodle, Canvas oder Brightspace läuft. Sie können ein Moodle-Backup importieren.

Ein einfacher Messplan

Ein Messplan muss nicht groß sein. Schreiben Sie pro Lernreise vier Zeilen auf, eine pro Ebene. Reaktion: Was wollen wir wissen, und wie fragen wir danach (eine Skalenfrage und eine offene Frage im Anschluss)? Lernen: Welche Themen prüfen wir und mit welchen Fragen? Verhalten: Welches Verhalten in der Arbeit ist das Zeichen für Erfolg, und wer beobachtet es? Ergebnis: Welches Ergebnis für die Organisation gehört dazu, und welches Maß nutzen wir bereits?

Vereinbaren Sie auch, wann Sie zurückblicken: direkt im Anschluss, nach einem Monat und nach einem Quartal. So verhindern Sie, dass Messen etwas bleibt, das Sie „irgendwann“ tun.

Ehrlich mit Ursache und Wirkung umgehen

Wenn sich die Ergebnisse nach einer Lernreise verbessern, ist es verlockend, der Lernreise alle Ehre zu geben. Aber in einer Organisation geschieht mehr als ein Training: neue Kolleginnen und Kollegen, ein anderer Prozess, ein ruhigeres Quartal. Seien Sie vorsichtig mit Ursache und Wirkung. Vergleichen Sie, wo möglich, mit einer Gruppe, die die Lernreise noch nicht gemacht hat, oder mit einem früheren Zeitraum, und nennen Sie die Einschränkungen dazu.

Das ist keine Schwäche Ihrer Berichterstattung, sondern das Gegenteil: Wer ehrlich ist über das, was er nicht weiß, dem glaubt man eher, was er weiß. Siehe auch die komplette Lernjourney gestalten.

Gute Fragen für eine Evaluation

Eine Evaluation ist so gut wie ihre Fragen. Vermeiden Sie „War das Training gut?“, das bringt Höflichkeit. Fragen Sie lieber nach dem, was brauchbar ist: Was werden Sie diese Woche anders machen? Welcher Teil war am wenigsten klar? Welche Situation aus Ihrer Arbeit fehlte? Nutzen Sie eine Skala mit drei oder fünf Punkten für das Gefühl und eine offene Frage für den Grund.

Fragen Sie nach einigen Wochen erneut, kürzer: Haben Sie es angewendet, und was ist passiert? So erhalten Sie einen ersten Hinweis auf Verhalten ohne aufwendige Messung. Kombinieren Sie es mit dem, was eine Führungskraft sieht, und besprechen Sie Unterschiede.

Was ein guter Bericht für die Organisation enthält

Ein Bericht für Führungskräfte oder die Geschäftsleitung muss nicht lang sein. Ein brauchbarer Aufbau hat vier Teile: Was war das Ziel, wer hat mitgemacht, was haben wir gesehen (Punkte pro Thema, Reaktionen, ein paar Zitate) und was tun wir jetzt. Nennen Sie dazu, was Sie nicht wissen, und geben Sie keine erfundenen Zahlen an. Enden Sie mit einem Vorschlag: anpassen, ausbauen oder stoppen. So wird Messen zur Grundlage für eine Entscheidung.

So richten Sie die Messung ein

1. Schreiben Sie das Lernziel als Verhalten und wählen Sie eine Ebene, auf die Sie steuern.
2. Geben Sie Fragen eine Gewichtung und ein Thema, die zum Ziel passen.
3. Lassen Sie die lernende Person im Anschluss etwas abgeben, das Sie bewerten können (offene Antwort, Gespräch).
4. Schauen Sie nach der ersten Gruppe auf die Berichte und passen Sie die Lernreise an.
5. Vereinbaren Sie, wie Sie Verhalten in der Arbeit verfolgen und wann Sie zurückblicken.

Das Ergebnis ist keine Zahl, sondern eine bessere Lernreise, in jeder Runde. Siehe die komplette Lernjourney gestalten.