Misurare l’apprendimento: i quattro livelli di Kirkpatrick, senza numeri inventati

I quattro livelli

Livello	Domanda
1. Reazione	Come l’hanno vissuto i partecipanti? Era pertinente?
2. Apprendimento	Che cosa sanno o sanno fare ora che prima non sapevano o non sapevano fare?
3. Comportamento	Lo fanno in modo diverso nel lavoro?
4. Risultato	Produce qualcosa per l’organizzazione?

I livelli si costruiscono l’uno sull’altro, ma non occorre misurarli tutti con lo stesso impegno. Per ogni percorso di apprendimento si sceglie quale livello guida la decisione.

Che cosa offre un percorso di apprendimento

Per i livelli 1 e 2 CoVince offre molto. Le domande ricevono un peso e un tema, così da vedere i punteggi per tema. Le risposte aperte sono valutate dall’IA, ci sono sondaggi e flussi di domande e per ogni discente l’IA scrive un report personale (multilingue, in Word o pdf). Si hanno statistiche per percorso di apprendimento e per discente, con numeri cliccabili.

Ti dice a che punto è un gruppo, come ragiona una persona e dove è debole il percorso di apprendimento stesso. Sono i migliori segnali per migliorare.

Misurare il comportamento: segnali dal lavoro

Il comportamento nel lavoro non si vede in un percorso di apprendimento. Richiede segnali dal lavoro stesso: meno rilavorazioni, gestione più rapida, migliori valutazioni di una conversazione, più segnalazioni di sicurezza fatte in tempo. Quali segnali scegliere dipende dall’obiettivo formativo.

Un inizio pratico: scegliere in anticipo un comportamento misurabile e concordare chi lo tiene sotto controllo. Se i dati sono già in un sistema, si possono mostrare accanto ai risultati dell’apprendimento in un Control Room. Vedere imparare nel flusso del lavoro.

Perché non citiamo numeri inventati

I fornitori promettono volentieri «fino al 70% in più di ricordo» o «3 volte più veloce». Numeri così raramente provengono dalla vostra situazione. Sono una media di qualcos’altro, spesso misurano qualcos’altro o non sono mai stati verificati. Chi li adotta in un business case costruisce sulla sabbia.

Meglio: misurare nella propria situazione, confrontare con un giro precedente o con un gruppo di controllo ed essere onesti su ciò che non si sa. Un esito prudente con una base propria vale più di un grande annuncio senza.

Si inserisce accanto al proprio LMS?

Se si ha già un LMS, la misurazione non deve traslocare. CoVince ha un player e un’esportazione SCORM, xAPI e LTI 1.3 con restituzione dei voti, così che un percorso di apprendimento funzioni anche in Moodle, Canvas o Brightspace. È possibile importare un backup di Moodle.

Un semplice piano di misurazione

Un piano di misurazione non deve essere grande. Per ogni percorso di apprendimento si scrivono quattro righe, una per livello. Reazione: che cosa vogliamo sapere e come lo chiediamo (una domanda a scala e una domanda aperta al termine)? Apprendimento: quali temi verifichiamo e con quali domande? Comportamento: quale comportamento nel lavoro è il segno del successo e chi lo osserva? Risultato: quale esito per l’organizzazione vi corrisponde e quale misura usiamo già?

Si concorda anche quando si guarda indietro: subito dopo il termine, dopo un mese e dopo un trimestre. Così si evita che misurare resti qualcosa che si farà «un giorno».

Trattare con onestà causa ed effetto

Se i risultati migliorano dopo un percorso di apprendimento, è allettante attribuirgli tutto il merito. Ma in un’organizzazione accade più di una formazione: nuovi colleghi, un altro processo, un trimestre più tranquillo. Si è prudenti con causa ed effetto. Dove possibile si confronta con un gruppo che non ha ancora svolto il percorso di apprendimento, o con un periodo precedente, e si citano i limiti.

Non è una debolezza del report ma il contrario: chi è onesto su ciò che non sa viene creduto più facilmente su ciò che sa. Vedere anche progettare il percorso di apprendimento completo.

Buone domande per una valutazione

Una valutazione vale quanto le sue domande. Si evita «la formazione era buona?», che produce cortesia. Meglio chiedere ciò che è utilizzabile: che cosa farai diversamente questa settimana? Quale parte era meno chiara? Quale situazione del tuo lavoro mancava? Si usa una scala a tre o cinque punti per la sensazione e una domanda aperta per il motivo.

Dopo alcune settimane si chiede di nuovo, in modo più breve: l’hai applicato e che cosa è successo? Così si ottiene una prima indicazione del comportamento senza una misurazione pesante. Si combina con ciò che vede un responsabile e si discutono le differenze.

Che cosa contiene un buon report per l’organizzazione

Un rapporto per responsabili o direzione non deve essere lungo. Un’impostazione utilizzabile ha quattro parti: qual era l’obiettivo, chi ha partecipato, che cosa abbiamo visto (punteggi per tema, reazioni, qualche citazione) e che cosa facciamo ora. Si indica ciò che non si sa e non si danno numeri inventati. Si chiude con una proposta: adattare, ampliare o fermarsi. Così la misurazione diventa la base di una decisione.

Come impostare la misurazione

1. Scrivere l’obiettivo formativo come comportamento e scegliere un livello su cui orientarsi.
2. Dare alle domande un peso e un tema adatti all’obiettivo.
3. Far consegnare al discente, al termine, qualcosa che si possa valutare (risposta aperta, conversazione).
4. Dopo il primo gruppo guardare i report e adattare il percorso di apprendimento.
5. Concordare come seguire il comportamento nel lavoro e quando guardare indietro.

L’esito non è un numero ma un percorso di apprendimento migliore, a ogni giro. Vedere progettare il percorso di apprendimento completo.