Trascrivo alcune riflessioni sul tema della valutazione universitaria. Sono iniziate insieme ad Andrea, al telefono, una mattina di primavera, e poi hanno preso vita propria dentro la mia testa. La responsabilità delle tesi esposte è mia.
1. Come si fa a sapere che la valutazione della prestazione di uno studente in un test in aula non è falsata?
Per assicurarsi che lo studente che fa l’esame sia veramente quello che dice di essere si possono utilizzare diverse strategie. La principale si basa sulla difficoltà di produrre documenti falsi e sulla capacità della mente umana (suppongo che appartenga a noi mammiferi) di riconoscere i visi. Si chiede un documento di identità, e si confronta la foto con lo studente in carne ed ossa.
Tutti sono a conoscenza di storielle, vere o false, su gemelli che fanno due volte lo stesso esame, ma questo è quello che abbiamo al momento.
Per assicurarsi che lo studente non copi, o non si faccia suggerire, o non consulti altre fonti oltre a quelle ammesse, di solito si crea un ambiente fisico controllato: uno studente per banco, un assistente che passa fra i banchi, niente foglietti nelle maniche e cellulare lasciato all’ingresso.
Per ognuna di queste strategie si può immaginare una contro-tecnica messa in atto dallo studente: appunti scritti sulla pelle, secondo cellulare, etc.
Insomma, nemmeno qui possiamo essere assolutamente sicuri che tutto funzioni come previsto, ma il rischio dell’imbroglio è statisticamente accettabile.
2. Come si fa a sapere che la valutazione della prestazione di uno studente in un test a distanza non è falsata?
Il problema se lo sono posto in tanti, molto prima della chiusura forzata delle università del marzo 2020. Perché la formazione a distanza esiste dalla seconda metà dell’ottocento. Le Università a distanza esistono (in Italia ce ne sono 11), come esistono Università che erogano una parte dei loro corsi a distanza. Il vantaggio di queste Università è quello di disaccoppiare studente e docente, nello spazio e a volte nel tempo. Permettono a studenti che abitano a decine di migliaia di chilometri dalla sede dell’Università di frequentare e di laurearsi, o comunque di conseguire un titolo che ha valore legale. Come hanno risolto il problema della valutazione certificativa? In molti modi diversi.
Prima di tutto, storicamente, con una valutazione finale in presenza. A volte anche in luoghi diversi sparsi sul territorio. Accordi con altre agenzie formative o semplicemente con soggetti privati che offrono il servizio di verifica dell’identità degli studenti nell’aula dove si tiene l’esame. Così non si elimina il rischio di falsificazione, ma si riporta ad un rischio conosciuto e accettabile.
Quando questo non è possibile, se il numero di candidati per l’esame è relativamente piccolo, si può simulare un esame orale tramite videoconferenza. Quindi si chiede al candidato di esibire un documento di identità e il docente, dall’altra parte della connessione, confronta la foto con l’immagine dello studente. Ovviamente un documento di identità esibito attraverso una webcam a bassa risoluzione è meno facile da identificare come originale, ma pazienza.
Ma si possono usare o immaginare di usare, una serie di tecnologie più sofisticare. Per esempio:
– il riconoscimento facciale intelligente (quello in uso in alcuni aeroporti, e in Cina)
– il riconoscimento tramite impronta digitale
– il riconoscimento tramite esame dell’iride
– un token unico inviato via email immediatamente prima dell’esame e valido per un tempo limitato
– un dongle usb (un oggetto fisico) che contiene un certificato e che è spedito allo studente prima dell’esame
– il riconoscimento grafometrico della scrittura manuale
– il confronto dei tempi e degli errori della scrittura con un modello dell’utente costruito in precedenza
– …
Nel caso di esami scritti, per assicurarsi che il candidato non copi o non si faccia dare suggerimenti sono state usate, o si potrebbero usare, altre tecnologie ancora:
– la doppia telecamera (una che inquadra lo studente e una il monitor) e un software di analisi delle immagini
– dei computer appositamente preparati e “blindati”
– un software che gira sul PC del candidato e che impedisce al computer, per il tempo dell’esame, di fare altro
– un proxy che impedisce tutti i collegamenti tranne quelli elencati in una white list
– una ricerca della somiglianza della composizione del candidato con testi disponibili su web
– …
Anche in questo caso, ci sono delle contro-strategie possibili, soprattutto se il candidato è uno studente di informatica.
3. Ora spostiamoci in avanti. Grazie ad una coincidenza di spiriti buoni, il Paese X decide finalmente di finanziare la sanità e la formazione.
Ottimo. Recrudescenza del contagio a parte, anche nel futuro più ottimistico qualcuno potrebbe dire “Perché smettere con la didattica a distanza visto che ha funzionato così bene? In fondo si risparmia tutti, gli studenti fuori sede non devono spostarsi e l’Università risparmia sulle strutture; inoltre potrebbe assumere docenti da ogni parte del mondo”.
Obiezione: “Va bene la formazione, ma la valutazione? Come la facciamo, la valutazione a distanza?”
Risposta: “Beh, ma visto che le tecnologie di identificazione dello studente al momento dell’esame hanno funzionato così bene, perché non usarle ancora? O perché non investire per studiarne di ancora più efficaci?”
Allora i finanziamenti verrebbero utilizzati per aumentare il controllo, e messi a bilancio come investimenti per risparmiare.
Questo esito a me sembra davvero esiziale. Un investimento in questa direzione – anche a prescindere dagli impatti sullo stipendio dei docenti, sul loro contratto e sulle procedure di selezione – sarebbe un’enorme occasione mancata. Perché non migliorerebbe la formazione come potrebbe e non migliorerebbe la valutazione come potrebbe. Si limiterebbe a rendere efficace un pezzettino del processo lasciando invariato tutto il resto.
Invece si potrebbe chiedere o pretendere che i finanziamenti (immaginari, per ora) vadano verso una ricerca sperimentale sui modelli di valutazione online. Questo potrebbe avere un effetto generale molto più potente.
4. Cosa valutiamo, e perché?
Non sempre i docenti universitari hanno seguito un corso di docimologia, o di teoria della valutazione, o semplicemente hanno potuto studiarla. Non tutti i docenti hanno avuto modo di riflettere su cosa valutano. Perciò si appoggiano sulla propria esperienza personale, sulle prassi consolidate, sulle intuizioni.
Potrebbe invece essere il momento per mettere in dubbio quello che sembra ovvio. Ad esempio:
- L’esame finale è l’unico modo possibile di valutare il percorso di uno studente? Non è vero, si può valutare durante tutto il corso la crescita delle competenze dello studente. E l’esame finale, se necessario, non è altro che la conferma di quel percorso.
- L’esame certifica le competenze possedute da X ? No: l’esame confronta le competenze di X con un modello. Se l’esame è fatto bene – ci sono delle misure precise di cosa significa “fatto bene”, di questo si occupa la docimologia, e non sono cose che si improvvisano – si può arrivare a dire che X si comporta come ci si aspetta da uno studente che abbia quelle competenze. L’esame non entra nella mente dello studente e non è una palla di vetro.
- Chi non supera un esame non ha quelle competenze? Non è sempre vero neanche questo: esiste un effetto “stress da esame” che fa sì che lo studente in certi casi renda meno di quanto potrebbe. Certi tipi di esame sono più stressanti di altri; certe culture favoriscono delle “soft skills” che facilitano il superamento di un esame orale, mettiamo, invece che scritto.
- Chi supera un esame in futuro sarà in grado di applicare quelle competenze nei casi reali? E’ possibile, in fondo a questo servono gli esami, se sono fatti bene. Ma non è sicuro. Vogliamo minimizzare i danni che potrebbero derivare dal mandare in giro dei chirurghi con licenza di uccidere, ma non possiamo davvero azzerarli. Anche perché le conoscenze si dimenticano e le competenze non applicate si arrugginiscono.
Si può pensare ad un corso con una valutazione continua, che abbassa di peso l’esame finale? Credo di sì, visto che si fa in tanti altri contesti. In fondo la capacità predittiva di un singolo esame è più bassa di quella di una serie di prove sparse lungo un percorso, perché queste permettono di disegnare una curva che si può prolungare.
Si può immaginare una valutazione in cui lo studente possa utilizzare tutti gli strumenti messi a disposizione da Internet? Sì, perché quella è la situazione in cui probabilmente si troverà ad operare nella vita. Si possono immaginare compiti di valutazione autentica, cioè “task sottospecificati” (grazie Andrea), in cui si va a vedere come se la cava lo studente.
- Copia? E’ una strategia, ma tutti sanno che non è la migliore quando il compito è nuovo.
- Inventa da zero? E’ una strategia rischiosa, perché spesso la possibilità di verificare gli effetti collaterali è ridotta.
- Adatta soluzioni verificate? Bene, se le sceglie con criterio è probabilmente la soluzione vincente.
- Si confronta con gli altri? È esattamente così che funziona il mondo del lavoro. Chi lavora da solo non ce la fa. Basta uscire dalle aule e andare a vedere cosa succede fuori, da tempo, da prima di Stackoverflow e di Github.
5. L’utilizzo dei dati di navigazione è la grande lezione (mancata) dell’e-learning.
Ancora oggi ci si limita a tenere traccia a fini certificativi del tempo trascorso in un ambiente chiuso (una piattaforma di e-learning), o delle visite ai nodi di un corso, per soddisfare dei criteri quantitativi. Questo anche quando esistono modelli e protocolli come le xAPI (eXtended API, una volta tin-can API) che permetterebbero di tenere traccia dei percorsi di uno studente anche fuori da una piattaforma.
Mentre diventa sempre più chiara l’importanza in termini economici delle attività di profilazione degli utenti tramite l’analisi non solo del loro percorso, ma anche dei loro prodotti testuali (ricerche, post, messaggi), è arrivato il momento di iniziare a praticare un utilizzo dei dati dello studente, con il suo consenso, non per i fini economici di un soggetto estraneo, ma proprio per fornire un migliore servizio di valutazione allo studente stesso. Come vado dicendo da quindici anni almeno, e come alcune ricerche sull’applicazione di tecniche di machine learning in campo educativo potrebbero confermare.
Se si riesce a costruire un modello che partendo dal suo stato iniziale e tenendo conto di come ha interagito con gli altri studenti e con il docente durante il corso, di come ha svolto le esercitazioni, di come ha corretto quelle degli altri (peer assessment) riesca a proiettare la curva fino a predire il tipo di risposte attese, allora si potrebbe immaginare una valutazione continua che ha un potere predittivo maggiore del singolo esame finale. In cui l’importanza del controllo dell’identità dello studente è molto minore. In fondo la profilazione degli utenti tramite l’analisi dei dati di navigazione si basa su questo principio: il nostro modo di dire e fare ci individua meglio della nostra carta di identità.
Questo non riguarda solo la formazione a distanza, e infatti c’è chi ha cominciato a raccogliere dati anche per la formazione tradizionale. Ci vogliono tanti dati, bisogna coinvolgere tante discipline e tante professionalità. Bisogna fare molta, molta attenzione alla privacy; bisogna evitare che questi dati possano servire alle università per decidere quali studenti accettare e quali rifiutare, o peggio alle aziende a decidere quali studenti vale la pena di assumere e quali no (è la tentazione più ovvia per recuperare fondi). Bisogna assicurasi che i software che elaborano i modelli siano aperti, e che i dati siano a disposizione del diretto interessato.
Insomma non è facile, ma si può fare. Ci si può provare.
6. Ma lo studente potrà sempre cercare di imbrogliare.
Esatto. Uno studente che non abbia come fine l’apprendimento ma il superamento dell’esame può investire una quantità di energie enorme verso l’obiettivo sbagliato. Bisogna spiegarglielo, e bene. Magari portando in aula un rappresentante delle aziende che ricerca laureati in quella disciplina, che gli dica la verità: che non è il voto di laurea, e nemmeno la media che andranno a guardare al momento del colloquio. Al colloqui, vorranno verificare che il candidato sappia fare qualcosa. Non conterà niente quanto è stato capace di imbrogliare prima. A meno che l’azienda non lavori nel settore truffa&imbroglio.
E’ incredibile quanto ci si possa illudere sulla propria capacità di imbrogliare nella vita. Ad un certo punto, però, se le cose le sai fare, le fai, altrimenti stai a guardare. Magari come dice Hollander, il venditore di bacchette magiche di Harry Potter, sai fare cose malvagie. Ma le devi saper fare, se vuoi diventare Lord Voldemort, non basta il diploma da fattucchiere ordinario.
Questa banalità contrasta con tanta parte della nostra cultura. Contrasta con i corsi in cui la frequenza è gratis ma l’attestato si paga. Contrasta con l’idea stessa di università a distanza che è vista solo come una scorciatoia e non come un’opportunità per chi lavora o abita lontano dai centri abitati. Contrasta con il luogo comune che vuole che la scuola sia un obbligo da cui bisogna sfilarsi al più presto con una menzione onorevole.
7. Il punto fondamentale è l’acquisizione di una cultura della valutazione. Da parte di tutti: docenti, studenti, familiari, decisori pubblici e privati.
Valutazione come servizio continuo, come parte organica della formazione. Valutazione non solo degli outcomes ma anche dei processi. Valutazione per il miglioramento, non per la selezione.
Ci si guadagnerebbe tutti, io credo.