Concluso il primo ciclo triennale di valutazione su larga scala delle competenze dei quindicenni

I risultati dell’indagine PISA 2006

Un comunicato stampa edulcorato da parte dell’OCSE

giovedì 27 dicembre 2007, di Norberto Bottani, esperto sistemi scolastici internazionali

Un avvenimento da sottolineare: si è concluso il primo ciclo triennale di valutazione su vasta scala dei livelli di cultura dei quindicenni nel settore della comprensione dei test scritti, della matematica e delle scienze. Questa operazione che ha mobilitato centinaia di migliaia di quindicenni e quasi un centinaio di sistemi scolastici è una novità assoluta. Non era mai stata tentata prima del 2000. Al momento del lancio dell’indagine PISA, nel 1997, dopo quasi sette anni di preparazione, nessuno dei protagonisti d’allora avrebbe potuto immaginare quanto è successo in seguito, l’interesse suscitato, l’accoglienza dei media, le ripercussioni sulle politiche scolastiche a livello mondiale, le reazioni della comunità scientifica.

L’indagine pilotata dell’OCSE, un ente non specializzato nel campo della misura dei risultati scolastici ma invece assai qualificato nelle analisi comparate delle politiche economiche, scientifiche, sociali, ha sconvolto il paesaggio politico internazionale dell’istruzione ed ha aperto campi di analisi della scuola del tutto nuovi. L’educazione comparata è stata radicalmente ribaltata con gli indicatori dell’istruzione pubblicati dall’OCSE e poi con l’indagine PISA. Questi lavori hanno generato un’ enorme banca dati pubblica che rende possibile approfondimenti, verifiche, analisi di un nuovo genere per la ricerca scientifica sui sistemi scolastici.

La comparabilità del materiale raccolto dall’indagine PISA dal 2000 in poi non è evidente. I problemi metodologici per confrontare punteggi ed informazioni sull’arco di sei anni, da un ciclo di indagine all’altro sono rilevanti, nonostante la stabilità della metodologia e quella parziale ma importante degli strumenti ( i test ed i questionati). Ciò nonostante le reazioni dei media dimostrano quanto imperiosa sia in molti paesi l’attesa di informazioni chiare, tempestive, precise sui risultati dell’insegnamento e dell’educazione scolastica. L’indagine PISA offre questa illusione ed è questa la chiave del suo successo.

La valutazione su larga scala: un progetto scientifico di grande ampiezza.

L’indagine PISA è stata lanciata nel 1997 per valutare le competenze di base alla fine della scuola dell’obbligo nei paesi membri dell’OCSE. Questa ricerca si distingue dalle ricerche abitualmente svolte nell’ambito scolastico per le sue dimensioni del tutto inabituali. Nel 2006 l’indagine ha coinvolto 57 paesi e circa 400 000 studenti di 15 anni. Un’operazione di questa ampiezza è stata resa possibile dalla pressione esercitata dalle autorità politiche dei paesi membri dell’OCSE e dalla domanda internazionale di indicatori di risultati che mancavano nell’insieme di indicatori dell’istruzione pubblicato dall’OCSE ogni anno dal 1992.

Da questa duplice esigenza è sorta l’indagine PISA. Spetta alla comunità scientifica dire se l’impostazione della valutazione corrisponda o meno a questa richiesta. Il mondo politico e quello dei media hanno già dato una loro valutazione prestando parecchia attenzione ai risultati di PISA.

Il programma PISA è una macchina poderosa, complessa, che mobilita risorse umane e finanziarie considerevoli; è anche un programma ambizioso ed esigente. L’OCSE ha scommesso di riuscire a verificare con un ritmo triennale le competenze dei quindicenni in tre settori considerati cruciali dagli esperti per cavarsela nella vita e condurre un’esistenza decente nelle società contemporanee. La scommessa è stata vinta, è indubbio, perché le scadenze sono state rispettate, dando così soddisfazione ai responsabili politici che non sanno o non possono attendere a lungo i risultati delle riforme intraprese. I dati raccolti per altro sono accessibili a tutti in una banca dati interattiva, la sintesi dei risultati è stata regolarmente pubblicata ogni quattro anni, e non si sono fatti attendere nemmeno gli approfondimenti tematici concordati sul piano internazionale. Il ritmo di restituzione dei risultati è del tutto rispettabile ed insolito nella comunità scientifica che si occupa dei sistemi d’insegnamento. I risultati hanno innestato in molti paesi discussioni animate e riforme scolastiche su temi pressoché intoccabili in precedenza. Questo è il primo risultato da evidenziare.

Il test di PISA non misura gli apprendimenti scolastici

Per giungere a questo punto, l’OCSE ha elaborato test non più imperniati sui curriculi scolastici. Il test di PISA non misura quel che si insegna a scuola. Questa opzione ha reso possibile la periodicità triennale ma anche configurato i test in un certo modo. Questi sono un prodotto ibrido: non valutano gli apprendimenti scolastici in sé e per sé e nemmeno gli effetti delle riforme scolastiche. Il test sulle competenze scientifiche di PISA è stato sviluppato non per misurare l’acquisizione delle conoscenze scientifiche insegnate nelle scuole e quindi la bontà o meno dell’insegnamento. Questo non è affatto l’obiettivo di Pisa e tutte le interpretazioni che sono imperniate su questo aspetto sono devianti e sbagliate. Il test di scienze di PISA è stato costruito prescindendo dai curricoli scolastici ed è stato impostato secondo una concezione della cultura scientifica comprendente le quattro categorie seguenti:

 l’uso di conoscenze scientifiche per identificare le componenti scientifiche di una situazione o di un problema, l’acquisizione di nuove conoscenze, la spiegazione di fenomeni scientifici ed il ricorso a dati empirici per trarre conclusioni concernenti determinati problemi di ordine scientifico;

 la comprensione delle caratteristiche proprie della scienza come forma di conoscenza e come modalità di studio dell’uomo;

 la consapevolezza dell’impatto della scienza e della tecnologia sul nostro ambiente materiale, intellettuale e culturale;

 l’interesse per le questioni di ordine scientifico e la capacità di ricorrere a spiegazioni scientifiche per chiarire e risolvere problemi che si pongono ai cittadini nelle società contemporanee.

Questo test ha dunque valutato la capacità dei quindicenni a servirsi delle conoscenze scientifiche per risolvere situazioni riguardanti da un lato la vita personale e dall’altro questioni sociali come per esempio lo sviluppo sostenibile. Per questa ragione , il test di PISA è un’indagine sulla competenza scientifica e non sulle conoscenze scientifiche apprese a scuola.

Gli item del test sulla cultura scientifica della valutazione svolta con PISA riguardavano spesso attività informali, esterne alla scuola, in cui i concetti scientifici, appresi in classe, potevano essere applicati. Essi sono stati scelti per verificare se la cultura scientifica dei quindicenni, che solo in parte è frutto dell’insegnamento impartito nelle scuole, va oltre l’acquisizione di fatti isolati e se il metodo scientifico , basato sulla ricerca e l’uso di prove empiriche, sperimentali, è una componente del modo di pensare e di reagire dei quindicenni. Purtroppo è d’uopo constatare che non è il caso. Ci si può a questo punto chiedere se questa constatazione è imputabile all’insegnamento scolastico, ossia se c’è una parte di colpevolezza delle scuole in questo risultato. Vedremo tra poco l’interpretazione che ne dà l’OCSE, ossia l’organismo che ha promosso ed organizzato il test.

I risultati in breve

 In generale, i punteggi conseguiti in questa terza tornata di PISA non hanno sconvolto l’ordine delle prestazioni dei sistemi scolastici constatato nelle due indagini precedenti. Si può supporre , come del resto vedremo tra poco, che il grado di competenza in lettura eserciti un’influenza determinante sulle risposte al test di scienze. Per riuscire in questo test occorre sapere leggere mentre invece non è necessario avere una cultura scientifica elevata per capire quanto si legge.

 L’indagine ha rivelato la presenza di un grosso problema di credibilità della scienza tra i quindicenni , il che conferma le osservazioni di numerosi sondaggi d’opinione condotti sulla popolazione adulta. Il parere dei quindicenni non diverge da quello degli adulti. Ciò non è sorprendente, tranne per chi si faceva illusioni sugli ideali della gioventù.

 L’ indagine ha per altro constatato che l’ entusiasmo tra i quindicenni per le carriere scientifiche è scarso. Anche questa constatazione messa in evidenza nel comunicato stampa dell’OCSE non dovrebbe sorprendere. Gli orientamenti dei giovani non coincidono con le speranze e le teorie dei promotori della cosiddetta società del sapere e della conoscenza. Per altro, l’ ammirazione per il progresso tecnologico in questi ultimi decenni è scemata parecchio, nonostante o forse anche a causa del progresso scientifico e tecnologico.

 Solo una piccolissima minoranza di quindicenni (l’ 1,3%) consegue nel test di cultura scientifica un punteggio pari al livello più alto nella scala PISA 2006, ossia il livello 6. Possiamo quindi constatare che nonostante l’obbligo scolastico , dopo nove anni di scuola, la proporzione delle cosiddette "testine scientifiche in una generazione è minima. Questa può essere una delusione per coloro che credono nell’ efficacia dei sistemi scolastici. Si può però anche ragionevolmente supporre che la proporzione di persone con elevate competenze scientifiche non sia mai stata molto elevata per cui non c’è molto da meravigliarsi rispetto a questo dato. I sistemi statali d’istruzione obbligatoria non possono compiere miracoli e trasformare la società in un collettivo di ricercatori o di scienziati come non è riuscita a trasformala in un collettivo di letterati. Purtroppo non è più possibile raccogliere prove sperimentali questo punto e dobbiamo accontentarci di supposizioni.

 La proporzione dei quindicenni che consegue nel test di cultura scientifica PISA un punteggio pari od inferiore alla soglia di competenze ritenuta dagli esperti come un minimo indispensabile per comprendere da un punto di vista scientifico lo sviluppo delle società contemporanee equivale pressappoco al 20% del gruppo di età. Uno studente su cinque quindi non possiede gli elementi di base per dare una spiegazione scientifica a tutto una serie il situazioni e avvenimenti. Non disponiamo di nessun criterio per giudicare il significato di questa percentuale. Il dato può essere del tutto normale rispetto ai comportamenti della popolazione di 50 o cento anni fa , oppure può essere anormale rispetto allo sviluppo dei curricoli scolastici ed allo sforzo di promozione della cultura scientifica.

 In Italia la proporzione degli studenti che hanno conseguito nel test di PISA il punteggio equivalente alla scala più alta (livello 6) è molto bassa (0,4%) rispetto alla proporzione di studenti molto bravi presenti in altri sistemi scolastici (media OCSE 1,3%).

 In Italia, la proporzione dei quindicenni che non consegue il punteggio minimo nel test di cultura scientifica ritenuto necessario per riuscire a spiegare con argomenti razionali di natura scientifica problemi quotidiani e situazioni inedite è pari al 25% ( la media OCSE è del 19%) . In Italia uno studente su quattro a quindici anni non è in grado di dare una spiegazione scientificamente corretta di fenomeni spiegati dalla scienza da secoli , come per esempio l’alternanza tra il giorno e la notte. Non possiamo dire se questa proporzione di “incompetenti” scientifici sia preoccupante o meno. Possiamo solo rilevare che i quindicenni italiani si trovano in gran numero nelle fila dei giovani che non dispongono delle risorse ritenute necessarie per spiegare razionalmente, secondo il metodo scientifico basato sulla verifica e le prove, questioni pratiche di vita. Per l’OCSE , questo dato significa che nella società italiana è presente una proporzione importante di giovani che non è in possesso della capacità che si richiedono per contribuire allo sviluppo delle società contemporanee e per partecipare pienamente alla vita sociale ed al mercato del lavoro. Questa interpretazione andrebbe verificata.

 L’indagine constata che a differenza dei risultati nel test di matematica e di lettura non esiste nella maggioranza dei sistemi scolastici una differenza significativa di punteggio medio tra ragazzi e ragazze. Probabilmente, questo divario ridotto tra generi nel test di cultura scientifica va imputato alle competenze di comprensione dei testi scritti. Come noto, in media, le ragazze a 15 anni hanno una capacità di comprensione della lettura significativamente migliore di quella dei ragazzi. Orbene, poiché il testo di scienze comprende domande scritte relativamente lunghe da leggere , si potrebbe ipotizzare che le ragazze avevano un vantaggio iniziale di natura non scientifica rispetto ai ragazzi tale da compensare una eventuale inferiorità di competenze scientifiche. L’OCSE non offre una spiegazione attendibile di questa situazione che a prima vista potrebbe anche essere sorprendente.

 Come è stato constatato nelle precedenti indagini condotte nell’ambito di PISA, anche nell’indagine 2006 si osserva che l’ambiente socio-economico esercita un’influenza determinante sui risultati dei quindicenni. Ancora una volta è d’uopo rilevare che i sistemi scolastici non sono in grado di neutralizzare gli effetti delle disuguaglianze sociali e che le disuguaglianze sociali d’apprendimento connesse con l’ ambiente socio-economico d’origine sono molto pronunciate. Per l’OCSE “una conclusione che si impone è la seguente: per il semplice fatto dei divari minimi osservati tra un istituto scolastico e l’altro, l’azione delle scuole sembra generalmente avere un impatto limitato. E quel che è ancora più grave è il fatto che le scuole sembrano riprodurre le strutture di privilegi esistenti invece di promuovere una distribuzione più equa delle ricadute dell’insegnamento”. In altri termini , si riconosce che le l’effetto scuola e piuttosto limitato. L’analisi comparata internazionale sfocia in una conclusione poco incoraggiante.

Il comunicato stampa dell’OCSE

Il comunicato stampa emanato dall’OCSE il 4 dicembre 2007 per presentare i risultati dell’indagine PISA 2006 è composto di due parti:

 una succinta presentazione di una paginetta;
 un riassunto dei principali risultati conseguiti nei test di lettura , di matematica e di scienze.

Il comunicato stampa ha di per sé un titolo significativo: “Per una migliore economia mondiale”. Questo titolo esplica molto bene il genere di preoccupazioni che guida gli analisti dello’ OCSE ma che soprattutto orientano l’impostazione dell’intero programma ormai noto con la coloni mo’ vista. E importante non scordare quest’aspetto. I test di Pisa non sono neutri e non hanno una finalità prioritariamente orientata verso il miglioramento dell’istruzione. Lo scopo del programma è quello di raccogliere indicazioni utili per migliorare il mercato e lo sviluppo economico e scientifico misurando l’importanza del capitale umano. Poiché il contributo dei sistemi scolastici e della scuola dell’obbligo non sembra essere rilevante, ameno tenendo conto dei dati fin qui raccolti nelle tre tornate di PISA, dati confermati anche da altre indagini su vasta scala ma a livello nazionale, si può senz’altro sostenere che si commette un errore grossolano quando si usano i dati PISA per valutare i sistemi scolastici. Forse i risultati dell’indagine PISA, ampiamente divulgati dai media, danno un’informazione approssimativa e magari nemmeno troppo errata di quel che si ottiene con i sistemi scolastici, ma ciò non è nemmeno detto, come del resto sostiene Pierre Frackowiak nell’articolo in cui contesta che i risultati mediocri degli studenti francesi nelle prove internazionali possa essere imputato ai metodi moderni d’insegnamento semplicemente perché gli strumenti usati nell’indagine PISA non permettono di cogliere quel che succede nelle classi.

Nel comunicato stampa dell’OCSE si fa osservare che solo una minoranza di quindicenni auspica svolgere una carriera scientifica. Orbene, l’OCSE non dichiara su quali criteri di riferimento fonda questo giudizio. Nessuno è infatti in grado di sapere se il 21% di quindicenni che affermano di voler lavorare in un settore scientifico di punta sia sufficiente od insufficiente, possa bastare o risulta carente per sostenere lo sviluppo economico. Quest’osservazione rivela le intenzioni recondite di PISA e gli obiettivi che l’OCSE e gli Stati Membri di questa organizzane hanno in vista promuovendo questo tipo di indagine, che non è inutile, ma che può essere contestata e messa in concorrenza con altri lavori, se i finanziamenti lo permettono, il che purtroppo non è per ora il caso. Sono i governi che finanziano PISA e che lo vogliono così come è.

Nel comunicato stampa l’OCSE attira l’ attenzione sul fatto che i dati riguardanti le scienze nell’indagine PISA 2006 non sono comparabili direttamente a quelli delle indagini anteriori perché nel frattempo è stata modificata l’impostazione del test. Questo’ affermazione è molto importante soprattutto perché sia i media sia i dirigenti politici non hanno resistito alla tentazione di comparare i punteggi conseguiti nel 2006 con quelli del 2003 o del 2000. Orbene, questo confronto è rigorosamente sbagliato.

Nella seconda parte del comunicato, l’OCSE si limita a presentare i risultati in maniera pedissequa, evitando qualsiasi approfondimento teorico e qualsiasi correlazione con le riforme scolastiche e le politiche condotte nei vari paesi nel corso questi ultimi dieci anni. Orbene, gli studenti di 15 anni ai quali è stato somministrato il test PISA nel 2006 hanno cominciato a frequentare la scuola più o meno nel 1995- 1996. Questi stessi studenti hanno in gran parte frequentato quando erano piccoli anche uno o più anni di scuola materna. Si tratta dunque di studenti che hanno fruito, nel corso della loro scolarizzazione, delle riforme scolastiche intraprese in moltissimi paesi nel corso di quest’ultimo decennio. Concludere il primo giro di boa di PISA senza stabilire nessun riferimento con il contesto pedagogico che concorre a costituire parte nelle capacità e delle competenze degli adolescenti significa amputare il valore dell’interesse dell’indagine. Nella logica di PISA che connette i punteggi al test con la qualità dei sistemi d’insegnamento questo sviluppo avrebbe potuto costituire una novità. Il comunicato stampa dell’OCSE sui risultati dell’indagine PISA 2006 è in parte una stucchevole enumerazione di risultati presentati secondo una griglia interpretativa ormai consolidata. Orbene, poco importa sapere quali sono i paesi che hanno conseguito i migliori risultati oppure quelli con un elevato numero di allievi con una debole livello di capacità.

Dopo la terza esperienza, l’OCSE si ripete ed offre una serie di osservazioni consunte ed ovvie. Le tendenze mondialmente dominanti per per quel che riguarda il livelli di competenza in lettura, matematica e scienze conseguiti nei vari sistemi scolastici sono noti. Non ci sono miracoli. Cambiamenti non ce ne sono stati per quel che riguarda i risultati, tranne qualche eccezione marginale. Le riforme non hanno sconvolto il paesaggio scolastico, stando ai risultati PISA. Si potrebbe dedurre che la politica scolastica e le riforme scolastiche non hanno modificato le prestazioni dei sistemi. Questa conclusione potrebbe già essere di per sé un’osservazione meritevole di considerazione, ma l’OCSE si guarda bene di suggerire una pista di lettura simile. Da questo esito si potrebbe anche dedurre che l’indagine presenta dei limiti perché non permette di cogliere quel che succede realmente nel mondo scolastico, oppure che le politiche scolastiche di per sé sono impotenti, oppure che l’effetto scuola è poco significativo, indipendentemente dalle riforme e dalle innovazioni.

Equità e qualità

Da tempo si sa che è possibile declinare equità e eccellenza. Questo è stato uno dei grandi meriti delle prime due indagini vista. Ora però è giunto il momento di andare oltre questa constatazione e di modificare se necessario gli strumenti d’indagine per cogliere in mondo tempestivo, come PISA ha dimostrato di sapere fare, il nesso tra riforme scolastiche e livelli di competenza.

Non basta più in ogni modo ripetere che l’equità nella distribuzione delle competenze non è conseguita. Bisogna sapere perché. Non era necessario una ennesima indagine su un campo di competenze poco esaminato come quello delle competenze scientifiche per ottenere la conferma delle osservazioni precedenti. Forse i dati raccolti con PISA non consentono di andare oltre e di dire di più. Si potrebbe obiettare che la modifica degli strumenti impedirebbe il confronto dei risultati tra i vari turni e quindi la misura del progresso realizzato, ma già ora sappiamo che questo confronto è alquanto problematico nonostante le precauzioni prese per mantenere stabili una parte degli item dei test.

La presenza ingombrante degli studenti immigrati

Anche nel comunicato stampa di presentazione dei risultati di PISA 2006, l’OCSE continua ad insistere sull’analisi dei risultati conseguiti dalla popolazione straniera, ossia ad affrontare un problema molto complesso con strumenti alquanto rudimentali. Gli immigrati per PISA sono gli studenti che sono nati all’estero od i cui genitori sono nati all’estero. La definizione potrebbe essere diversa ed infatti si confonde spesso immigrazione e nazionalità. Immigrati sono sia i cittadini che hanno una nazionalità diversa da quella dei cittadini indigeni oppure i cittadini naturalizzati ma che si continua a considerare immigrati della prima, della seconda o della terza generazione. La naturalizzazione, ossia la nazionalità conseguita da questi cittadini, non modifica il loro statuto di immigrati. Nonostante le difficoltà di fare coincidere criteri giuridici e realtà, PISA continua ad estrapolare indicazioni sull’integrazione della popolazione immigrata pur riconoscendo che il gruppo di studenti ritenuti immigrati secondo le categorie di PISA è molto eterogeneo ed è composto di nuclei familiari che hanno vissuto esperienze complesse che generano comportamenti molto differenziati dal punto di vista scolastico e culturale. La loro importanza statistica all’interno dei vari paesi varia moltissimo. Il problemi d’integrazione non sono identici da un paese all’altro, all’interno di uno stesso paese tra una nazionalità e l’altra o tra le varie comunità immigrate di una stessa nazionalità. Basti qui pensare alla grande differenza esistente all’interno della popolazione turca in Germania . Negli Stati Uniti non si è più stranieri se si è nati negli Stati Uniti mentre in molti paesi europei il fatto di essere nati nel paese in cui sono immigrati i genitori non basta a modificare lo statuto di immigrato. In Svizzera che ha una proporzione di stranieri attestata grosso modo attorno al 20 % e che da decenni ha una politica ossessionata dal problema della popolazione immigrata, non si può dire che questo gruppo costituisca una zavorra scolastica che fa abbassare la media del punteggio della Svizzera nei test delle valutazioni su vasta scala. Non è l’immigrazione che conta ma il modo con il quale il percorso scolastico è stato effettuato, dove è stato svolto, come si è svolto. I dati OCSE non raccolgono queste informazioni. Orbene, in moltissimi casi questi percorsi sono stati caotici. L’insistenza dell’OCSE a trattare questo tema nonostante la debolezza dei dati a disposizione è sorprendente e si capisce solo supponendo la presenza di pressioni politiche esercitate dietro le quinte per imputare alla politica scolastica una parte delle difficoltà incontrate per regolare l’integrazione della popolazione immigrata.

(fonte: Norberto Bottani)