A közelmúltban váltak nyilvánossá a 2022-es PISA mérés eredményei. Az erről szól politikusi nyilatkozatok, híradások egy jó része hamis általánosításoktól, indokolatlanul szélsőséges értékelésektől volt terhelt. Elhangzott, hogy Magyarország tisztességesen helyt állt, mert az OECD országok átlagán teljesítettünk. Rétvári Bence a finn eredmények romlását úgy kommentálta, hogy „soha ilyen közel nem voltunk Finnországhoz”. És elhangzott az is, hogy minden idők legrosszabb matematika átlagát produkáltuk.
Nahalka István részletes elemzésében kitér arra, milyen változásokat lehet valóban változásnak tekinteni, mi okozhatja az eredmények általános romlását és különösen a nagymértékű finn visszaesést, és mi az, amiben Magyarország teljesítménye változatlanul és egyértelműen a három legrosszabb között van a vizsgált országok közül.
Következtetéseit a következőkben foglalja össze:
A legutóbbi négy PISA mérés során egetverő változások a magyar gyerekek teljesítményében nem következtek be, a teljesítményt tekintve továbbra is az OECD átlaga körüli, egyes esetekben szignifikánsan az alatti az eredményünk, illetve továbbra is katasztrofálisak az iskolai esélyegyenlőtlenséggel és a szelekcióval kapcsolatos mérőszámaink. Az OECD sok országában bekövetkezett további eredményromlás okai viszont alapos elemzést igényelnek. A pandémia hatásán kívül számba kell venni a bevándorlók eredményeinek az esetek nagy részében az átlag csökkenését eredményező hatását, de nagy valószínűséggel a magas színvonalú pedagógiai kultúrával rendelkező országokban a PISA eredmények fontosságának átértékelődését is. Magyarországon sem a bevándorlás, sem a pedagógiai célok átértékelése nem játszott szerepet (a COVID pedig már csak az időt tekintve sem lehetett eredeti ok) az eredmények 2012-t követő jelentős csökkenésében. Sokkal inkább a hibás oktatáspolitikára vezethetők vissza a kedvezőtlen hazai változások.
Nahalka István:
Nincs itt kérem látnivaló. Vagy mégis van?
A komolyabb szakértők igen ritkán nyilatkoznak egy-egy PISA mérés után megjelenő adatokra hivatkozva az országok sorrendjéről, az abban, valamint a tesztpontszámokban bekövetkező, a megelőző mérés eredményeihez viszonyított változásokról. Tudják ugyanis, hogy a legtöbb ilyen – amúgy a sajtóban közkedvelt – nyilatkozat legtöbbször statisztikailag nem számottevő (nem szignifikáns) eredményeket harsog nemegyszer szenzációhajhász módon. Azt is tudják, hogy ha egy ország eredményét nézzük (az átlagpontszámot) valamelyik tesztben, akkor rendszerint 6-10 másik ország van, amelyeknek az eredményei nem térnek el szignifikánsan a vizsgált országétól, ezért a pontszámokban mutatkozó sorrendjük alig mond valamit a „valóságos” sorrendjükről. Azt is tudják, hogy a PISA felmérés, mint ahogy ez érvényes minden hasonló vállalkozásra, a felmért tanulók tudásának csak egy kis részét képes megragadni, csak arra alkalmas, hogy valószínűsítsen bizonyos sikereket vagy problémákat az egyes országok oktatási rendszereiben, de arra nem, hogy e rendszerek minőségéről átfogó, minden részletet magába foglaló képet nyújtson.
E korlátokhoz képest a nemrég megjelent, a 2022. évi PISA felmérésről szóló híradások egy jó része hamis általánosításoktól, indokolatlanul szélsőséges értékelésektől volt terhelt. Elhangzott itt, hogy Magyarország tisztességesen helyt állt, mert az OECD országok átlagán teljesítettünk. És elhangzott az is, hogy minden idők legrosszabb matematika átlagát produkáltuk. Ezzel szemben eredményeink eddig több esetben voltak az OECD országok átlagaitól megkülönböztethetetlenek. És bár igaz, hogy a 2022. évi PISA matematika átlagunk volt a legalacsonyabb eddig a felmérés történetében, de több olyan mérés is volt, amikor ettől az eredménytől nem tért el szignifikánsan az átlagpontszámunk.
Hosszasan taglalták egyes internetes portálok, rádiók, televíziók, hogy miképpen változtak az előző méréshez képest az eredményeink, miközben a három éven belül bekövetkező csökkenés vagy növekedés. különösen akkor, ha nem is szignifikáns, nem érdemel különösebb figyelmet. A hosszú távú tendenciákra érdemes figyelni, azokban is a szignifikáns mértékű változásokra.
Magyarország valóban az OECD átlagpontszámaitól statisztikailag nem megkülönböztethető eredményeket ért el mindhárom tesztben. Ehhez képest annak nincs különösebb jelentősége – még akkor sem, ha számos híradás ezt emelte ki –, hogy a legfejlettebb országok átlaga alatt vagy felett teljesítettünk.
Nyolc olyan OECD ország van, amelynek matematika eredménye nem különbözik a miénktől szignifikáns mértékben, köztük olyan országok, mint az Egyesült Államok, Németország, Franciaország, Spanyolország vagy Norvégia. 37 OECD ország átlagpontszámait nézve a 24. legnagyobb a mienk, vagyis naivan azt mondhatnánk, hogy a 24. helyen végeztünk, azonban „valóságosan” ez a helyezés lehet a 20-28. helyek akármelyike. 473 pontos átlagot értek el a magyar 15 évesek, azonban kb. egyharmad annak a valószínűsége, hogy a „valóságos”, a mérési hibától mentes eredmény 471,5 pontnál kisebb, vagy 475,5 pontnál nagyobb. Mindezek a tesztekkel való mérések sajátosságai, a hibák lényegében kiküszöbölhetetlenek, legalábbis ma nem ismerünk rá semmilyen racionális módszert.
Figyeljünk inkább a nagymértékű változásokra!
Hazánkat tekintve 2009-et, 2012-t követően lehettünk tanúi egy ilyen változásnak. Matematikából 2003-ban 490 pont, 2006-ban 491 pont, 2009-ben 490 pont volt az átlagunk, ám 2012-re bekövetkezett a jelentősebb csökkenés, 477 pontot értünk el (s az utána következő három mérésben 477 (2015), 481 (2018), 473 (2022) pontot). Ugyanilyen folyamat játszódott le szövegértésből is (a hét adat: 480 (2000), 482 (2003), 482 (2006), 494 (2009), 488 (2012), 470 (2015), 476 (2018), 470 (2022) pont). Természettudományból nagyon hasonlók az adatok, talán annyi különbséggel, hogy az utolsó három mérés mintha emelkedő tendenciát mutatna (de egyébként az adatok 504 (2006), 503 (2009), 494 (2012), 477 (2015), 481 (2018), 488 (2022) pont).
Látható, hogy 2009-ben még mindhárom tesztben a csúcson vagy annak közelében voltunk, de 2012-re és különösen 2015-re lényeges csökkenés következett be. Ez a változás szignifikáns, miközben a 2009. évi és a megelőző adatok között, valamint a 2015-ös és azt követő átlagok között nincsenek szignifikáns különbségek. Nincsenek erre kutatási eredmények, és biztos, hogy a jelenség nem vezethető vissza egyetlen okra, de nagyon erős lehet az a hipotézis, hogy a visszaesésben meghatározó szerepe volt a 2010-et követő oktatáspolitikai döntéseknek (Radó Péter is lényegében így értékeli a helyzetet Taní-taniban megjelent tanulmányában).
Nagyon fontos számításba venni a COVID hatását az eredményekben. A PISA mérésről szóló OECD jelentés az országok többségében bekövetkezett eredményromlás egyik okának tekinti a pandémiát, azt, hogy az oktatási rendszerek nem tudták semlegesíteni az iskolabezárások negatív következményeit. A szakértők nagy része a pandémia hatásainak kezelésében mutatkozó, országok közötti eltéréseket jelentősnek tartotta, sok empirikus vizsgálat is alátámasztotta ezt a számunkra nem kedvező értékítéletet. Az az álláspont alakult ki a szakma nagy részében, hogy Magyarország általában a fejlettebb országokhoz viszonyítva rosszabbul kezelte a COVID járvány okozta oktatási problémákat. Sokan azt vártuk (nem „vágytunk rá”, mielőtt még bárki is félremagyarázná a mondanivalót), arra számítottunk, hogy a problémák miatt a PISA eredményeink is gyengébbek lesznek számos más ország eredményénél.
Nem így történt. A PISA mérés szakemberei felhívják a figyelmet arra, hogy erős érvek sorolhatók fel a mellett, hogy a COVID járvány nem lehetett az egyedüli oka a sok országban bekövetkezett pontszám-csökkenésnek. Egyrészt sok országban – és ezzel mi is így voltunk – már 2012-ben elkezdődött a romlási folyamat, amikor még híre sem volt a járványnak. Másrészt a természettudományi tesztben nemzetközileg sem és hazánkban sem következett be visszaesés 2018 és 2022 között.
Meg kell vizsgálni azt a lehetőséget is, amelyet nem én vetek fel, hanem a PISA mérés egyik guruja, Andreas Schleicher írt le a 2022. évi mérés eredményeit magyarázó könyvében, hogy egyes országok eredményei már lényegesen nem is romolhattak volna. Talán Magyarországra is érvényes lehetett ez (nem állítom, de megvizsgálandó lehetőségnek tartom).
A félt jelentős csökkenés tehát Magyarországon nem következett be. Az OECD országokban 15 ponttal csökkent a matematika átlageredmény, nálunk csak 8 ponttal. Szövegértésből 10 ponttal csökkent az OECD átlag, a miénk csak 3-mal (a 2018. évi mérés eredményeivel történt az összehasonlítás). Mi lehet ennek az oka? Az okok keresése sok más jelenségre is rávilágít, érdemes alaposabban elemezni a helyzetet. A PISA jelentés is úgy foglal állást, hogy a csökkenésnek nem a COVID járvány volt az egyedüli oka. Én most szeretnék két olyan okot megemlíteni, amelyek lehetségesek (a már fentebb is hipotézisként megfogalmazott után), és további vizsgálatokat igényelnének.
Mi lehet a nemzetközi szintű romlás oka?
(1) Egy ország átlagos teszteredményét természetesen befolyásolják a bevándorlók csoportjába tartozó tanulók is. Ez a hatás egyes országokban kisebb jelentőséggel bír, mert kis arányt képviselnek a 15 évesek populációjában a bevándorlók, más országokban jóval nagyobb mértékben hathatnak az eredményeik akkor, ha lényegesen eltérnek a nem bevándorló tanulók eredményeitől. Rögtön itt hadd említsek egy szélsőséges példát. Szingapúr társadalmát kevéssé ismerjük, nem hiszem, hogy sokaknak van biztos tudásuk a bevándorlók arányáról, társadalmi összetételéről. A PISA jelentésből megtudhatjuk, hogy a szingapúri felmért gyerekek 28,6%-a bevándorló, ezen belül a résztvevők 11,1%-a második generációs, 17,5%-a első generációs bevándorló. Szingapúr érte el a legmagasabb átlagot matematikából, 575 pontot, de nagyon érdekes, hogy a nem bevándorlók 568, a bevándorlók 598 pontot produkáltak átlagosan (az első generációs bevándorlók 608, a második generációsok 598 pontot). Szingapúrban tehát mindkét bevándorló csoport jobb eredményt ért el, mint a nem bevándorlók, vagyis emelték az ország amúgy sem alacsony átlagát. Magyarországon hasonló a helyzet, de kisebbek a különbségek, illetve az első generációs bevándorlók egy kicsivel rosszabb eredményt értek el, mint a nem bevándorlók, a második generációsok azonban jobbat. De nálunk a tanulóknak csak 2,2%-a volt bevándorló.
Van jó néhány ország, ahol a bevándorlók eredményei rosszabbak a nem bevándorlókénál, és ráadásul egyáltalán nem mondható kicsinek az arányszámuk. Ilyen például Németország, Belgium, Svájc, Ausztria, Dánia, Finnország. A 2015. évi nagy bevándorlási hullám már a 2018. évi PISA eredményeket is befolyásolta, 2022-re azonban már ez a hatás jóval nagyobbá válhatott. A bevándorlás tekinthető tehát az egyik fontosnak látszó oknak az eredmények sok országban való csökkenését figyelve.
(2) Finnország esete, vagyis eredményeinek jelentős csökkenése azonban nagy valószínűséggel nem magyarázható még a COVID és a bevándorlás együttesével sem. A következő lehetséges ok talán Finnországban jelenhetett meg a legerőteljesebben, de a folyamat maga a PISA felmérés általános értékelése szempontjából is fontosnak tűnik. Arról van szó ugyanis, hogy a PISA vizsgálatok kezdete óta egyre reálisabban tudjuk megítélni azokat a sajátosságokat, amelyeket a mérés fókuszba helyez, és bár fontosak, de egyre jobban érzékelhetővé válik, hogy az intézmények céljainak csak egy részét képesek megragadni. A PISA mérés nyilván erős a problémamegoldás, az ismeretek gyakorlati helyzetekben történő alkalmazása és még néhány fontos kognitív sajátosság fejlettségének értékelésében. Ám egyre tudatosabbá válunk abban a tekintetben, hogy még számos rendkívül fontos tulajdonság formálódik az iskolában, olyasmi, amivel a PISA „nem tud mit kezdeni”. S amivel tud, azt is egyre alaposabban ismert problémákkal teszi.
Nem fedi a valóságot, hogy a PISA általában a matematikai eszköztudás, a szövegértés és a természettudományos felkészültség globális fejlettségét méri, mert ezek a globális fejlettségek nem léteznek. A mérés feltételezi, hogy a tanulók mért sajátosságai egy számokkal nem operáló értelemben sorba rendezhetők. Két tanulóról meg lehet állapítani valamilyen kvalitatív eljárás segítségével, egy megfelelő definícióval a háttérben, hogy melyikük fejlettebb mondjuk szövegértésből. Ez azt jelenti, hogy ha A tanuló nagyobb valószínűséggel tud helyesen megoldani egy feladatot, mint a B tanuló, akkor ez minden feladattal így van. De ez lehetetlen a szövegértés esetén, ahogy a matematika és a természettudomány esetén sem működik. A PISA, mint minden hasonló mérés, az adott kompetencia (például a szövegértés) valamilyen – egyetlen – dimenziójában tudja csak a fejlettséget mérni, s ez a másik két területtel is így van. A PISA (a TIMSS, az OKM stb.) ilyen értelemben vett korlátozottsága jelentős.
De a PISA nem mérhet olyat, ami teszttel egyáltalán nem mérhető, vagy az ilyen tesztekkel nem mérhető. Nem mérhet verbális képességeket, általában a kommunikációs képességek mérésében nem lehet igazán erős. Bár volt rá kezdeményezés, de valójában a szociális képességek rendszerével sem tud sokat kezdeni. Nem méri a tanulási képesség semmilyen dimenziójának fejlettségét. A rejtettebb pszichikus rendszerek is rejtve maradnak az ilyen tesztek előtt, és ezt a sort még nagyon sokáig folytathatnánk. A „baj” az, hogy már a példaként sorolt képességek, kompetenciák is alapvetőek, egy jóval nagyobb lista már szinte nyomasztó lehetne abban a tekintetben, hogy minek a mérésére nem alkalmasak a PISA tesztek.
Ez alapján komolyan kell vennünk azt a hipotézist, hogy egyes országok iskolarendszereiben – tudatosan vagy a fejlődés „melléktermékeként” – a PISA felmérés céljai fontosak maradtak ugyan, de felzárkózott melléjük számos, e mérés által nem kezelhető tudás, amelyeket viszont a fejlettebb iskolarendszerekben mindenképpen fejleszteni szeretnének. A PISA sorrendek élén való maradás – lehet – túl nagy áldozatot kíván az iskolarendszerektől, amelyet egyre kisebb valószínűséggel vállalnak azok, amelyekben folyamatos és magas színvonalú az innováció. Így Finnország eredménye a kezdeti igen magas pontszámokhoz képest rendkívüli mértékben csökkent, matematikából több mint 30 ponttal, szövegértésből is jóval hátrébb került a sorrendben, s csak természettudományból nem kirívó a romlás.
Lehet, hogy a finneknek van igazuk? Már megint? Mindenesetre egyes internetes orgánumok kajánul sorolták egyes nyugati EU országok eredményeiben bekövetkezett lényeges csökkenést. Az nevet igazán, aki a végén nevet.
A lista vége (és eleje)
Bár a sorrendekben elfoglalt helyekkel kapcsolatban óvatosan kell eljárnunk, a listák elején és a végén való elhelyezkedés példái mégiscsak komolyan veendők. Amióta PISA van, azóta produkál – muszáj szélsőségesen fogalmazni – gyalázatos eredményeket a magyar iskolarendszer az esélyegyenlőtlenségekkel és az iskolai szelekcióval kapcsolatban. Így volt ez a 2022. évi mérés esetében is. Csak azért nem beszélhetünk romlásról, mert a legtöbb mutató esetében „már nincs hová romlani”, sokszor az összes felmért ország (81) között is a legrosszabb eredményeket értük el. A leginkább ez annak a százalékos mutatónak az értékén látszik, amely azt fejezi ki, hogy milyen mértékig határozza meg a tanulók szociális helyzete az ország teszteredményét. E tekintetben Magyarország, Románia és Szlovákia található az utolsó három helyen, egymástól statisztikailag nem megkülönböztethető, 25% fölötti eredményekkel, és minden más, szám szerint 78 ország szignifikánsan kisebb mértékű összefüggést mutat, mint mi.
A 36 adattal bíró OECD országot tekintve a 27-32. helyek valamelyikén vagyunk a matematikából reziliens tanulók aránya tekintetében. Reziliens egy tanuló, ha a szociális helyzete szerint az alsó negyedhez, a teszteredményét tekintve viszont a felső negyedhez tartozik. Magyarországon tehát kevés olyan tanuló van, aki jó eredményeket ér el, de hátrányos helyzetű a szocioökonómiai státusa alapján. Ez az adat is az esélyegyenlőtlenségek magas szintjét mutatja. Nálunk kifejezetten nagy a különbség a szociális hátterük szerint a felső és az alsó negyedbe tartozó tanulók átlageredményei között. A harmadik legnagyobb értéket produkáltuk (szomszédainktól való eltérésünk szignifikáns). E tekintetben az előző mérésekhez képest romlott az eredményünk.
Az is közismert, hogy Magyarország rendelkezik a PISA mérésben résztvevő országok között a leginkább szelektív iskolarendszerrel. E téren sem történt semmilyen változás az előző mérésekhez képest. Nem is történhetett, hiszen semmilyen átalakulás nem változtatta meg az iskolarendszert: Magyarországon továbbra is igaz, hogy a különböző korábbi tanulási eredményeket felmutató tanulók jellemzően 14 éves korukban jelentős mértékben eltérő iskolatípusokba (gimnáziumok, technikumok, szakképző iskolák stb.) kerülnek, a PISA mérés pedig a 15 évesek körében zajlik.
Érdemes egy szót szólni a lista elejéről is. Az európai országok közül egyedül Észtország van az élmezőnyben, évek óta őrizve vezető pozícióját. Bár az „észt csoda” nálunk kevésbé ismert, mint a finn, a változás az oktatásban és az eredményekben Észtországban talán a finnél is jelentősebb.
Összefoglalva:
A legutóbbi négy PISA mérés során egetverő változások a magyar gyerekek teljesítményében nem következtek be, a teljesítményt tekintve továbbra is az OECD átlaga körüli, egyes esetekben szignifikánsan az alatti az eredményünk, illetve továbbra is katasztrofálisak az iskolai esélyegyenlőtlenséggel és a szelekcióval kapcsolatos mérőszámaink. Az OECD sok országában bekövetkezett további eredményromlás okai viszont alapos elemzést igényelnek, a pandémia hatásán kívül számba kell venni a bevándorlók eredményeinek az esetek nagy részében az átlag csökkenését eredményező hatását, de nagy valószínűséggel a magas színvonalú pedagógiai kultúrával rendelkező országokban a PISA eredmények fontosságának átértékelődését is. Magyarországon sem a bevándorlás, sem a pedagógiai célok átértékelése nem játszott szerepet (a COVID pedig már csak az időt tekintve sem lehetett eredeti ok) az eredmények 2012-t követő jelentős csökkenésében. Sokkal inkább a hibás oktatáspolitikára vezethetők vissza a kedvezőtlen hazai változások.