A tantervelmélet és a pedagógiai értékelés alapjai

- A tantervelmélet és a pedagógiai értékelés alapjai
- Bevezetés
- 1. A tantervelmélet alapfogalmai
  - 1.1. Az oktatási rendszer és tartalmi irányítása
    - 1.1.1. Az oktatási rendszer fogalma
    - 1.1.2. A tanítási-tanulási folyamat egy modellje
    - 1.1.3. A tartalmi szabályozás rendszere
    - 1.1.4. A tanterv fogalmának értelmezései
    - 1.1.5. A tantervi fogalmak fejlődése
  - 1.2. Összegzés
  - 1.3. Fogalomlista
  - 1.5. Tesztfeladatok
- 2. A tantervi szabályozás hazai gyakorlata
  - 2.1. A tantervi rendszer hazánkban: a kurrikulum országos és intézményi szintjei
    - 2.1.1. A Nemzeti alaptanterv
    - 2.1.2. Kerettantervek, programcsomagok, taneszközök
    - 2.1.3. Pedagógiai programok és helyi tantervek
  - 2.2. Összegzés
  - 2.3. Fogalomlista
  - 2.4. Tesztfeladatok
- 3. Tantervi célok, feladatok és követelmények
  - 3.1. A tantervi célrendszer
  - 3.2. A tantervi célok forrásai
  - 3.3. A célok lebontása, megvalósíthatóvá tétele
  - 3.4. Követelmények: tanulási eredmények
  - 3.5. A tanulási eredmények megfogalmazása
  - 3.6. Követelménytaxonómiák
    - 3.6.1. Bloom követelménytaxonómiája
    - 3.6.2. Nagy József kritériumrendszere
  - 3.7. Összegzés
  - 3.8. Fogalomlista
  - 3.9. Tesztfeladatok
- 4. A műveltségi anyag kiválasztása és elrendezése
  - 4.1. A műveltségi anyag kiválasztása
  - 4.2. A műveltségi anyag elrendezése
  - 4.3. Összegzés
  - 4.4. Fogalomlista
  - 4.5. Tesztfeladatok
- 5. A tanári tervezés
  - 5.1. A tanári tervezés tanulásának nehézségei
  - 5.2. A tanári tervezés alapelemei
  - 5.3. A tanári tervezés dokumentumai
    - 5.3.1. A mikrotervezés dokumentumai
    - 5.3.2. Nano szint: Az egyéni fejlesztési terv
  - 5.4. Összegzés
  - 5.5. Fogalomlista
  - 5.6. Tesztfeladatok
- 6. A tantervi értékelés
  - 6.1. A tantervi értékelés
  - 6.2. A tanterv koherenciája
  - 6.3. A tanterv konzisztenciája
  - 6.4. A tanterv kongruenciája
  - 6.5. Összegzés
  - 6.6. Fogalomlista
  - 6.7.Tesztfeladatok
- 7. A pedagógiai értékelés fogalma, funkciói, típusai
  - 7.1. A pedagógiai értékelés fogalma, szerepe a tanítás-tanulás rendszerében
  - 7.2. A pedagógiai értékelés funkciói az oktatási folyamatban
  - 7.3. A pedagógiai értékelés módszerei és típusai
    - 7.3.1. A pedagógiai mérés
    - 7.3.2. A normaorientált értékelés
    - 7.3.3. A kritériumorientált értékelés
  - 7.4. Összegzés
  - 7.5. Fogalomlista
  - 7.6. Tesztfeladatok
- 8. A pedagógiai mérés fogalma, folyamata, eszközei
  - 8.1. Pedagógiai mérőeszközök, mérésmetodikai szabályok és összefüggések
    - 8.1.1. Kérdőívek
    - 8.1.2. Tesztek
    - 8.1.3. Mérési hibák
    - 8.1.4. Jóságmutatók
  - 8.2. A tesztkészítés szempontjai
    - 8.2.1. Feladatírás, feladattipológia
    - 8.2.2. Tesztszerkesztés
  - 8.3. Tudásszint- és képességvizsgáló tesztek
    - 8.3.1. A tudásszintmérő tesztek készítésének folyamata
    - 8.3.2. A képességvizsgáló tesztek alkalmazása
  - 8.4. Összegzés
  - 8.5. Fogalomlista
  - 8.6. Tesztfeladatok
- 9. A tanulók értékelése
  - 9.1. A tanulói értékelés módszertani kérdései
    - 9.1.1. A tanulói értékelés fő funkciói
    - 9.1.2. A tanulói értékelés módszerei, típusai
    - 9.1.3. Tanulói értékelés az értékelést végzők és elvárások szerint
  - 9.2. A tanulói értékelés során keletkező értékletek
    - 9.2.1. Osztályzatok
    - 9.2.2. Szöveges értékelés
  - 9.3. Vizsgák, a vizsgáztatás pszichológiai hatásai
    - 9.3.1. Vizsgatípusok
    - 9.3.2. A vizsgafejlesztés folyamata
    - 9.3.3. Írásbeli és szóbeli vizsgaproduktumok készítése és értékelése
  - 9.4. Összegzés
  - 9.5. Fogalomlista
  - 9.6. Tesztfeladatok
- 10. A tanítási-tanulási folyamat értékelése
  - 10.1. A fejlesztő értékelés jellemzői
    - 10.1.1. A fejlesztő értékelés fogalma
    - 10.1.2. A fejlesztő értékelés alapelemei
  - 10.2. A tanulást támogató értékelés módszerei
    - 10.2.1. Fejlesztőfeladatok az osztálytermi gyakorlatban
    - 10.2.2. Portfólió
    - 10.2.3. A tanítási folyamat értékelése
  - 10.3. Ön- és társértékelés eszközei
  - 10.4. Összegzés
  - 10.5. Fogalomlista
  - 10.6. Tesztfeladatok
- 11. Intézményértékelés
  - 11.1. Az intézményértékelés funkciói
    - 11.1.1. Az intézményértékelés céljai, területei
    - 11.1.2. Az elszámoltathatóság fogalma és jellemzői
  - 11.2. Az iskolák eredményessége
    - 11.2.1. Az eredményesség viszonyítása és mutatói
    - 11.2.2. A pedagógiai hozzáadott érték meghatározása
  - 11.3. Országos és helyi mérések eredményeinek értelmezése, felhasználása
    - 11.3.1. Az átlageredmények és a képességszintek szerinti eloszlások értelmezése
    - 11.3.2. Az átlageredmény értelmezése a családiháttér-index alapján
    - 11.3.3. Az Országos Kompetenciamérés helyi eredményeinek felhasználása
  - 11.4. Összegzés
  - 11.5. Fogalomlista
  - 11.6. Tesztfeladatok
- 12. Rendszerszintű értékelés
  - 12.1. A rendszerszintű értékelés és mérés jellemzői
    - 12.1.1. A rendszerszintű értékelés fogalma és céljai
    - 12.1.2. A rendszerszintű mérések módszerei
  - 12.2. Hazai rendszerszintű felmérések
    - 12.2.1. Hazai mérések, az Országos Kompetenciamérés
    - 12.2.2. Országos mérések
  - 12.3. Nemzetközi rendszerszintű felmérések
    - 12.3.1. A nemzetközi vizsgálatok jellemzői
    - 12.3.2. A nemzetközi mérések eredményei
  - 12.4. Összegzés
  - 12.5. Fogalomlista
  - 12.6. Tesztfeladatok
- Fogalomlista
- Irodalom

« Előző | Következő »

# 8.1.4. Jóságmutatók

Minden mérőeszköz alkalmazásának az a célja, hogy a vizsgált tulajdonságot pontosan és megbízhatóan mérjük, és objektíven értékeljük. Ahhoz, hogy a mérési hibák teljesítménybefolyásoló szerepét kontrollálni tudjuk, a mérőeszközöknek meg kell felelniük az objektivitás, a reliabilitás és a validitás jóságmutatóinak.

## Szövegfeldolgozási feladatok

8.6. Olvassa el figyelmesen Csapó (2004, 284–289. o.) kifejtését a tesztek jóságmutatóiról, majd oldja meg a következő feladatokat!

- Határozza meg az objektivitás fogalmát és típusait! Mi a szerepük a teszt készítésének, lebonyolításának és kiértékelésének folyamatában?
- Határozza meg a reliabilitás fogalmát, jellemezze tulajdonságait, számszerűsítésének módjait!
- Határozza meg a validitás fogalmát, jellemezze tulajdonságait! Mi a szerepe a tesztfejlesztésben? Hogyan biztosítható a tudásszintmérő tesztek validitása?
- Jellemezze a reliabilitás és a validitás közötti kapcsolatokat!

8.7. Oldja meg a következő tesztfeladatokat és javítsa ki a megoldásait (8_teszt.pdf)! Hogy a mérési hibák teljesítménybefolyásoló szerepét bemutassuk, illetve, hogy a reliabilitás és a validitás fontosságát kiemeljük, a feladatok tudatosan tartalmaznak hibákat. A tesztfeladatok megoldását követően gondolja ezért végig, hogy mi a probléma a feladatokkal. Ezekre a hibákra a későbbi reflexiófeladatokkal mutatunk rá.

Reliabilitás

A megbízhatóság a mérés pontosságát jellemzi, amely a mérési hibákat becsli csoportszinten. Egy magas megbízhatóságú teszt esetében a mérési hibák alacsonyak. Ez azonban még nem jelenti azt, hogy a mérőeszköz automatikusan érvényes (pl. egy nagyon pontos hőmérő tökéletesen alkalmatlan az asztal hosszának mérésére). A megbízhatóságot különböző módszerekkel lehet becsülni. Egy univerzális mutató a Cronbach-alfa, aminek az értéke általában 0 és 1 között van; a 0,8 fölötti értéket tekintjük elfogadottnak formális tesztek esetén. Az informális teszteknél ezt a mutatót gyakran nem számolják ki, de tanárként lényeges ismernünk, hogy milyen tényezők befolyásolják a teszt megbízhatóságát. Ezek közé a tényezők közé tartozik (1) az itemek száma és minősége, valamint (2) a csoport összetétele.

A reliabilitás értéke függ az itemek számától és minőségétől. Általánosságban elmondható, hogy minél nagyobb az itemek száma, annál megbízhatóbban mérhetünk. (Ez is az oka annak, hogy pl. az asztal hosszát egy mérőszalaggal pontosabban mérhetjük, mint egy méterrúddal, mert a mérőszalag több egységet tartalmaz, mint a méterrúd). Ezért állnak a formális tesztek általában viszonylag sok itemből. A gyakorlat szempontjából egy tesztnek legalább 25–30 itemből kell állnia, és az itemek számának növelése növelheti a reliabilitást is (figyelembe véve a rendelkezésre álló időkeret korlátait, az itemek nehézségét). A megfelelő reliabilitás biztosítása érdekében az itemek függetlenségét mind a feladatokban, mind a kiértékeléskor biztosítani kell.

## Reflexiófeladat

8.8. Vizsgálja meg az előző, a tesztek jóságmutatóira vonatkozó feladatsor (8_teszt.pdf) első két feladatát! Mit gondol, hol jelennek meg a feladatok megfogalmazásában és kiértékelésében reliabilitásproblémák? Hogyan kellene a feladatokat úgy átalakítani, hogy a megbízhatóság növelhető legyen? Indokolja a módosítási javaslatait! Válaszainak elemzéséhez kattintson a Megoldás gombra! Hol talál hasonlóságokat és különbségeket a saját javaslatai és a Megoldás magyarázata között?

### Visszajelzés

Az első feladatban az utasítás megadja, hogy két elemet kell bejelölni, és így lehet két pontot elérni. Ez egyrészt azért problematikus, mert a feladat közvetlenül irányítja a feladatmegoldói tevékenységet. Másrészt, nem működik az értékelés sem, ha a tanuló pl. három (kettő megfelelő és egy rossz) választ ad meg. Néha pontlevonást is használnak, amelynek büntetőfunkciója van. De ez rontja a feladat mérőfunkcióját és egyúttal a teszt megbízhatóságát is. További tartalmi probléma, hogy az a) item részben megfelelő, ezért nem szerencsés az alkalmazása. Ezt az itemet egyértelműen hibás, vagy egyértelműen igaz állításként kellene átfogalmazni. A feladat instrukciójának módosításával, pl. „Melyik állítás igaz (I), melyik hamis (H) az objektivitásról? Betűjelekkel válaszoljon!”, a feladat összesen 5 pontossá alakítható. Ezzel a megoldással növelhető az itemszám és a feladat reliabilitása is.

A második feladat esetében probléma, hogy a feladat három pontos, így az itemek függnek egymástól: Ha csak egy válasz nem megfelelő, akkor a tanuló két pontot veszít. Ezt a feladatot tehát 5 pontossá kellene alakítani úgy, hogy a feladat megoldójának a csoportok betűjelét az itemek mellé kell írnia, tehát éppen fordítva, mint ahogyan a feladatban szerepel. (Ekkor természetesen 5 db kódkockára van szükség, és a feladatban célszerű a betűjelzést is megcserélni: nagybetűvel a csoportokat, kisbetűvel az 5 itemet lehetne jelölni.) Ezzel a módosítással szintén nő az itemek száma és ezáltal a megbízhatóság is.

A megbízhatóság nemcsak az itemek számától és minőségétől függ, hanem annak a tanulócsoportnak a teljesítményétől is, amelyben a tesztet használtuk. A reliabilitást tehát befolyásolja, hogy milyen a teljesítmények eloszlása a vizsgált csoportban: homogén vagy heterogén a csoport összetétele. Általában a megbízhatóság egy heterogén csoportban magasabb. Ebben az esetben a teszt pontosan mutatja a vizsgált személyek közötti teljesítménybeli különbségeket, ami a fejlesztés megalapozottabb tervezését is szolgálhatja. Egy homogén csoportban a teszt túl könnyű, vagy éppen túl nehéz. Tehát a teszt nem tud pontos információt nyújtani a tanulók tudásáról, mert vagy túl egyértelmű, vagy alig megoldható a legtöbb diáknak, ezért a teszt alkalmazása az adott csoportban nem megfelelő.

## Szövegfeldolgozási feladat

8.9. Vizsgálja meg az alábbi táblázatban a 2014. évi Országos kompetenciamérés 6. évfolyamos szövegértés tesztjének eredményeit! Válaszoljon a kérdésekre!

Kategória | 6. évfolyamos teszt
Az értékelésbe bevont itemek száma | 61
A központi elemzésbe bevont kitöltött tesztfüzettel rendelkező tanulók száma | 82 220
Cronbach-alfa | 0,898
Országos átlag (standard hiba*) | 1481 (0,55)
Országos szórás (standard hiba*) | 201 (0,45)

Forrás: Balkányi, Lak, Gyapay, Rábainé és Szabó, 2015, 7. o.

* A standard hiba az átlag és a szórás számítására vonatkozik, amely függ attól, hogy hány tanuló adataival számoltunk. Minél nagyobb elemszámú mintáról van szó, annál kisebb a standard hiba, és annál megbízhatóbb az átlag és a szórás számítása. (Erről részletesebben a 11.3. fejezetben lesz szó.)

- Hogyan értékeli a reliabilitást?
- Mi az alapja a megfelelő megbízhatósági mutatónak?
- Milyen a vizsgált csoport összetétele? Homogén vagy heterogén? Válaszát indokolja!

Validitás

A validitás a tesztek fontos jóságmutatója, amelynek biztosítása érdekében lényeges feladat a tesztkészítési folyamatban a teszt mérési céljának, követelményeinek és tartalmának a meghatározása. Ezen információk alapján lehet a tesztfeladatokat és az értékelési eljárásokat kidolgozni. Nagyon fontos, hogy a feladatok és a kiértékelés módja összhangban legyen a mérési célokkal, mert csak így lehet az eredményeket a mérési célok tükrében értelmezni. A gyakorlatban gyakran fordulnak elő érvényességi problémák: például, ha a tesztfeladatok instrukciói pontatlanok, vagy a feladatok háttértudás alapján is megoldhatók. Vagy ha a megértést nem zavaró, tartalmilag helyes válasz esetében a helyesírási hiba miatt nem adnak pontot pl. egy matematikadolgozatban. Ebben az esetben nem a matematikatudást, hanem a helyesírást értékelték.

## Reflexiófeladat

8.10. Vizsgálja meg az előző, a tesztek jóságmutatóira vonatkozó feladatsor (8_teszt.pdf) harmadik feladatát! Mit gondol, hol jelennek meg az itemek megfogalmazásában és kiértékelésében validitásproblémák? Hogyan kellene a feladatot úgy átalakítani, hogy az érvényesség növelhető legyen? Indokolja a módosítási javaslatait! Válaszainak elemzéséhez kattintson a Megoldás gombra! Hol talál hasonlóságokat és különbségeket a saját javaslatai és a Megoldás magyarázata között?

### Visszajelzés

Az a) item esetében az instrukció pontatlan, nem adja meg, milyen terjedelemben válaszoljon a tanuló, mikor teljes a válasza. Az itemet a „milyen” kérdőszó is bizonytalanná teszi. Ezt a feladatot egyértelműbbé kellene tenni, például: „Egy tudásszintmérő teszt reliabilitása 0,53. Megfelelő-e ennek a tesztnek a validitása? Válaszát röviden indokolja!”

A b) item megfogalmazását szintén pontosítani kellene (pl. a tudásszintmérő tesztekre kellene vonatkoztatni). De itt a kiértékelésben van a validitásprobléma, hiszen további helyes válaszok is elfogadhatók (pl. mérési cél / tananyag rendszere / célok, követelmények, stb.). Ezeket pedig jelölni kell a javítókulcsban. Ha osztálytermi mérésben alkalmazzuk a feladatot, akkor lényeges, hogy minden diáknál egységesen ugyanazokat a válaszokat fogadjuk el.

« Előző | Következő »