Autor :
Jan B. Hurych
Název :
BARIÉRY
Článek:
Čtyřikrát nic ( díl 2)
ČTYŘIKRÁT NIC (díl 2, dokončení)
Řekli bychom, že pravděpodobnost, že student zvolí správnou odpověď čistě náhodou, je při
čtyřech odpovědích 1 ku 4. Teoreticky ano (tj. kdyby vůbec nečetl otázku), ale i tak by to ovšem byla
katastrofa: celá čtvrtina studentů by totiž měla správnou odpověď, když by si jen zavázali oči a hádali. Naštěstí se celková pravděpodobnost zmenšuje s počtem otázek - tak např. aby někdo uhodl náhodou všech deset otázek z deseti správně, je pravděpodobnost jen 1 ku 1048576,
tj. (1 : 4 na desátou), což je téměř nula. Takže je vše v pořádku, ne? Právě že ne. Řekněme, že máme dost přísný systém hodnocení (7 správných odpovědí při deseti otázkách je na čtyřku, tj. na propadnutí, 8 na trojku, 9 na dvojku, deset na jedničku).
Dejme tomu, že náš student zná správně jen sedm otázek z deseti - dostal by tedy čtyřku a propadl by. Na zbývající tři, kde nezná odpověď, ale bude jen házet kostkou
(odpovědi jsou jen čtyři, tudíž hody, kde padne 5 či 6 prostě ignoruje). Pravda, aby tak uhodl všechny tři otázky, má šanci jen 1 ku 64. Ale na to, aby uhodl alespoň jednu a tudíž nepropadl, má šanci 3:4 ( zde se pravděpodobnosti sčítají) tj. daleko větší než 50 procent! Pokud by celá třída na tom byla stejně
jako náš hypotetický student, pak všem stačí na tři otázky hádat a celé tři čtvrtiny třídy tím pádem nepropadnou , ač by jinak měly!
Trochu jsem to tu přehnal, přiznám, uvádím jen krajový případ a ono to pochopitelně tak hrozné není. Především musí onen student mít těch 7 odpovědí správně, něco tedy musí znát (patrně dost :-) - ale zase ne dostatečně, když na zbývající 3 otázky odpověď nezná! Na druhé straně ale asi zná odpovědi jen na ty lehčí otázky, zatímco právě ty tři těžké vlastně "dělají" to pravé ohodnocení, takže těch sedm stejně moc neplatí, alespoň v tomto našem testu ne. Může to ale být - jako obvykle - směs lehkých a těžkých otázek a pak záleží na kvalitě testu, stejně jako to, kolik jich propadne, záleží na úrovni třídy. Dále jsem vybral velmi ubohou třídu - všichni byli na propadnutí .-). Detailista by našel v tom případě jistě ještě plno chyb. Ale mě nešlo o přesnost. Já chtěl jen ukázat, že systém není neomylný, pravděpodobnost tu hraje velkou roli a napsat správný systém otázek a odpovědí je opravdu umění.
E) A je tu ještě jedna nevýhoda: test vlastně navíc studentům napovídá, a to tím, že jim dává odpovědi, kde je jedna rozhodně správná. Kolik studentů by třeba na výsledek vůbec nepřišlo, kdyby jim nebyla předhozen ve výběru? Také toto si autoři hned od začátku dobře uvědomovali. Jenže jak to udělat, aby se vlk nažral a koza zůstala celá? Ano, odpovědi se u MCQ prostě musí prefabrikovat, jinak bychom byli zpátky na začátku a učitelé by je museli pracně číst a vyhodnocovat.
Úmyslně jsem v mém příkladu nehodnotil jeden faktor: že totiž student, když odpověď nezná, tak ji nevybírá náhodně, ale usuzuje, která by "mohla" být ta správná, podle svých ostatních znalostí,
například číselném řádu či rozměrech výsledku. A tady se právě naskytla další možnost: když ho hodně oblbneme, on se nám splete :-). Vtip je pochopitelně v odpovědích: proto se tam dávají ty trikové, jedna až dvě, zúmyslně pletoucí tak, aby se pravděpodobnost chybného rozhodnutí ještě zvětšila - pochopitelně jen u toho, kdo to nezná. Jenže se často spletou i ti, co látku znají, příkladů je nesčetně. Že to není vůbec jednoduché sepsat otázky a odpovědi pro nějaký MCQ test, to vám ani nemusím říkat. Naopak, je to zatraceně složité: musíte znát odbornou stránku věci a ještě navíc psychologii někoho, kdo tomu nerozumí, nebo rozumí jen částečně a nechá se splést. Že to není fair play? Samozřejmě že ne, ale je to prý nefér ke všem a to stejně. Pokud autor v odpovědích nepoužívá nefér triky, pokud se vyjadřuje jasně a podává plnou informaci, co se vlastně odpovědí myslí, je to přijatelná metoda. Test nemá totiž zjistit, kolik kdo toho umí, ale kolik toho neumí :-). Že je to totéž? Ale vůbec ne, právě naopak!
Jak dalece to pracuje, si asi umíte představit. Až moc. Kdybych měl v uvedeném příkladu - za předpokladu, že znám převodní konstantu, mezi librou a kilogramem - napsat přímo odpověď, trvalo by mi několik vteřin, abych to v duchu převedl a napsal správnou odpověď. Pochopitelně, ona konstanta je 2,535 takže by se výpočty lišily. Musel bych přijmout - nebo předem vyloučit - možnosti od hrubého zaokrouhleni, tj. 2,5 přes 2,54 a uznával jen výsledky získané převodem 2,535. Při MCQ testu ale musím namísto výpočtu strávit nejméně pět minut uvažováním, zda přece jen některá z druhých odpovědí nemá něco do sebe, zda tam není nějaký záludný trik, zda se přece jen nemýlím a podobně. A nakonec, když něco přehlédnu - např. dají-li mi nekvalitní xeroxovou kopii papíru s otázkami a neuvidím tam dobře desetinnou čárku, mohu se klidně splést ( na západě dokonce nepoužívají čárku, ale jen tečku). Ta zbytečná ztráta času se dá někdy dohnat, ale chybějící bod za správnou odpověď už ne. Je to prostě jako když hodnotíme závodníky-běžce na rychlost a nastavíme kolem trati naše pomocníky, kteří jim v pravidelných intervalech budou podrážet nohy.
Pravda, říkají nám, že to dělají, aby si opravdu byli jisti, zda tomu student rozumí, zda to má v krvi, zda se nenechá splést, atd. To je ovšem jen výmluva z nouze: proč by se měl někdo pořád splést, když to zná? Když vypočtu a napíšu výsledek podle vzorce a je správně, mělo by to být postačující. V normálním životě si věci buď pamatujeme nebo vypočítáme či jinak odvodíme, ale nesnažíme se pořád lidi plést. Zúmyslně sem nedávám, že se v životě pak můžeme zeptat či podívat do knih, protože to jaksi u zkoušky nelze, to chápu. Jen
jednou jsem dělal na technice zkoušku u profesora, kde jsme měli dovoleno používat naše knihy a poznámky, ale příklady byly tak odlišné od toho složitého, co jsme u zkouškyměli, že nám to moc nepomohlo - tak jak to ostatně bývá i v životě. Dodnes si toho profesora vážím jako velkého pedagoga.
Ne, život není hra s padacími pastmi typu MCQ, někdy dokonce navíc tak rafinovanými, že ani jiný učitel není schopen zjistit správnou odpověď! Dost na tom, že někteří autoři formulují otázku už hned na začátku špatně, někdy i z neznalosti správně se vyjádřit, než ze zlomyslného úmyslu. A podobně je to i s odpověďmi: občas tam proklouznout i dvě, které mohou být za určitých okolností správné - a to je chyba. Ovšem poznal jsem i takové učitele, kterým se to pletení zdálo být důležitější než vše ostatní. To je ale kontraproduktivní omyl. Studenti, kteří zkoušku přesto
udělali a vyjdou do světa, si nikdy nebudou jisti tím, co dělají a pořád se budou ohlížet, zda jim někdo nenastavuje stoličku.
F) Podívejme se ale i na druhou stranu: některé testy jsou zase tak lehké, že samotná logika - ne tedy odborná znalost - vám pomůže si vybrat správně. Například otázky jako: slouží čtvrtý vodič v elektrickém kabelu nějakému účelu? Logická odpověď musí být "ano" (protože jinak by se za něj zbytečně vyhazovaly peníze). Tím pádem je odpověď "ne" už předem označena jako špatná :-). Také zde pochopitelně nesplňuje test svůj účel, ledaže by to byl test z běžného usuzování či logiky. Opět přeháním, ale už jsem viděl hodně takových naivních otázek.
Říkají, že podle MCQ pedagog i student pozná, co nezná a že je mu to k dobru. To je nesmysl: kdo z učitelů má čas se zajímat o to, co student nezná, proč to nezná a jak to nezná? Pravda, pro studenta by to mělo cenu a je to také základem učících strojů (o těch si doufám ještě někdy něco řekneme), ale většinou si odpovědi svého MCQ testu nepamatuje - opsat otázky a odpovědi MCQ mu nedají, to by se někdo jiný pak mohl na ně předem připravit. A i když by dostal onu kopii bez otázek a odpovědí, jen s čísly 1, 2, 3, 4, která zaškrtl, nepamatuje si zase, které to byly. Nu a když propadne, pomůže mu tato informace rozhodně méně, než kdyby to věděl už před zkouškou :-).
G) Ve své praxi jsem přišel ještě na něco: formulace otázky je stejně důležitá jako formulace odpovědí. Stane se totiž, že je-li otázka pochopena doslova - protože tak má být také správně formulována! - žádná z odpovědí se třeba nepasuje. To je ovšem neschopnost autora testu, ale doplatí na to zase jen student.
H) Proto se raději berou už předem osvědčené, vyzkoušené testy. To má výhodu a pochopitelně i nevýhodu: dá se to lehce zneužít, například získáním otázek předem. A zase se našlo tak zvané řešení: studenti se rozdělí na několik skupin a každá má jen "své" otázky. Zajímavé je, že se nedělají - alespoň ne pro důležité testy - zkoušky "čistě počítačové", kde zkoušejícího dostane jen vyhodnocení testu. Chytrý student by totiž mohl odpovědi z počítače získat třeba hakrováním, případně ošidit vyhodnocovací systém, jak už se mnohokrát i stalo.
I) Jindy zase nelze určit správnou odpověď, je-li jich totiž víc. Upozornění
studentovi, že má zaškrtnout jen tu "nejvíc správnou" může napsat jen ten, kdo porušuje zásadní přijatou zásadu, že totiž správná může být jen jedna odpověď; ty "více či méně správné" prostě neexistují. Překrucováním pravidel se hra stává neurčitou a tudíž nefér. Sem patří i testy kombinované s výběrovou nebo
"grupovou" logikou. Například:
Santer je....
a) délka
b) míra
c) jednotka
(pozor, tady teprve končí otázka!)
Odpovědi:
1 - všechny tři jsou správně, tj, a) b) c)
2 - jen a) a c) jsou správné
3 - a) a c) nejsou správné
4 - a) a b) nejsou správné, c) ano
Chápete tu rafinovanost? Zde musíte vyhodnotit nejen všechny verze a, b, c, individuelně, ale i posoudit jejich logické kombinace v odpovědích. Kdyby například platilo, že ani a), ani b), ani c) není správně, pak platí jen odpověď 3, i když neříká nic o b)! Každý by z odpovědi ovšem spíše usoudil, že se předpokládá, že c) je OK, jenže pak by odpovědi 3) a 4) byly stejné! Z logiky víme, že to, co se vysloveně neříká, není ani správné, ani špatné, to se prostě může zanedbat. To je případ odpovědi 3) a právě proto je správná. Hřeší se tu na poctivost studenta, který si rozbírá všechny varianty a pak se přece jen splete a bere odpověď 3) špatně. I když vyhodnotí výrazy a), b), c) správně, udělá pak ale chybu v logice. Že to už vlastně nemá nic společného se
"santerem", je nasnadě. Ano, ale o to víc studentů se splete, víc jich vypadne a účelu bylo dosaženo :-). Jenže jakého účelu: víc je naučit, nebo jich víc vyhodit od zkoušky?
J) Z uvedeného jste asi poznali, že nejsem příliš velký zastánce testů CMQ. Podle mě je to jen
školastika, akademické hraní si na chytrého a zneužívání toho, že poctivý student věnuje každé odpovědi stejnou péči, že hledá chyby tam, kde ani nejsou a ztrácí tím drahocenný čas na zbytek otázek. Je to totiž také závod o čas, protože kdybyste studentům dali dost času, udělali by jistě méně chyb. Svými vadami MCQ přímo lákají autory příruček k sepsání návodů, jak hádat odpovědi a kombinovat možnosti, jedním slovem jak projít, aniž by si to dotyčný zasloužil. Např. radu, že mají odpovědět co znají a zbytek jen hádat, jsem s nevymyslel: vyskytla se nejméně ve dvou ze tří takových příruček, co
jsem četl. Nu proč ne, u čtyř otázek (každá se čtyřmi
odpověďmi) máte teoreticky 100% jistotu, že jednu uhodnete správně. V případě 6= propadnout a 7= nepropadnout to je opravdu hodně.
K) Využívat chyb systému je sice podvádění - ale nedivme se: je to jen odpověď na triky, které se v testech vyskytují. Těch je totiž omezené množství a dají se nakonec i sepsat. Navíc většina autorů testů používá jen omezený počet triků, který pořád opakuje v různých, ale většinou průhledných variantách.
Přesto všecko mají dnes MCQ svoje místo ve vysokoškolském testování. Zda je oprávněné, zde neposuzuji - rozhodně by ale jejich výsledek neměl být absolutní, tj. jediný, na který
se bere zřetel. Hodně lidí neprojde, protože prostě potřebují víc času se v těch vyumělkovaných labyrintech odpovědí vyznat. Jiní se prostě unaví a vzdají to. Mě ale osobně nejvíc vadí, že tyto testy vůbec neodpovídají reálnému životu, který je konec konců ta jediná pravá zkouška. Tam neexistují prefabrikované odpovědi, tam je musíte najít sami. Musíte vzít papír a pořádně si vše promyslet, tam máte všechna data přístupná, ale musíte použít správné formule či inspiraci a často i umět improvizovat. A hlavně se nezdržujete nesmysly - váš hlavní úkol je najít řešení, což u autorů testů už dávno úkolem není. Oni řešení znají, jen se je snaží před zkoušenými zamaskovat. Naštěstí existují jiné, lepší a přitom stejně rychle vyhodnotitelné testy jako je MCQ. Ale o těch si řekneme zase jindy.
(konec)