16.1.09

1455.- Dos por uno

Terence Tao escribió hace un mes este post sobre los test multiple choice (desde ahora, MC).

No veo nada criticable en su razonamiento, incluso alguna vez planeamos armar una página web que armara test aleatoriamente sobre ciertos temas para autoevaluarse, pero escuchamos un rotundo ¡no! Básicamente, el argumento es que los MC son caca, malo, y más variantes vacías de lo mismo...

* * *


Mi experiencia con los MC es limitada, rendí sólo dos exámenes de esos (¿alguno más en el secundario?, creo que no). Tampoco armé nunca un MC, y sólo en dos oportunidades tomé exámenes MC (armados por otros). En cambio, ví a profesores de otras disciplinas (sociales, económicas) utilizándolo como herramienta de corte: en sus cursos aprobaba un porcentaje prefijado, fácil de obtener a posteriori del examen (para que aprobara, digamos, el 75%, variaban el número de respuestas correctas que se pedían; o eliminaban las que todo el mundo contestaba bien/mal, y luego puntuaban las otras según la dificultad...) Pero ví a varios amigos -estudiantes de medicina- rendir decenas de estos exámenes, incluso con 80 ó 100 preguntas en una hora u hora y media, y me convencieron de que no era una forma tan mala de evaluar.

Claro, la pregunta en todo caso es ¿evaluar exactamente qué?

* * *


Creo que los exámenes MC son son como la ley del dos por uno.

La presunción de inocencia crea una paradoja respecto a la detención de alguien antes del juicio. Si es inocente, no debería estar detenido; si es culpable, sólo después de la sentencia se sabe cuánto tiempo debería estarlo. ¿Cómo mantenerlo preso, entonces, sin vulnerar sus derechos?

La herramienta que encontró el sistema es el dos por uno: el tiempo que uno está preso antes de la sentencia vale por dos, con lo cual se la cumple a cuenta, y por paga por anticipado, recibe un descuento. Ah, si era inocente... mala suerte, no queda como crédito a futuro.

[Se podría pensar que el tiempo descontado al culpable lo paga al inocente, lo cual es bastante desagradable, pero esto es así sólo si hay tantos inocentes como culpables detenidos y por plazos similares. En realidad, ambos casos revelan sólo los errores del sistema al demorar un juicio, ya sea al encarcelar un inocente, o al reducirle la condena al culpable.]

El MC para el buen alumno es similar al sistema judicial para un inocente: no tiene nada que ofrecerle si por azar marca el casillero equivocado (o es encarcelado). En cambio, al que no sabe, o al culpable, le puede dar una mano.

Ambos sistemas tienden a beneficiar al malo y castigar al bueno.

* * *


¿Qué podría evaluar entonces un MC, desde el que lo toma? Coincidimos en que no evalúa con exactitud los conocimientos de un alumno, ni el resultado es un indicador perfecto de sus capacidades: pero su mayor ventaja es que sí es un buen indicador al nivel de la población.

Dado cualquier problema, las respuestas correctas que obtengamos nos dan una buena muestra del conocimiento general (si la cantidad de alumnos es grande, claro, pero vía la estadística sabemos que 'grande' no es necesariamente 'miles', sino que bastan 'decentas' o, como mucho algunos 'cientos').

Tomar un problema a mil personas y que sólo un diez por ciento lo resuelva (digamos, con una en cuatro de resolverlo si elegían al azar) es un gran indicador de su dificultad. O de lo mal que está esa población, si el problema era tan elemental que esperábamos que todos supieran hacerlo (ej: área de un triángulo sencillo). No importan los individuos aislados que lo resuelvan ni los que no: globalmente, detectamos un problema sobre el que se debe trabajar. A la inversa, un problema resuelto mayoritariamente nos permite detectar un conocimiento común que se puede obviar.

Tao no mira este aspecto de los MC, que creo que es uno de los más valiosos desde el punto de vista del docente: es una herramienta eficaz y económica para evaluar grandes poblaciones.

3 comentarios:

Severian dijo...

Vos te cagás de risa de lo del area del triángulo porque estás en capital. Vení a provincia, vas a ver el exito de la reforma educativa de la rubia duhaldista. Es para llorar...

No tengo ninguna objeción de principio contra los multiple choice, mi objeción es política: varios insisten con los multiple choice porque es la única manera de disimular un poco el desastre.

Los periódicos "bochazos en La Plata", que nada dicen sobre la exigencia de la UNLP sino sobre el pauperrimo nivel de los secundarios bonaerenses, son exámenes multiple choice... y ni así... (en el 2007 Exactas salio en los noticieros por el bochazo en el curso de ingreso, en el 2008 el decano tomo la firme decisión de resolver ese problema y asegurar el nivel educativo de nuestra alta casa de estudios: no se tomo examen).

JuanPablo dijo...

Severian, mis últimos 7 años los pasé en una universidad de las nuevas del 3er cordón (así le decía una directiva de la misma para resumir todo en pocas palabras); pero en la capital también se siente, cada vez más.

Severian dijo...

7 años los pasé en una universidad de las nuevas del 3er cordón

Ahh, pero entonces lo del area triángulo no era en chiste...

Me dicen mis amigos de capital que en el CBC se nota una abismal diferencia entre los alumnos egresados de secundarios en la capital y en la provincia. Y si, también me dicen que el nivel en capital está bajando cada vez más.

El problema para mi es que las universidades reaccionan cuidando la quintita: si en el primer parcial de primer año desaprueban el 90%, la culpa no es del secundario, es de la cátedra, habrá que hacer exámenes más fáciles.