martes, 2 de diciembre de 2014

Aplicación de una prueba

Para la realización de esta actividad he hecho una selección de las preguntas liberadas disponibles para TIMSS 2007 en 4º de primaria (9 años) en el documentoTIMSS 2007 Guía del Usuario para la Base de Datos Internacional”. Esta guía se caracteriza porque cuenta con la codificación de las preguntas y el porcentaje de aciertos internacionales, necesarios para la realización de la actividad.
Para llevar a cabo una simulación de prueba he seleccionado 4 unidades de la publicación con varios estímulos-ítems dentro de ellas, en la competencia de matemáticas, con el objetivo de que sean respondidas por el alumnado en este curso de cuarto de primaria. Para ello, se ha proporcionado esta prueba a una muestra de alumnos/as en su hora de tutoría el 2 de noviembre, de manera que han dispuesto de una hora para resolver las 10 preguntas planteadas (a 6 minutos por pregunta de media), que constituye tiempo más que suficiente, pues el alumnado ha terminado con tiempo de repasar sus respuestas. Cada una tendrá una valoración de un 1, y un resultado incorrecto constará como 0 puntos (no restará del resto de puntos), por lo que la puntuación final será sobre 10. Además, se ha intentado que la mayoría de los ítems se encuentren cercanos al contexto del alumnado planteando situaciones próximas, de manera que se sientan más involucrados/as y motivados/as a la hora de responder.

Es importante mencionar que los padres y madres del alumnado aprobaron la realización de la prueba mediante una circular que se les entregó el lunes 1 de noviembre, de manera que al día siguiente aquel que hubiese aceptado se sometió a la prueba. Un dato importante es que el 100% de los padres y madres aceptaron, siempre que se conservase el anonimato de sus hijos/as y del centro. Se le ha dejado al alumnado como materiales para completar la prueba lápiz, goma, bolígrafo azul o negro y regla, escuadra y cartabón. No se ha permitido el uso de calculadoras.

Estas preguntas corresponden a las unidades de “Figuras Geométricas”; “Medidas”; “Representación de datos” y “Números”, y por lo tanto éste es el contenido curricular de la asignatura de matemáticas en el que se quiere trabajar. Es necesario tener en cuenta que en TIMSS matemáticas las unidades temáticas no se corresponden directamente con un tema en particular como podría ser el caso de las competencias de lectura o ciencias en PISA, es decir, que no existen unidades temáticas del tipo “Caminando” o “Las camisetas de Juan”, sino que las unidades se encuentran divididas en campos de matemáticas.

Las dos primeras unidades son las denominadas “Figuras Geométricas” y “Medidas” debido a que su resolución requiere de habilidades realizando medidas y trazando figuras, por lo que el tiempo estimado en ellas sería mayor, lo que ha supuesto que estén constituidas por dos ítems. En las dos últimas unidades (“Representación de datos” y “Números”) las preguntas son más directas para su contestación, lo que ha supuesto que se elijan tres en cada unidad. Ha sido necesaria esta configuración para conseguir el equilibrio de la prueba y su adecuación al tiempo disponible para su realización.

Teniendo esto en cuenta, se ha realizado la siguiente prueba fruto de la combinación de las unidades mencionadas:

1.                  Propuesta de prueba de evaluación

A continuación se presentan las cuatro unidades seleccionadas con sus respectivos ítems para la realización de la prueba que se suministrará a los estudiantes de 4º de primaria seleccionados:


Unidad 1 – Figuras geométricas


Pregunta 1

Si giramos la figura de arriba 90º en el sentido de las agujas del reloj, ¿qué figura se obtiene?


Pregunta: M041173; Respuesta: Cerrada % Aciertos Internacionales: 30,0%

Criterios de corrección

Respuesta correcta:
Código 10: C

Respuesta incorrecta:
Código 70: Otra opción

Sin respuesta
Código 99: En blanco

Pregunta 2

A continuación se muestran dos figuras. Describe un aspecto en el que sean iguales y un aspecto en el que sean distintas.

Pregunta: M041258A; Respuesta: Abierta; % Aciertos Internacionales: 49,1%

Criterios de corrección

Respuesta correcta
Código 10: Ambos son triángulos/ambos tienen tres lados/ambos tienen el mismo número de lados/ambos tienen 3 ángulos/ambos tienen tres esquinas (o respuestas semejantes).

Respuesta incorrecta
Código 70: Tienen la misma forma.
Código 71: Ambos tienen los lados rectos.
Código 79: Otras respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta
Código 99: En blanco.

Unidad 2 – Medidas

Para hacer este ejercicio, necesitarás una regla de cartón. Utiliza el siguiente plano y tu regla para responder a las preguntas. Villaclara es una ciudad nueva. La gente de Villaclara está planificando su nueva ciudad. Han decidido situar el ayuntamiento a mitad de camino entre el lago y el bosque, tal y como muestra el plano que se ve debajo. Han medido el terreno a partir de los lugares marcados con una X.

Añade un parque, una biblioteca y un colegio al plano de Villaclara teniendo en cuenta la siguiente información:

A. El parque debe estar a 200 metros del lago, para que la gente pueda ir a pescar y a nadar. Marca con una X en el plano el lugar donde pondrías tú el parque, y escribe “Parque” debajo de la X.

B. La biblioteca debe estar al menos a 300 metros del ayuntamiento, pero no a más de 400. Marca en el plano con una X el lugar donde pondrías la biblioteca, y escribe “Biblioteca” debajo de la X.

C. El colegio debe estar a mitad de camino entre el parque y la biblioteca. Marca en el plano con una X el lugar donde pondrías el colegio, y escribe “Colegio” debajo de la X.

Pregunta: M031350A; Respuesta: Abierta; % Aciertos Internacionales: 32,3%

Criterios de corrección

Respuesta correcta
Código 10: El parque a 2 cm del lago, midiendo de X a X (+/- 2 mm.).

Respuesta incorrecta
Código 79: Respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta
Código 99: En blanco.

Pregunta 2

¿En cuál de estos dibujos la línea de puntos es un eje de simetría?


Pregunta: M041164; Respuesta: Cerrada % Aciertos Internacionales: 65%

Respuesta correcta:
Código 10: A

Respuesta incorrecta:
Código 70: Otra opción

Sin respuesta
Código 99: En blanco

Unidad 3 – Representación de datos

Pregunta 1

Esta ruleta puede detenerse en 3 colores distintos. Aquí tienes los resultados después de 100 giros.


Paula empieza a dibujar este gráfico para mostrar los resultados. Ayuda a Paula a completar la escala escribiendo los números adecuados en las casillas.

Pregunta: M041274; Respuesta: Abierta; % Aciertos Internacionales 45,4%

Criterios de corrección

Respuesta correcta
Código 10: Todos estos números anotados en su lugar adecuado.
50
40
30
20
10

Respuesta incorrecta
Código 70: Sólo 20, 30, 50 anotados correctamente en la escala.
Código 79: Otras respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta
Código 99: En blanco.

Pregunta 2

Este gráfico muestra los puntos obtenidos por 4 pilotos en el campeonato de Fórmula 1. Alonso va el primero y Hamilton el tercero. Dibuja una barra que muestre cuántos puntos ha conseguido Hamilton.


Pregunta: M041203; Respuesta: Abierta; % Aciertos Internacionales: 37,8%.

Criterios de corrección

Respuesta correcta
Código 10: Barra en 86.

Respuesta incorrecta
Código 70: Barra entre 85 y 87, pero no en 86.

Código 79: Otras respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta
Código 99: En blanco.

Pregunta 3

Patricia ha preguntado a sus 20 compañeros de clase qué zumo les gusta más: el de naranja, el de mango o el de de piña. Ha representado los datos en la gráfica de barras de arriba.
También ha dibujado un gráfico circular utilizando los mismos datos. ¿Cuál de los siguientes gráficos se corresponde con estos datos?


Pregunta: M031135; Pregunta: Cerrada; % Aciertos Internacional: 65,8%

Criterios de corrección

Respuesta correcta:
Código 10: B

Respuesta incorrecta:
Código 70: Otra opción

Sin respuesta
Código 99: En blanco

Unidad 4 - Números

Pregunta 1

8 niños tienen entre todos 74 caramelos. ¿Cuántos caramelos más son necesarios para que los niños puedan repartirlos a partes iguales?

Respuesta: ________________________________

Pregunta: M031235; Respuesta: Abierta; % Aciertos Internacionales: 34,5%

Criterios de corrección

Respuesta correcta
Código 10: 6 ó cualquier otro número que sumado a 74 dé un múltiplo de 8 (p. ej., 14, 22).

Respuesta incorrecta
Código 70: 9, 25, 9*(1/4), ó 9 y sobran 2
Código 71: 9, o sobran 2
Código 79: Otras respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta
Código 99: En blanco.

Pregunta 2

Víctor midió la longitud de la pizarra con una regla de 30 cm. La pizarra medía 6 cm menos que 9 veces la longitud de la regla. ¿Cuál es la longitud de la pizarra?

a) 264 cm
b) 270 cm
c) 276 cm
d) 279 cm

Pregunta: M031050; Respuesta: Cerrada; % Aciertos Internacionales: 45,4%

Criterios de corrección

Respuesta correcta:
Código 10: A

Respuesta incorrecta:
Código 70: Otra opción

Sin respuesta
Código 99: En blanco

Pregunta 3

Tal y como muestra la tabla, Ana sigue una regla determinada para obtener sus números a partir de los números de María.

¿Cuál es la regla que sigue Ana para obtener sus números?

Pregunta: M031258; Respuesta: Abierta; % Aciertos Internacionales: 26,2%.

Criterios de corrección

Respuesta correcta
Código 10: “Multiplicar por 3”, u otra operación adecuada.

Respuesta incorrecta
Código 70: Multiplicar sin especificar por qué número.

Código 79: Otras respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta
Código 99: En blanco.

----------------------------------------------------------------------------------------------------------------

2. Selección de las unidades de evaluación y los ítems vinculados

Estos ítems han sido seleccionados con el objetivo de abordar las unidades y campos principales de las matemáticas, así como el de ofrecer diferentes tipologías de preguntas en las que el alumnado tenga que realizar diferentes tareas. Se han seleccionado preguntas de cinco tipos distintos: Cerradas tipo test de a, b, c y d (como la 1 de la unidad 1); abiertas elaboradas a contestar con un razonamiento (como la 2 de la unidad 2); abiertas destinadas a completar una imagen o figura (como la 1 de la unidad 2); abierta a completar con números (como la 1 de la unidad 3); abierta a responder con una frase (como la 1 de la unidad 4). Estas modalidades se han repetido de manera equilibrada durante la prueba.

Por lo tanto, es posible apreciar cómo la prueba contiene una serie de ítems correspondientes a diferentes unidades que pueden medir las competencias que se pretenden de una manera precisa y equilibrada, pues el número de tipologías de pregunta es elevado y se encuentran presentes en la prueba de manera equilibrada.

3. Descripción de los resultados obtenidos

A continuación se ofrecen los resultados obtenidos en función de la codificación predefinida por TIMSS (y que se ha indicado en cada pregunta). Se ha numerado a los/as individuos/as del 1 al 20 para conservar su anonimato y se han recogido sus calificaciones en cada una de las preguntas.

Se ha calculado la nota media del alumnado y se ha obtenido un 30% de suspensos (nota de 4 o menos) en la clase, el 35% ha aprobado (nota de 5 o 6), el 25% obtuvo un notable (nota de 7 u 8) y el 10% un sobresaliente (nota de 9 a 10). Es decir, un 30% de suspensos y un 70% que ha superado la prueba. En la penúltima fila se representa el porcentaje de la clase que ha acertado la pregunta (“porcentaje de aciertos clase estudiada”) y en la última fila este dato internacional proporcionado por TIMSS.

Es importante destacar que el alumnado tiende a responder a las preguntas cerradas tipo test aunque no sepa la respuesta, pues dispone del factor “azar”. Sin embargo, en las preguntas abiertas existen casos en los que el alumnado no ha respondido. Estos son los resultados obtenidos. Se han resaltado en amarillo los aciertos para facilitar su localización.


3.1. Justificación de la selección de los estímulos e ítems

Como se ha indicado, estos ítems se han seleccionado debido a su variedad en cuanto a forma de pregunta, temática, dificultad y cercanía al alumnado en lo referente a su contenido motivador, acercando las preguntas que se realizan al contexto del alumnado, y por lo tanto motivándole para que responda de una manera más precisa e involucrándose en la contestación.

3.2. Comparación de los resultados

Gracias a la disposición de los resultados internacionales respecto a los aciertos proporcionados por TIMSS es posible conocer el nivel que presenta este alumnado estudiado. En concreto, se han marcado en azul en la fila “Porcentaje de aciertos clase estudiada” aquellos casos en los que la clase ha obtenido porcentajes mayores que el nivel internacional, y en rojo si ha obtenido menor porcentaje.

Los resultados generales de esta clase han sido muy positivos, pues únicamente se ha obtenido un porcentaje de alumnado que haya acertado por debajo de los niveles internacionales en el caso de la pregunta 1 de la unidad 1 y la pregunta 3 de la unidad 3. En el resto de los casos el porcentaje es mayor, siendo en algunos de estos muy elevada la diferencia (pregunta 1 unidad 3, pregunta 2 unidad 4 o pregunta 3 unidad 4). Además, el porcentaje de alumnado que ha fallado en las cuestiones mencionadas no dista demasiado respecto a los niveles internacionales.

Como se observa por tanto, el alumnado de esta clase ha obtenido resultados en general mejores que los esperados a nivel internacional, por lo que se encuentran por encima de estos niveles en cierta medida. Sin embargo, hay que tomar con precaución estos resultados, pues se trata de una clase de 20 alumnos/as, de manera que estaríamos cometiendo un error en el caso de que generalizásemos los resultados para todo el alumnado de la zona.

3.3. Dificultades al preparar la prueba

Sin duda la realización de la prueba ha supuesto una serie de dificultades en su elaboración. Una de ellas consistía en la disponibilidad de preguntas de TIMSS 2007 para matemáticas que perteneciesen a unidades diferentes, que presentasen diferentes tipos de formulación en las preguntas (cerradas, abiertas, etc.) y que combinasen diferentes tipos de dificultades. Se ha logrado conseguir dicho equilibrio, aunque ha supuesto una gran inversión de tiempo en la selección cuidadosa de las preguntas.

Otro problema podría ser el ajuste de la realización de estas preguntas al tiempo de una hora. Sin embargo, el alumnado ha tenido tiempo incluso para repasar sus respuestas, por lo que este problema no ha sido tal finalmente.

Por otra parte, las preguntas de matemáticas de TIMSS no requieren demasiado desarrollo, lo cual se encuentra implícito en la propia naturaleza de la asignatura. Sin embargo, a pesar de la escasa disponibilidad de preguntas en este aspecto, se han proporcionado preguntas como la 2 de la unidad 1 o la pregunta 3 de la unidad 4 que pretenden que el alumnado elabore una respuesta. Las preguntas abiertas en matemáticas, a diferencia de la lectura o las ciencias, no consisten en razonar con largos textos, sino de plantear una pregunta de contenido matemático y que el alumnado tenga que desarrollar una respuesta.

La motivación para la realización de la prueba es muy necesaria y permite que el alumnado se implique en su respuesta. De esta forma, los ítems también debían presentar elementos motivadores para que el alumnado se sintiese impulsado a dar su respuesta de forma más precisa, por lo que este elemento ha dificultado la elección de preguntas para la configuración de la prueba, pero finalmente se ha logrado una gran implicación por parte del mismo en su realización.

3.4. Justificación de la integración de contenido

Como se ha comentado, el contenido de la prueba se ha integrado en función de las unidades en las que el IEA ha divido sus unidades de TIMSS 2007 en matemáticas, eligiéndose 4 de éstas que mejor representaban los campos de esta competencia. Se han integrado una serie de preguntas atendiendo, por una parte, a su equilibrio en dificultad y variedad de formas de pregunta (abierta, cerrada) y por otra, a su capacidad motivadora para que el alumnado se sienta implicado en su realización y responda de la forma más precisa posible.

Sin duda la experiencia ha merecido la pena y la puesta en práctica de los aprendido durante este mooc ha resultado satisfactoria tanto para el alumnado como para mi experiencia como docente.

Tema en el espacio de debate: https://preguntas.mooc.educalab.es/preguntas_pisa_timss/pregunta/5298/aplicacion-de-una-prueba-en-clase/



Unidad 5. Actividad 5. Aplicación de una prueba.

1 comentario:

  1. Hiciste un excelente trabajo Luis. Enhorabuena!.

    Un saludo,
    José Luis

    ResponderEliminar