martes, 16 de diciembre de 2014

Fin Mooc preguntas PISA

El Mooc preguntas PISA llega a su fin. ¡Ha sido una experiencia muy enriquecedora y que sin duda me ayudará en mi trabajo!.




lunes, 15 de diciembre de 2014

Conclusiones Charla #preguntasPISA 15 Diciembre 2014

Presento a continuación las conclusiones y aspectos que más me han llamado la atención de la charla virtual del 15 de diciembre a las 17:30. Un elemento a resaltar es que no existe ningún informe que relacione las metodologías empleadas por el profesorado con los resultados, si bien el año que viene se presentará TALIS-PISA Link, que completará este punto. Además, se realizará un cuestionario a las familias, aunque ya se realizaba en otros países diferentes de España.

Es importante también conocer el perfil profesional de los expertos que se encargan de PISA. Estos son elegidos por la OCDE a propuesta de los distintos países en una convocatoria en la que se pide a los centros educativos que proporcionen posibles evaluadores. Desde el INEE se difunde ésta y las Comunidades Autónomas hacen las propuestas de candidatos, teniendo la última palabra la OCDE en su elección. Una vez elegidos, se somete a los participantes a un curso de formación para la corrección de pruebas PISA. En ellos se les da criterios comunes que en principio no deberían discrepar entre países. Los codificadores se reúnen para tratar las respuestas que suelen ser más problemáticas, en las que media un coordinador y se realiza un control de calidad. Llama la atención que las correcciones de las guías de codificación se realizan en los estudios piloto, pero que después en el proceso de suministro de la prueba sólo se anotan los fallos y no se corrigen, sino que se tienen en cuenta para la próxima edición.

En cuanto a los resultados de España, destaca que estos son mejores en ordenador respecto a la OCDE. El alumnado que no ha repetido tiene los mismos resultados que la OCDE, aunque el número de repetidores es muy alto: Ha repetido un 33%, mientras que la media de la OCDE es un 16%. Sin embargo, un 25% de este alumnado que ha repetido aprueba PISA y tiene un nivel internacional bueno, por lo que quizás no deberían haber repetido. España está en el mismo nivel que la UE en lectura y en ciencias, pero no por su mejora, sino porque la UE se está rezagando respecto a los países asiáticos; en matemáticas es donde peor se  encuentra España, estando un trimestre por detrás de la OCDE (haría falta este tiempo para que se pusiese a su nivel).

A pesar de que Finlandia, Japón o Corea presentan los mejores resultados, no existe uniformidad en las características de sus sistemas educativos, pues presentan diferencias culturales difíciles de determinar y trasladar a otros sistemas educativos. Habría que señalar el caso de Polonia, que llegó a la conclusión con PISA, TIMSS y PIRLS de que su rendimiento era muy bajo. Todo el país se implicó en arreglarlo y dotó con mayor autonomía en los centros educativos: horarios, competencias más relevantes, etc. Esta combinación de autonomía con rendición de cuentas, la introducción de un currículum estandarizado y transparencia ha permitido que llegue a los primeros puestos de la Unión Europea.

Un tema importante es el de las evaluaciones en tercero y sexto curso en 2015. Su marco de evaluación se está consensuando y se publicará acompañado con modelos de pruebas similares a TIMSS y PISA. La de tercero es prescriptiva y obligatoria, mientras que otra que se realizará para cuarto depende del centro que se acoja. Se llevará a cabo para ello un estudio piloto en mayo de 2015. Los cuestionarios de contexto tendrán gran importancia, teniendo la misma forma de trabajo que en los estudios internacionales. Se trata de evaluaciones censales, por lo que los centros tendrán un rendimiento asociado, pero no será público.

La lectura por placer es un elemento muy importante en el rendimiento educativo, que se puede fomentar mediante bibliotecas y facilitando tiempo de lectura dentro del horario escolar, así como actividades del profesorado en su quehacer diario. No se ha mostrado que tener libros en casa o acceso a Internet resulte significativo en el rendimiento educativo, aunque sí que se usan para medir el nivel socio-económico, que sí afecta. Los resultados de PISA respecto al hábito de lectura indican que no existe tendencia a su realización en España. Los centros privados tienen mejores resultados debido al nivel socio-económico del alumnado que asiste. Si se tiene esto en cuenta, los resultados son similares a los de otros centros públicos. Por lo tanto, el nivel socio-económico representa un 15-26% de la varianza del alumnado, siendo la variable más influyente, aunque no es determinante.

                Me ha llamado la atención la gran preparación que requieren las pruebas de PISA, pues se comienzan a elaborar desde un año antes a que se realice la del ciclo anterior (PISA 2015 ya se prepara desde 2011). Su coste también resalta, pues PISA en España cuesta un millón y medio de euros en pagos a la OCDE y en la aplicación de la prueba (personas, correcciones, análisis, pruebas piloto, etc.). El coste no es el mismo en todos los países para una muestra significativa, pues no todos los países tienen el mismo tamaño. Se podrían incluir competencias que aún no se evalúan, como las recientemente incorporadas competencias digital y lingüística por la OCDE y la IEA.

Dos reflexiones finales interesantes de esta charla pueden ser que los contenidos son necesarios para adquirir las competencias, por lo que ambos se necesitan mutuamente y que la importancia de la educación que el crecimiento de un país es muy grande, pues una diferencia de 25 puntos de PISA significa 0,47 puntos del PIB según Hanushek y Woessmann (2012).

Hanushek ,E., y Woessmann, L. (2012). Do better schools lead to more growth? Cognitive skills, economic outcomes, and causation, Journal of Economic Growth, 17(4), 267-321.



Comentarios en la Comunidad de ProComún:
http://procomun.educalab.es/comunidad/Evaluaciones/debate/conclusiones-charla-15-diciembre-preguntaspisa/8a736ee3-28be-4482-bdc2-4fc363c1e19e

Mensaje en el foro de debate:
https://preguntas.mooc.educalab.es/preguntas_pisa_timss/pregunta/5677/conclusiones-charla-15-diciembre-preguntaspisa/

Unidad 5. Actividad 4. Charla #preguntas PISA.

jueves, 4 de diciembre de 2014

Charla #preguntasPISA

           A continuación presento las conclusiones sobre los aspectos que más me han llamado la atención de la charla virtual del 3 de diciembre a las 17:30. Destaca la importancia de los cuestionarios de contexto para hacer comparaciones justas (el del centro, del alumno y del profesorado), los cuales han permitido obtener resultados tales como las diferencias de resultados por sexo. Además, existe una correlación entre el índice socio-económico de la familia (así como el nivel de libros en el hogar) y los resultados. Si aumenta este índice, los resultados mejoran, aunque no se trata de una relación directa, pues depende de la actitud de la familia hacia la educación.

           También se resaltó cómo la muestra a nivel estatal se elige en función del marco muestral de la OCDE (PISA) o IEA (TIMSS y PIRLS) en función de una serie de estratos. Se estratifica por comunidades autónomas en España y luego por centros públicos y privados (incluyendo los concertados). En PISA se necesitan 150 centros aproximadamente para tener una muestra representativa del país y se selecciona el alumnado del centro con un programa informático, de manera aleatoria, mientras que en TIMSS y PIRLS se eligen clases enteras. Destaca que en las pruebas PISA de 2009 se tuvo en cuenta la motivación y se hizo una valoración del esfuerzo, de manera que al alumnado se le ponía en la situación en la que la nota que obtuviesen era la que obtendría en la asignatura, y su puntuación aumentó en 5 o 6 puntos.

           Otra conclusión importante es que para los docentes es imprescindible conocer las pruebas de evaluación externa, pues éstas condicionan al sistema educativo donde se realizan e incluso en aquellos en los que no, por lo que su difusión es competencia de los organismos internacionales, del ministerio y de los docentes. El profesorado debe estar informado, acudir a las fuentes y tener interés. Las pruebas permiten ver una realidad, cómo se puede preguntar lo mismo de diferentes maneras, motivando al alumnado, haciéndole partícipe de la resolución. Permite compartir entre la comunidad docente cómo se realizan las evaluaciones en cada territorio.

           Me ha llamado la atención que algunos países han mejorado mucho por preparar a su alumnado para esas pruebas. Sin embargo, PISA se basa en competencias, por lo que no resulta tan sencillo entrenar para las pruebas. Al alumnado se le prepara cambiando el enfoque de las clases, sobre todo en el caso del formato, que es una de las complicaciones más grandes a las que se enfrentan, pues es algo nuevo para ellos/as.

           Otro dato interesante es que los centros pueden decidir no realizar las pruebas y ser sustituidos por otros. En el momento de realización de la muestra no se tiene en cuenta la brecha socio-cultural de una manera explícita, estando relacionada con factores de localización, aunque es posible que se tengan en cuenta las características socio-económicas si hubiera mucha diferencia. Esto se tiene considera a la hora de realizar las pruebas de evaluación, por lo que en algunos países pueden no tener el mismo nivel de dificultad. Algunos países aplican una serie de preguntas conocidas como UH, siendo distintas y con otro nivel para conseguir el mayor grado de homogeneidad posible.

           Las pruebas son el resultado de un proceso largo y trabajoso, siendo las personas que las elaboran expertas. En el proceso se realiza un prepilotaje previo de laboratorio precognitivo con un grupo pequeño de alumnos/as y luego se pasa al piloto, para llegar a la prueba principal. También se tiene en cuenta el efecto fatiga, lo cual supone que el alumnado puede responder peor conforme llega a las últimas preguntas. En países como Polonia ha habido cambios metodológicos debido a los malos resultados de 2006, lo que les hizo elaborar un currículum más basado en competencias y en conocimiento aplicado.

           Finalmente, existen conversaciones con los países que no realizan estas pruebas para implementarlas. En este ámbito destaca que a las reuniones internacionales asisten los representantes de todos los países que participan y los observadores (que están interesados pero no pueden participar). Me llamó la atención la existencia de pruebas en educación infantil para medir la preparación del alumnado en el paso de educación infantil a primaria. En España se hizo un estudio piloto en educación infantil que se encuentra recogido en un informe.



Comentarios en la comunidad de ProComún:
http://procomun.educalab.es/comunidad/Evaluaciones/debate/charla-preguntaspisa/68d66ba6-43ca-474b-bac5-58f2e1b6f2ac

Mensaje en el foro de debate:
https://preguntas.mooc.educalab.es/preguntas_pisa_timss/pregunta/5354/comentarios-sobre-la-charla-preguntaspisa/

Unidad 5. Actividad 2. Charla #preguntasPISA

martes, 2 de diciembre de 2014

Aplicación de una prueba

Para la realización de esta actividad he hecho una selección de las preguntas liberadas disponibles para TIMSS 2007 en 4º de primaria (9 años) en el documentoTIMSS 2007 Guía del Usuario para la Base de Datos Internacional”. Esta guía se caracteriza porque cuenta con la codificación de las preguntas y el porcentaje de aciertos internacionales, necesarios para la realización de la actividad.
Para llevar a cabo una simulación de prueba he seleccionado 4 unidades de la publicación con varios estímulos-ítems dentro de ellas, en la competencia de matemáticas, con el objetivo de que sean respondidas por el alumnado en este curso de cuarto de primaria. Para ello, se ha proporcionado esta prueba a una muestra de alumnos/as en su hora de tutoría el 2 de noviembre, de manera que han dispuesto de una hora para resolver las 10 preguntas planteadas (a 6 minutos por pregunta de media), que constituye tiempo más que suficiente, pues el alumnado ha terminado con tiempo de repasar sus respuestas. Cada una tendrá una valoración de un 1, y un resultado incorrecto constará como 0 puntos (no restará del resto de puntos), por lo que la puntuación final será sobre 10. Además, se ha intentado que la mayoría de los ítems se encuentren cercanos al contexto del alumnado planteando situaciones próximas, de manera que se sientan más involucrados/as y motivados/as a la hora de responder.

Es importante mencionar que los padres y madres del alumnado aprobaron la realización de la prueba mediante una circular que se les entregó el lunes 1 de noviembre, de manera que al día siguiente aquel que hubiese aceptado se sometió a la prueba. Un dato importante es que el 100% de los padres y madres aceptaron, siempre que se conservase el anonimato de sus hijos/as y del centro. Se le ha dejado al alumnado como materiales para completar la prueba lápiz, goma, bolígrafo azul o negro y regla, escuadra y cartabón. No se ha permitido el uso de calculadoras.

Estas preguntas corresponden a las unidades de “Figuras Geométricas”; “Medidas”; “Representación de datos” y “Números”, y por lo tanto éste es el contenido curricular de la asignatura de matemáticas en el que se quiere trabajar. Es necesario tener en cuenta que en TIMSS matemáticas las unidades temáticas no se corresponden directamente con un tema en particular como podría ser el caso de las competencias de lectura o ciencias en PISA, es decir, que no existen unidades temáticas del tipo “Caminando” o “Las camisetas de Juan”, sino que las unidades se encuentran divididas en campos de matemáticas.

Las dos primeras unidades son las denominadas “Figuras Geométricas” y “Medidas” debido a que su resolución requiere de habilidades realizando medidas y trazando figuras, por lo que el tiempo estimado en ellas sería mayor, lo que ha supuesto que estén constituidas por dos ítems. En las dos últimas unidades (“Representación de datos” y “Números”) las preguntas son más directas para su contestación, lo que ha supuesto que se elijan tres en cada unidad. Ha sido necesaria esta configuración para conseguir el equilibrio de la prueba y su adecuación al tiempo disponible para su realización.

Teniendo esto en cuenta, se ha realizado la siguiente prueba fruto de la combinación de las unidades mencionadas:

1.                  Propuesta de prueba de evaluación

A continuación se presentan las cuatro unidades seleccionadas con sus respectivos ítems para la realización de la prueba que se suministrará a los estudiantes de 4º de primaria seleccionados:


Unidad 1 – Figuras geométricas


Pregunta 1

Si giramos la figura de arriba 90º en el sentido de las agujas del reloj, ¿qué figura se obtiene?


Pregunta: M041173; Respuesta: Cerrada % Aciertos Internacionales: 30,0%

Criterios de corrección

Respuesta correcta:
Código 10: C

Respuesta incorrecta:
Código 70: Otra opción

Sin respuesta
Código 99: En blanco

Pregunta 2

A continuación se muestran dos figuras. Describe un aspecto en el que sean iguales y un aspecto en el que sean distintas.

Pregunta: M041258A; Respuesta: Abierta; % Aciertos Internacionales: 49,1%

Criterios de corrección

Respuesta correcta
Código 10: Ambos son triángulos/ambos tienen tres lados/ambos tienen el mismo número de lados/ambos tienen 3 ángulos/ambos tienen tres esquinas (o respuestas semejantes).

Respuesta incorrecta
Código 70: Tienen la misma forma.
Código 71: Ambos tienen los lados rectos.
Código 79: Otras respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta
Código 99: En blanco.

Unidad 2 – Medidas

Para hacer este ejercicio, necesitarás una regla de cartón. Utiliza el siguiente plano y tu regla para responder a las preguntas. Villaclara es una ciudad nueva. La gente de Villaclara está planificando su nueva ciudad. Han decidido situar el ayuntamiento a mitad de camino entre el lago y el bosque, tal y como muestra el plano que se ve debajo. Han medido el terreno a partir de los lugares marcados con una X.

Añade un parque, una biblioteca y un colegio al plano de Villaclara teniendo en cuenta la siguiente información:

A. El parque debe estar a 200 metros del lago, para que la gente pueda ir a pescar y a nadar. Marca con una X en el plano el lugar donde pondrías tú el parque, y escribe “Parque” debajo de la X.

B. La biblioteca debe estar al menos a 300 metros del ayuntamiento, pero no a más de 400. Marca en el plano con una X el lugar donde pondrías la biblioteca, y escribe “Biblioteca” debajo de la X.

C. El colegio debe estar a mitad de camino entre el parque y la biblioteca. Marca en el plano con una X el lugar donde pondrías el colegio, y escribe “Colegio” debajo de la X.

Pregunta: M031350A; Respuesta: Abierta; % Aciertos Internacionales: 32,3%

Criterios de corrección

Respuesta correcta
Código 10: El parque a 2 cm del lago, midiendo de X a X (+/- 2 mm.).

Respuesta incorrecta
Código 79: Respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta
Código 99: En blanco.

Pregunta 2

¿En cuál de estos dibujos la línea de puntos es un eje de simetría?


Pregunta: M041164; Respuesta: Cerrada % Aciertos Internacionales: 65%

Respuesta correcta:
Código 10: A

Respuesta incorrecta:
Código 70: Otra opción

Sin respuesta
Código 99: En blanco

Unidad 3 – Representación de datos

Pregunta 1

Esta ruleta puede detenerse en 3 colores distintos. Aquí tienes los resultados después de 100 giros.


Paula empieza a dibujar este gráfico para mostrar los resultados. Ayuda a Paula a completar la escala escribiendo los números adecuados en las casillas.

Pregunta: M041274; Respuesta: Abierta; % Aciertos Internacionales 45,4%

Criterios de corrección

Respuesta correcta
Código 10: Todos estos números anotados en su lugar adecuado.
50
40
30
20
10

Respuesta incorrecta
Código 70: Sólo 20, 30, 50 anotados correctamente en la escala.
Código 79: Otras respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta
Código 99: En blanco.

Pregunta 2

Este gráfico muestra los puntos obtenidos por 4 pilotos en el campeonato de Fórmula 1. Alonso va el primero y Hamilton el tercero. Dibuja una barra que muestre cuántos puntos ha conseguido Hamilton.


Pregunta: M041203; Respuesta: Abierta; % Aciertos Internacionales: 37,8%.

Criterios de corrección

Respuesta correcta
Código 10: Barra en 86.

Respuesta incorrecta
Código 70: Barra entre 85 y 87, pero no en 86.

Código 79: Otras respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta
Código 99: En blanco.

Pregunta 3

Patricia ha preguntado a sus 20 compañeros de clase qué zumo les gusta más: el de naranja, el de mango o el de de piña. Ha representado los datos en la gráfica de barras de arriba.
También ha dibujado un gráfico circular utilizando los mismos datos. ¿Cuál de los siguientes gráficos se corresponde con estos datos?


Pregunta: M031135; Pregunta: Cerrada; % Aciertos Internacional: 65,8%

Criterios de corrección

Respuesta correcta:
Código 10: B

Respuesta incorrecta:
Código 70: Otra opción

Sin respuesta
Código 99: En blanco

Unidad 4 - Números

Pregunta 1

8 niños tienen entre todos 74 caramelos. ¿Cuántos caramelos más son necesarios para que los niños puedan repartirlos a partes iguales?

Respuesta: ________________________________

Pregunta: M031235; Respuesta: Abierta; % Aciertos Internacionales: 34,5%

Criterios de corrección

Respuesta correcta
Código 10: 6 ó cualquier otro número que sumado a 74 dé un múltiplo de 8 (p. ej., 14, 22).

Respuesta incorrecta
Código 70: 9, 25, 9*(1/4), ó 9 y sobran 2
Código 71: 9, o sobran 2
Código 79: Otras respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta
Código 99: En blanco.

Pregunta 2

Víctor midió la longitud de la pizarra con una regla de 30 cm. La pizarra medía 6 cm menos que 9 veces la longitud de la regla. ¿Cuál es la longitud de la pizarra?

a) 264 cm
b) 270 cm
c) 276 cm
d) 279 cm

Pregunta: M031050; Respuesta: Cerrada; % Aciertos Internacionales: 45,4%

Criterios de corrección

Respuesta correcta:
Código 10: A

Respuesta incorrecta:
Código 70: Otra opción

Sin respuesta
Código 99: En blanco

Pregunta 3

Tal y como muestra la tabla, Ana sigue una regla determinada para obtener sus números a partir de los números de María.

¿Cuál es la regla que sigue Ana para obtener sus números?

Pregunta: M031258; Respuesta: Abierta; % Aciertos Internacionales: 26,2%.

Criterios de corrección

Respuesta correcta
Código 10: “Multiplicar por 3”, u otra operación adecuada.

Respuesta incorrecta
Código 70: Multiplicar sin especificar por qué número.

Código 79: Otras respuestas incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o inapropiadas).

Sin respuesta
Código 99: En blanco.

----------------------------------------------------------------------------------------------------------------

2. Selección de las unidades de evaluación y los ítems vinculados

Estos ítems han sido seleccionados con el objetivo de abordar las unidades y campos principales de las matemáticas, así como el de ofrecer diferentes tipologías de preguntas en las que el alumnado tenga que realizar diferentes tareas. Se han seleccionado preguntas de cinco tipos distintos: Cerradas tipo test de a, b, c y d (como la 1 de la unidad 1); abiertas elaboradas a contestar con un razonamiento (como la 2 de la unidad 2); abiertas destinadas a completar una imagen o figura (como la 1 de la unidad 2); abierta a completar con números (como la 1 de la unidad 3); abierta a responder con una frase (como la 1 de la unidad 4). Estas modalidades se han repetido de manera equilibrada durante la prueba.

Por lo tanto, es posible apreciar cómo la prueba contiene una serie de ítems correspondientes a diferentes unidades que pueden medir las competencias que se pretenden de una manera precisa y equilibrada, pues el número de tipologías de pregunta es elevado y se encuentran presentes en la prueba de manera equilibrada.

3. Descripción de los resultados obtenidos

A continuación se ofrecen los resultados obtenidos en función de la codificación predefinida por TIMSS (y que se ha indicado en cada pregunta). Se ha numerado a los/as individuos/as del 1 al 20 para conservar su anonimato y se han recogido sus calificaciones en cada una de las preguntas.

Se ha calculado la nota media del alumnado y se ha obtenido un 30% de suspensos (nota de 4 o menos) en la clase, el 35% ha aprobado (nota de 5 o 6), el 25% obtuvo un notable (nota de 7 u 8) y el 10% un sobresaliente (nota de 9 a 10). Es decir, un 30% de suspensos y un 70% que ha superado la prueba. En la penúltima fila se representa el porcentaje de la clase que ha acertado la pregunta (“porcentaje de aciertos clase estudiada”) y en la última fila este dato internacional proporcionado por TIMSS.

Es importante destacar que el alumnado tiende a responder a las preguntas cerradas tipo test aunque no sepa la respuesta, pues dispone del factor “azar”. Sin embargo, en las preguntas abiertas existen casos en los que el alumnado no ha respondido. Estos son los resultados obtenidos. Se han resaltado en amarillo los aciertos para facilitar su localización.


3.1. Justificación de la selección de los estímulos e ítems

Como se ha indicado, estos ítems se han seleccionado debido a su variedad en cuanto a forma de pregunta, temática, dificultad y cercanía al alumnado en lo referente a su contenido motivador, acercando las preguntas que se realizan al contexto del alumnado, y por lo tanto motivándole para que responda de una manera más precisa e involucrándose en la contestación.

3.2. Comparación de los resultados

Gracias a la disposición de los resultados internacionales respecto a los aciertos proporcionados por TIMSS es posible conocer el nivel que presenta este alumnado estudiado. En concreto, se han marcado en azul en la fila “Porcentaje de aciertos clase estudiada” aquellos casos en los que la clase ha obtenido porcentajes mayores que el nivel internacional, y en rojo si ha obtenido menor porcentaje.

Los resultados generales de esta clase han sido muy positivos, pues únicamente se ha obtenido un porcentaje de alumnado que haya acertado por debajo de los niveles internacionales en el caso de la pregunta 1 de la unidad 1 y la pregunta 3 de la unidad 3. En el resto de los casos el porcentaje es mayor, siendo en algunos de estos muy elevada la diferencia (pregunta 1 unidad 3, pregunta 2 unidad 4 o pregunta 3 unidad 4). Además, el porcentaje de alumnado que ha fallado en las cuestiones mencionadas no dista demasiado respecto a los niveles internacionales.

Como se observa por tanto, el alumnado de esta clase ha obtenido resultados en general mejores que los esperados a nivel internacional, por lo que se encuentran por encima de estos niveles en cierta medida. Sin embargo, hay que tomar con precaución estos resultados, pues se trata de una clase de 20 alumnos/as, de manera que estaríamos cometiendo un error en el caso de que generalizásemos los resultados para todo el alumnado de la zona.

3.3. Dificultades al preparar la prueba

Sin duda la realización de la prueba ha supuesto una serie de dificultades en su elaboración. Una de ellas consistía en la disponibilidad de preguntas de TIMSS 2007 para matemáticas que perteneciesen a unidades diferentes, que presentasen diferentes tipos de formulación en las preguntas (cerradas, abiertas, etc.) y que combinasen diferentes tipos de dificultades. Se ha logrado conseguir dicho equilibrio, aunque ha supuesto una gran inversión de tiempo en la selección cuidadosa de las preguntas.

Otro problema podría ser el ajuste de la realización de estas preguntas al tiempo de una hora. Sin embargo, el alumnado ha tenido tiempo incluso para repasar sus respuestas, por lo que este problema no ha sido tal finalmente.

Por otra parte, las preguntas de matemáticas de TIMSS no requieren demasiado desarrollo, lo cual se encuentra implícito en la propia naturaleza de la asignatura. Sin embargo, a pesar de la escasa disponibilidad de preguntas en este aspecto, se han proporcionado preguntas como la 2 de la unidad 1 o la pregunta 3 de la unidad 4 que pretenden que el alumnado elabore una respuesta. Las preguntas abiertas en matemáticas, a diferencia de la lectura o las ciencias, no consisten en razonar con largos textos, sino de plantear una pregunta de contenido matemático y que el alumnado tenga que desarrollar una respuesta.

La motivación para la realización de la prueba es muy necesaria y permite que el alumnado se implique en su respuesta. De esta forma, los ítems también debían presentar elementos motivadores para que el alumnado se sintiese impulsado a dar su respuesta de forma más precisa, por lo que este elemento ha dificultado la elección de preguntas para la configuración de la prueba, pero finalmente se ha logrado una gran implicación por parte del mismo en su realización.

3.4. Justificación de la integración de contenido

Como se ha comentado, el contenido de la prueba se ha integrado en función de las unidades en las que el IEA ha divido sus unidades de TIMSS 2007 en matemáticas, eligiéndose 4 de éstas que mejor representaban los campos de esta competencia. Se han integrado una serie de preguntas atendiendo, por una parte, a su equilibrio en dificultad y variedad de formas de pregunta (abierta, cerrada) y por otra, a su capacidad motivadora para que el alumnado se sienta implicado en su realización y responda de la forma más precisa posible.

Sin duda la experiencia ha merecido la pena y la puesta en práctica de los aprendido durante este mooc ha resultado satisfactoria tanto para el alumnado como para mi experiencia como docente.

Tema en el espacio de debate: https://preguntas.mooc.educalab.es/preguntas_pisa_timss/pregunta/5298/aplicacion-de-una-prueba-en-clase/



Unidad 5. Actividad 5. Aplicación de una prueba.

domingo, 30 de noviembre de 2014

Claves para interpretar los informes

       La información que se nos proporciona en los vídeos sobre las evaluaciones educativas permite obtener una serie de conclusiones. Por una parte, la puntuación de 500 en PISA no representa la media de las puntuaciones, por lo que hay que tener en cuenta los intervalos de confianza. Los resultados de esta muestra se encuentran divididos en cinco niveles, siendo el 1 el más bajo hasta el 5, el más alto. España se encuentra en el nivel 3, pues tiene un rendimiento medio aceptable. En este nivel se encuentran la mayor cantidad de los países de la OCDE. El problema que tiene España es que cuenta con una cantidad de alumnado similar al de la OCDE en niveles bajos e intermedios, pero no en niveles altos, por lo que para conocer la verdadera posición que ocupa España es necesaria una visión global.

       Otros elementos importantes de las pruebas de evaluación son los cuestionarios de contexto, que muestran otras características del alumnado, profesorado y escuela. En concreto, muestran aspectos como los niveles de estudios del padre, de la madre, el número de libros en casa, la perseverancia del alumnado, interés, motivación, etc. El profesor influye también y tiene mucha importancia hoy día, por lo que su formación es esencial. El índice socio-económico es importante y muestra que España ha obtenido resultados como los que eran de esperar para su nivel en esta variable.



Unidad 5. Actividad 1. Claves para interpretar los informes.

miércoles, 26 de noviembre de 2014

#MOOCcafé-INEE

Mi asistencia a #MOOCcafé-INEE ha sido bastante positiva y enriquecedora, pues he tenido la oportunidad de asistir a un debate con gran cantidad de profesionales docentes que han tenido un gran rodaje en este mundo. En concreto han participado Mª José, Gloria, Marivi y yo. (Nombres en Twitter: @majorih, @glesgoji, @marivigtorre y @_Luis_Ale)

Se ha destacado la utilidad clara de las pruebas de evaluación externa para la realización de una medición de competencias del alumnado de una manera adecuada, pues supone unos estándares que se han definido por organismos especializados y que cuentan con apoyo a nivel internacional. Además, los ítems que proporcionan estas pruebas de evaluación externa, no sólo en el marco de la propia prueba, sino también en la propia clase, son útiles para probar realmente si la forma en la que se está realizando la enseñanza promueve que se adquieran estas competencias. Aunque existen gran cantidad de competencias, las que no son evaluadas por estas pruebas deben ser planteadas por el profesorado propio de cada centro, como puede ser la competencia con las nuevas tecnologías, según el material disponible en el centro.

Otros temas más relevantes de este MoocCafé –INEE han sido, por una parte, el informe TALIS y el desconocimiento que existe sobre el mismo por parte de la comunidad de profesores/as, lo cual llama bastante la atención al tratarse de un tipo de evaluación encaminada a medir las características del profesorado. Se trata de un tipo de formación que requiere tiempo y que puede entrar en conflicto con los aspectos de la vida personal del profesorado, por lo que requiere una estructuración concienzuda y bien planteada para que sea eficiente.

Un tema también muy importante ha sido el de la colaboración por parte de todo el profesorado a la hora de poner en común las diferentes formas de evaluar y de definir las competencias que debe poseer el alumnado al que se imparte clase. Sería recomendable que se estableciesen estos criterios de una manera consensuada para que la escuela en su conjunto avanzase en una misma dirección. También las inspecciones resultan interesantes, pues no sólo el profesorado debería conocer las pruebas de evaluación externa y sus características, sino también el propio personal evaluador, lo que sin duda incrementaría su capacidad para impartir juicios con una base más sólida y objetiva sobre el centro o profesorado que está evaluando.

Para finalizar, el uso de pruebas realizadas a ordenador y TICs para las evaluaciones del alumnado también tiene gran relevancia hoy día y se ha comentado sobre esto que, quizás, pudieran medir competencias diferentes de las que realmente se está pretendiendo evaluar. Aunque el alumnado muestra determinadas capacidades en el manejo de las nuevas tecnologías, estas capacidades no son generalizadas entre todos, debido a los diferentes contextos socio-culturales que presenta cada uno/a, por lo que se trata de un tipo de evaluación que habría que tratar cuidadosamente.

Debido a problemas con el vídeo y el directo de Youtube, no se ha podido subir el Hangout, pero la dirección sería la siguiente (no funciona):

https://www.youtube.com/watch?v=7ahPHD8vY1Q&feature=youtu.be&a



Web del Hangout: https://plus.google.com/events/c06d2q32f96bk3v3utb4t6n0goo

Hilo en el foro de debate:
https://preguntas.mooc.educalab.es/preguntas_pisa_timss/pregunta/4651/mooccafe-inee-ideas-y-reflexiones/

Post en la Comunidad del Mooc en ProComun:
http://procomun.educalab.es/comunidad/Evaluaciones/debate/mooccafeinee-ideas-y-reflexiones/ebcfe534-6d70-4a22-a235-ddd47e2c974f








Unidad 4. Actividad 2. #MOOCafé

Recopilación actividades 2 y 3 Unidad 3

           A continuación muestro una recopilación de mis respuestas a las actividades 2 y 3 en la unidad 3, que aunque no había que mostrarlas en el blog, he decidido incluirlas para tener un registro de todo el trabajo realizado en este Mooc.


1. ¿Utilizar los recursos liberados de ediciones anteriores en las clases o en casa puede mejorar los resultados de nuestros alumnos?



2. ¿Es posible trasladar al día a día del aula alguno de los estándares de las evaluaciones externas?



Unidad 3. Actividad 2. Opinamos en Twitter.

              En respuesta a la actividad 3 de la unidad 3, analizando el contenido de los textos “Los ratones patas arriba” y “Un juez justo” es necesario tener en cuenta que ambos se dirigen a alumnado de edades diferentes: El primero pertenece a PIRLS y por lo tanto su objetivo será el alumnado de cuarto grado, mientras que el segundo corresponde a PISA, por lo que el alumnado al que se orienta es el de octavo grado. Esto se ve claramente en la complejidad que muestran los textos, así como que el texto de PIRLS incluye imágenes destinadas a que el alumnado de edades inferiores sea capaz de visualizar con mayor facilidad lo que se pretende transmitir en el mismo.
             Las preguntas realizadas sobre el texto también varían en gran medida si se realiza su comparación. Esto se debe fundamentalmente a que en PIRLS se busca que el alumnado haya comprendido lo que el texto le ha intentado transmitir, así como la enseñanza o moraleja final, mientras que en PISA las preguntas se orientan más a que el alumnado vaya comenzado a ofrecer su opinión crítica del texto y visión de la realidad que se le presenta en el texto. Esto se ve claramente en la pregunta que se realiza: “¿Crees que fue justo por parte del juez castigar de la MISMA manera todos los delitos?” o “Para esta pregunta tienes que comparar la ley y la justicia de tu país con la ley y la justicia que se presentan en la historia. En la historia, los delitos se castigan según la ley. ¿De qué manera la ley y la justicia de tu país son SIMILARES al tipo de ley y justicia presentes en la historia?”
              Aunque es difícil comparar textos de diferentes estudios y niveles, es posible observar que la orientación de los mismos está destinada a hacer visibles una serie de competencias distintas en cada uno de los niveles en los que se realiza el análisis y que supuestamente debería poseer el alumnado que pertenece a ese nivel educativo.
Hilo en el foro de debate:

https://preguntas.mooc.educalab.es/preguntas_pisa_timss/pregunta/3448/diferencias-en-la-misma-competencia-pirls-y-pisa/

Unidad 3. Actividad 3. Diferencias en la misma competencia


martes, 25 de noviembre de 2014

Elaboramos nuestros propios ítems

                A continuación, se van a proponer tres estímulos (uno de elección múltiple, otro de respuesta construida y el último de pregunta abierta), aplicados todo ellos a la competencia financiera para el grupo de edad de tercero de educación secundaria obligatoria (14 años).

Actividad 1: Pregunta de elección múltiple

1. Propuesta de estímulo-ítem-guía de codificación

                Imagina que has leído en el periódico que la vivienda ha sufrido un período de mucha inestabilidad, y en tu familia se están planteando comprar una nueva casa, por lo que podrías indicarles cómo ha evolucionado el precio del metro cuadrado para facilitarles su decisión. A continuación se muestra un gráfico en el que aparece la evolución del precio del metro cuadrado de vivienda en un país de Europa (España).


Pregunta 1

¿Qué evolución han tenido los precios del metro cuadrado de la vivienda?

A. El precio de la vivienda aumentó hasta mediados de 2007, para disminuir hasta mediados de 2013 y volver a aumentar.

B. El precio de la vivienda aumentó hasta mediados de 2006, para disminuir hasta mediados de 2011 y volver a aumentar.

C. El precio de la vivienda disminuyó hasta mediados de 2007, para aumentar hasta mediados de 2013 y volver a disminuir.

D. El precio de la vivienda ha sido constante durante todo el período.

                Este ítem se aplica a la competencia financiera para el grupo de edad de tercero de educación secundaria obligatoria (14 años). El contenido curricular a trabajar es el de la capacidad del alumnado para realizar la lectura de gráficos de contenido financiero y económico, de manera que sea capaces de entender la información de esta índole proporcionada por las fuentes de noticias e información, así como poder formarse una opinión sobre éstas sin depender de las opiniones que proporcionan otras fuentes de información.

-Máxima puntuación

Código 1: Respuesta A. El precio de la vivienda aumentó hasta mediados de 2007, para disminuir hasta mediados de 2013 y volver a aumentar.

-Sin puntuación

Código 0: Otras respuestas.

Código 9: Sin respuesta.

2. Elementos dinamizadores

                La imagen del gráfico que se incluye en la pregunta constituye un elemento dinamizador, pues no se le proporciona al alumnado únicamente un texto con gran cantidad de datos sobre el que comentar, sino que tiene que interactuar con la información contenida de manera resumida en el gráfico e interpretar lo que éste quiere transmitirle.

3. Proximidad de los estímulos

El estímulo que se le proporciona al alumnado con este gráfico presenta características motivadoras en la medida en que se le plantea una situación en que tiene que demostrar a su familia que posee conocimientos sobre el tema del precio de la vivienda y, por tanto, sobre elementos relevantes en la sociedad hoy día, aumentando su confianza en sí mismo/a.

4. Información vinculada al currículo

                Esta propuesta incluye elementos como imágenes y texto, lo cual facilita su incorporación a otros bloques de la asignatura financiera en este curso como pueden ser la definición e interpretación de modelos económicos de consumo gráficamente (como el keynesiano y las curvas IS-LM); estudio de la evolución de precios de acciones y cotizaciones; análisis macroeconómico de países mediante el estudio de su PIB, tasa de paro, etc.

5. Codificación

La codificación empleada resulta fácilmente identificable para realizar la evaluación de la pregunta, pues se trata de una pregunta de alternativa múltiple, por lo que únicamente existe una respuesta correcta y cada una de las opciones está claramente definida, de manera que la codificación en este caso es simple e inequívoca.

--------------------------------------------------------------------------------------------------------------------------


Actividad 2: Pregunta de respuesta construida

1. Propuesta de estímulo-ítem-guía de codificación

                Imagínate que un amigo de tu familia se dedica a la construcción, pero no tiene recursos monetarios suficientes para realizar una inversión para llevar a cabo sus proyectos. Para ello, quiere ir a un banco a pedir financiación, pero no conoce la diferencia entre pedir un préstamo y un crédito.

Pregunta 2:


Debido a esto, se dirige a ti y te pregunta si le puedes explicar la diferencia. Por lo tanto, ¿cuál es la diferencia entre un préstamo y un crédito según el capital a devolver y los intereses a pagar?


Espacio para desarrollo de cálculos y respuesta:
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________

Este ítem se aplica a la competencia financiera para el grupo de edad de tercero de educación secundaria obligatoria (14 años). El contenido curricular a trabajar es el de la capacidad del alumnado para definir conceptos financieros concretos, de manera que sea capaz de diferenciar las dos formas de endeudamiento más empleadas con las entidades financieras, por lo que cuando accedan a noticias sobre este tema o tengan que pedir algún tipo de préstamo o crédito conozcan las diferencias.

Máxima puntuación

Código 2: Define correctamente ambos conceptos en cuanto a qué cantidad hay que devolver y qué intereses hay que pagar. Ejemplos:

-En el préstamo hay que devolver toda su totalidad y pagar intereses por todo el capital. En el crédito sólo se devuelve la parte utilizada y se pagan intereses por esa parte.
-En el crédito se pagan intereses por lo dispuesto/utilizado, que no tiene que ser el total, y en el préstamo se paga intereses sobre el total y hay que devolverlo completamente.

Puntuación parcial

Código 1: Define una de las características de los conceptos de las dos que se piden. Ejemplos:

-En el préstamo hay que devolver toda su totalidad y en el crédito sólo se devuelve la parte utilizada.
-En el préstamo se pagan intereses por todo lo prestado y en el crédito sólo se pagan intereses por la parte dispuesta/utilizada.

Sin puntuación

Código 0: Respuesta irrelevante, inexacta, incompleta o vaga. Ejemplos (y combinación de estos):

-No existe diferencia.
-Ambos son intercambio de dinero pero de diferentes cantidades.
-Ninguno hay que devolverlo.
-No se pagan intereses.

Código 9: Sin respuesta.

2. Elementos dinamizadores

                Tanto la imagen que acompaña a la pregunta como la cercanía del problema que se plantea en esta pregunta representan elementos dinamizadores, pues el alumnado se siente identificado con la problemática y tiende a esforzarse más en dar una respuesta que si se plantease únicamente la problemática desde el punto de vista de una pregunta de definición simple.

3. Proximidad de los estímulos

Esta cercanía de la situación en la que el alumnado debe demostrar su conocimiento a alguien que puede tener relevancia en su vida hace que se sienta motivado y quiera responder de manera precisa, lo que supone una mayor implicación a la hora de dar una respuesta correcta, basándose en la premisa de que quizás se encuentre en una situación similar en el futuro y quiera mostrar sus capacidades.

4. Información vinculada al currículo

                Esta propuesta incluye elementos como imágenes y texto, lo cual facilita su incorporación a otros bloques de la asignatura financiera en este curso como pueden ser definición de otros productos financieros como los cheques, facturas, leasings, rentings, etc.; cálculo de intereses en este tipo de productos financieros; elecciones de inversión y compra-venta de activos a través de endeudamiento.

5. Codificación

                Como se ha mostrado anteriormente, la codificación es clara para realizar la evaluación de la pregunta y contiene una serie de ejemplos en cada una de las posibles respuestas a dar por el alumnado, según la profundidad en la respuesta dada por el mismo y su calificación. Se trata de una pregunta en la que se incluyen definiciones de dos características de dos productos financieros, por lo que según la completitud o parcialidad de la respuesta ésta se valorará de una forma u otra.

--------------------------------------------------------------------------------------------------------------------------

Actividad 3: Pregunta abierta

1. Propuesta de estímulo-ítem-guía de codificación

                Supón que en tu país la moneda en curso se llama tic. Imagina que has acordado con tu familia que tu paga será una cantidad fija de 2 tics al día de lunes a viernes más 5 tics extra si ayudas en casa.

Pregunta 3

Supón que quieres ahorrar para comprarte un jersey nuevo, que cuesta 27 tics, y además quieres salir todas las semanas, lo que te cuesta 6 tics cada semana. Ahorras todo lo que te sobra de la salida cada semana. ¿Cuántas semanas te llevará ahorrar el dinero suficiente para comprarlo?


Espacio para desarrollo de cálculos y respuesta:
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________

Respuesta correcta: Si ganas 2 tics al día, 5 días a la semana (5x2) = 10 tics a la semana.
La cantidad fija por ayudar en casa es de 5 tics.
Total que ganas a la semana 10 + 5 = 15 tics.
Te gastas 6 euros en salidas cada semana. 15 – 6 = 9 tics
Por lo tanto, si ahorras 9 tics a la semana, tardarás 27/9 = 3 semanas en ahorrar el dinero suficiente para comprarte el jersey.

-Máxima puntuación

Código 2: El/La alumno/a responde 3 semanas y desarrolla el problema correctamente.

Ejemplo: Plantea los cálculos y obtiene un resultado tal y como se ha expuesto en la respuesta correcta y emplea las unidades correspondientes a las “tics”.

-Puntuación parcial

Código 1: El/La alumno/a responde un número de semanas incorrecto pero el planteamiento del problema y operaciones son correctas.

Ejemplo: Comete un error al realizar la división final y hace 27/9=4, pero el procedimiento que ha seguido es el correcto y sólo ha cometido un error al realizar la operación matemática.

-Sin puntuación

Código 0: Otras respuestas. Entre ellas puede encontrarse aquella en la que el/la alumno/a responde un número de semanas correcto pero el planteamiento del problema y las operaciones no son correctas, por lo que existe la posibilidad de que haya inventado la respuesta. También podría darse el caso de que respondiese sin realizar una argumentación apoyada en los cálculos, afirmando que sería posible o no por motivos diversos sin realizar ninguna operación.

Código 9: Sin respuesta.

                Este ítem se aplica a la competencia financiera para el grupo de edad de tercero de educación secundaria obligatoria (14 años). El contenido curricular a trabajar es el de la capacidad del alumnado para administrar sus recursos económicos de manera eficiente y plantearse objetivos a largo plazo con éste, de manera que sea capaz de satisfacer sus necesidades con los recursos disponibles y no tenga que recurrir al endeudamiento para poder hacerlo en el futuro.

2. Elementos dinamizadores

                Tanto la imagen que acompaña a la pregunta en la que se muestra el bien (jersey) que quiere adquirir como la familiaridad de la situación que se le plantea constituyen elementos dinamizadores, pues el alumnado se siente identificado con la problemática como parte de su vida cotidiana, por lo que tiende a esforzarse más en dar una respuesta.

3. Proximidad de los estímulos

Como se ha indicado, la cercanía de la situación que se le plantea al alumnado con esta cuestión hace que se sienta motivado y quiera responder de manera precisa, pues se implica a la hora de dar una respuesta correcta, basándose en la premisa de que quizás se encuentre en una situación similar en el futuro.

4. Información vinculada al currículo

                Esta propuesta incluye elementos como imágenes y texto, lo cual facilita su incorporación a otros bloques de la asignatura financiera en este curso como pueden ser definición de modelos económicos de consumo (como el keynesiano) donde, además del consumo, el ahorro constituye un elemento fundamental; definición de cuentas de ahorro y de crédito, así como sus intereses a pagar/cobrar; también puede extenderse a la eficiencia en el gasto realizado por entidades.

5. Codificación

                Como se ha mostrado anteriormente, la codificación resulta clara para realizar la evaluación de la pregunta y contiene una serie de ejemplos en cada una de las posibles respuestas a dar por el alumnado, estando estos relacionados con la profundidad en la respuesta a dar por el mismo y su calificación. Al tratarse de una pregunta algo más “matemática” que implica cálculos, el abanico de ejemplos disponibles está más acotado.

--------------------------------------------------------------------------------------------------------------------------


Unidad 4. Actividad 4. Elaboramos nuestros propios ítems.