#preguntasPISA El Mooc preguntas PISA llega a su fin. ¡Ha sido una experiencia muy enriquecedora y que sin duda me ayudará en mi trabajo!.
— Luis Ale López Agudo (@_Luis_Ale) diciembre 16, 2014
Evaluaciones educativas externas
martes, 16 de diciembre de 2014
Fin Mooc preguntas PISA
El Mooc preguntas PISA llega a su fin. ¡Ha sido una experiencia muy enriquecedora y que sin duda me ayudará en mi trabajo!.
lunes, 15 de diciembre de 2014
Conclusiones Charla #preguntasPISA 15 Diciembre 2014
Presento a
continuación las conclusiones y aspectos que más me han llamado la atención de
la charla virtual del 15 de diciembre a las 17:30. Un elemento a resaltar es
que no existe ningún informe que relacione las metodologías empleadas por el
profesorado con los resultados, si bien el año que viene se presentará
TALIS-PISA Link, que completará este punto. Además, se realizará un
cuestionario a las familias, aunque ya se realizaba en otros países diferentes
de España.
Es
importante también conocer el perfil profesional de los expertos que se
encargan de PISA. Estos son elegidos por la OCDE a propuesta de los distintos
países en una convocatoria en la que se pide a los centros educativos que
proporcionen posibles evaluadores. Desde el INEE se difunde ésta y las
Comunidades Autónomas hacen las propuestas de candidatos, teniendo la última
palabra la OCDE en su elección. Una vez elegidos, se somete a los participantes
a un curso de formación para la corrección de pruebas PISA. En ellos se les da criterios
comunes que en principio no deberían discrepar entre países. Los codificadores se
reúnen para tratar las respuestas que suelen ser más problemáticas, en las que
media un coordinador y se realiza un control de calidad. Llama la atención que
las correcciones de las guías de codificación se realizan en los estudios
piloto, pero que después en el proceso de suministro de la prueba sólo se
anotan los fallos y no se corrigen, sino que se tienen en cuenta para la
próxima edición.
En cuanto a
los resultados de España, destaca que estos son mejores en ordenador respecto a
la OCDE. El alumnado que no ha repetido tiene los mismos resultados que la
OCDE, aunque el número de repetidores es muy alto: Ha repetido un 33%, mientras
que la media de la OCDE es un 16%. Sin embargo, un 25% de este alumnado que ha
repetido aprueba PISA y tiene un nivel internacional bueno, por lo que quizás
no deberían haber repetido. España está en el mismo nivel que la UE en lectura
y en ciencias, pero no por su mejora, sino porque la UE se está rezagando
respecto a los países asiáticos; en matemáticas es donde peor se encuentra España, estando un trimestre por
detrás de la OCDE (haría falta este tiempo para que se pusiese a su nivel).
A pesar de que
Finlandia, Japón o Corea presentan los mejores resultados, no existe
uniformidad en las características de sus sistemas educativos, pues presentan
diferencias culturales difíciles de determinar y trasladar a otros sistemas
educativos. Habría que señalar el caso de Polonia, que llegó a la conclusión
con PISA, TIMSS y PIRLS de que su rendimiento era muy bajo. Todo el país se implicó
en arreglarlo y dotó con mayor autonomía en los centros educativos: horarios,
competencias más relevantes, etc. Esta combinación de autonomía con rendición
de cuentas, la introducción de un currículum estandarizado y transparencia ha
permitido que llegue a los primeros puestos de la Unión Europea.
Un tema
importante es el de las evaluaciones en tercero y sexto curso en 2015. Su marco
de evaluación se está consensuando y se publicará acompañado con modelos de
pruebas similares a TIMSS y PISA. La de tercero es prescriptiva y obligatoria, mientras
que otra que se realizará para cuarto depende del centro que se acoja. Se
llevará a cabo para ello un estudio piloto en mayo de 2015. Los cuestionarios
de contexto tendrán gran importancia, teniendo la misma forma de trabajo que en
los estudios internacionales. Se trata de evaluaciones censales, por lo que los
centros tendrán un rendimiento asociado, pero no será público.
La lectura por
placer es un elemento muy importante en el rendimiento educativo, que se puede
fomentar mediante bibliotecas y facilitando tiempo de lectura dentro del horario
escolar, así como actividades del profesorado en su quehacer diario. No se ha
mostrado que tener libros en casa o acceso a Internet resulte significativo en
el rendimiento educativo, aunque sí que se usan para medir el nivel
socio-económico, que sí afecta. Los resultados de PISA respecto al hábito de
lectura indican que no existe tendencia a su realización en España. Los centros
privados tienen mejores resultados debido al nivel socio-económico del alumnado
que asiste. Si se tiene esto en cuenta, los resultados son similares a los de
otros centros públicos. Por lo tanto, el nivel socio-económico representa un
15-26% de la varianza del alumnado, siendo la variable más influyente, aunque
no es determinante.
Me
ha llamado la atención la gran preparación que requieren las pruebas de PISA,
pues se comienzan a elaborar desde un año antes a que se realice la del ciclo
anterior (PISA 2015 ya se prepara desde 2011). Su coste también resalta, pues PISA
en España cuesta un millón y medio de euros en pagos a la OCDE y en la
aplicación de la prueba (personas, correcciones, análisis, pruebas piloto, etc.).
El coste no es el mismo en todos los países para una muestra significativa,
pues no todos los países tienen el mismo tamaño. Se podrían incluir
competencias que aún no se evalúan, como las recientemente incorporadas competencias
digital y lingüística por la OCDE y la IEA.
Dos
reflexiones finales interesantes de esta charla pueden ser que los contenidos
son necesarios para adquirir las competencias, por lo que ambos se necesitan mutuamente
y que la importancia de la educación que el crecimiento de un país es muy
grande, pues una diferencia de 25 puntos de PISA significa 0,47 puntos del PIB
según Hanushek y Woessmann (2012).
#preguntasPISA Aquí las ideas que más me han llamado la atención de la interesante charla del 15 de diciembre http://t.co/kO8bEoewXV
— Luis Ale López Agudo (@_Luis_Ale) diciembre 15, 2014
Comentarios en la Comunidad de ProComún:
http://procomun.educalab.es/comunidad/Evaluaciones/debate/conclusiones-charla-15-diciembre-preguntaspisa/8a736ee3-28be-4482-bdc2-4fc363c1e19e
Mensaje en el foro de debate:
https://preguntas.mooc.educalab.es/preguntas_pisa_timss/pregunta/5677/conclusiones-charla-15-diciembre-preguntaspisa/
Unidad 5. Actividad 4. Charla #preguntas PISA.
jueves, 4 de diciembre de 2014
Charla #preguntasPISA
A
continuación presento las conclusiones sobre los aspectos que más me han
llamado la atención de la charla virtual del 3 de diciembre a las 17:30. Destaca
la importancia de los cuestionarios de contexto para hacer comparaciones justas
(el del centro, del alumno y del profesorado), los cuales han permitido obtener
resultados tales como las diferencias de resultados por sexo. Además, existe una
correlación entre el índice socio-económico de la familia (así como el nivel de
libros en el hogar) y los resultados. Si aumenta este índice, los resultados mejoran,
aunque no se trata de una relación directa, pues depende de la actitud de la
familia hacia la educación.
También
se resaltó cómo la muestra a nivel estatal se elige en función del marco
muestral de la OCDE (PISA) o IEA (TIMSS y PIRLS) en función de una serie de
estratos. Se estratifica por comunidades autónomas en España y luego por
centros públicos y privados (incluyendo los concertados). En PISA se necesitan
150 centros aproximadamente para tener una muestra representativa del país y se
selecciona el alumnado del centro con un programa informático, de manera aleatoria,
mientras que en TIMSS y PIRLS se eligen clases enteras. Destaca que en las
pruebas PISA de 2009 se tuvo en cuenta la motivación y se hizo una valoración
del esfuerzo, de manera que al alumnado se le ponía en la situación en la que
la nota que obtuviesen era la que obtendría en la asignatura, y su puntuación
aumentó en 5 o 6 puntos.
Otra
conclusión importante es que para los docentes es imprescindible conocer las
pruebas de evaluación externa, pues éstas condicionan al sistema educativo
donde se realizan e incluso en aquellos en los que no, por lo que su difusión
es competencia de los organismos internacionales, del ministerio y de los
docentes. El profesorado debe estar informado, acudir a las fuentes y tener
interés. Las pruebas permiten ver una realidad, cómo se puede preguntar lo
mismo de diferentes maneras, motivando al alumnado, haciéndole partícipe de la
resolución. Permite compartir entre la comunidad docente cómo se realizan las
evaluaciones en cada territorio.
Me
ha llamado la atención que algunos países han mejorado mucho por preparar a su
alumnado para esas pruebas. Sin embargo, PISA se basa en competencias, por lo
que no resulta tan sencillo entrenar para las pruebas. Al alumnado se le prepara
cambiando el enfoque de las clases, sobre todo en el caso del formato, que es
una de las complicaciones más grandes a las que se enfrentan, pues es algo
nuevo para ellos/as.
Otro
dato interesante es que los centros pueden decidir no realizar las pruebas y ser
sustituidos por otros. En el momento de realización de la muestra no se tiene
en cuenta la brecha socio-cultural de una manera explícita, estando relacionada
con factores de localización, aunque es posible que se tengan en cuenta las características
socio-económicas si hubiera mucha diferencia. Esto se tiene considera a la hora
de realizar las pruebas de evaluación, por lo que en algunos países pueden no
tener el mismo nivel de dificultad. Algunos países aplican una serie de
preguntas conocidas como UH, siendo distintas y con otro nivel para conseguir
el mayor grado de homogeneidad posible.
Las
pruebas son el resultado de un proceso largo y trabajoso, siendo las personas
que las elaboran expertas. En el proceso se realiza un prepilotaje previo de
laboratorio precognitivo con un grupo pequeño de alumnos/as y luego se pasa al
piloto, para llegar a la prueba principal. También se tiene en cuenta el efecto
fatiga, lo cual supone que el alumnado puede responder peor conforme llega a
las últimas preguntas. En países como Polonia ha habido cambios metodológicos
debido a los malos resultados de 2006, lo que les hizo elaborar un currículum
más basado en competencias y en conocimiento aplicado.
Finalmente, existen conversaciones con los países que
no realizan estas pruebas para implementarlas. En este ámbito destaca que a las
reuniones internacionales asisten los representantes de todos los países que
participan y los observadores (que están interesados pero no pueden
participar). Me llamó la atención la existencia de pruebas en educación
infantil para medir la preparación del alumnado en el paso de educación
infantil a primaria. En España se hizo un estudio piloto en educación infantil que
se encuentra recogido en un informe.
#preguntasPISA Aquí mis comentarios sobre la instructiva charla virtual del 3 de diciembre http://t.co/aeSwcVQ6Su
— Luis Ale López Agudo (@_Luis_Ale) diciembre 4, 2014
Comentarios en la comunidad de ProComún:
http://procomun.educalab.es/comunidad/Evaluaciones/debate/charla-preguntaspisa/68d66ba6-43ca-474b-bac5-58f2e1b6f2ac
Mensaje en el foro de debate:
https://preguntas.mooc.educalab.es/preguntas_pisa_timss/pregunta/5354/comentarios-sobre-la-charla-preguntaspisa/
Unidad 5. Actividad 2. Charla #preguntasPISA
martes, 2 de diciembre de 2014
Aplicación de una prueba
Para la realización de
esta actividad he hecho una selección de las preguntas liberadas disponibles
para TIMSS 2007 en 4º de primaria (9 años) en el documento “TIMSS 2007 Guía del Usuario para la Base de Datos Internacional”.
Esta guía se caracteriza porque cuenta con la codificación de las preguntas y el porcentaje de
aciertos internacionales, necesarios para la realización de la actividad.
Para llevar a cabo una simulación de
prueba he seleccionado 4 unidades de la publicación con varios estímulos-ítems
dentro de ellas, en la competencia de matemáticas,
con el objetivo de que sean respondidas por el alumnado en este curso de cuarto de primaria. Para ello, se ha proporcionado
esta prueba a una muestra de alumnos/as en su hora de tutoría el 2 de
noviembre, de manera que han dispuesto de una hora para resolver las 10
preguntas planteadas (a 6 minutos por pregunta de media), que constituye tiempo
más que suficiente, pues el alumnado ha terminado con tiempo de repasar sus
respuestas. Cada una tendrá una valoración de un 1, y un resultado incorrecto
constará como 0 puntos (no restará del resto de puntos), por lo que la
puntuación final será sobre 10. Además, se ha intentado que la mayoría de los
ítems se encuentren cercanos al contexto del alumnado planteando situaciones
próximas, de manera que se sientan más involucrados/as y motivados/as a la hora de
responder.
Es importante mencionar que los padres y
madres del alumnado aprobaron la realización de la prueba mediante una circular
que se les entregó el lunes 1 de noviembre, de manera que al día siguiente aquel
que hubiese aceptado se sometió a la prueba. Un dato importante es que el 100%
de los padres y madres aceptaron, siempre que se conservase el anonimato de sus
hijos/as y del centro. Se le ha dejado al alumnado como materiales para
completar la prueba lápiz, goma, bolígrafo azul o negro y regla, escuadra y
cartabón. No se ha permitido el uso de calculadoras.
Estas preguntas corresponden a las
unidades de “Figuras Geométricas”; “Medidas”; “Representación de datos” y
“Números”, y por lo tanto éste es el contenido
curricular de la asignatura de matemáticas en el que se quiere trabajar. Es
necesario tener en cuenta que en TIMSS matemáticas las unidades temáticas no se
corresponden directamente con un tema en particular como podría ser el caso de
las competencias de lectura o ciencias en PISA, es decir, que no existen
unidades temáticas del tipo “Caminando” o “Las camisetas de Juan”, sino que las
unidades se encuentran divididas en campos de matemáticas.
Las dos primeras unidades son las
denominadas “Figuras Geométricas” y “Medidas” debido a que su resolución
requiere de habilidades realizando medidas y trazando figuras, por lo que el
tiempo estimado en ellas sería mayor, lo que ha supuesto que estén constituidas
por dos ítems. En las dos últimas unidades (“Representación de datos” y
“Números”) las preguntas son más directas para su contestación, lo que ha
supuesto que se elijan tres en cada unidad. Ha sido necesaria esta
configuración para conseguir el equilibrio de la prueba y su adecuación al
tiempo disponible para su realización.
Teniendo esto en cuenta, se ha realizado
la siguiente prueba fruto de la combinación de las unidades mencionadas:
1.
Propuesta
de prueba de evaluación
Unidad 1 – Figuras
geométricas
Pregunta 1
Si giramos la figura de arriba 90º en el sentido de las
agujas del reloj, ¿qué figura se obtiene?
Pregunta: M041173; Respuesta: Cerrada % Aciertos Internacionales:
30,0%
Criterios
de corrección
Respuesta correcta:
Código 10: C
Respuesta incorrecta:
Código 70: Otra opción
Sin respuesta
Código 99: En blanco
Pregunta 2
A continuación se muestran dos figuras. Describe un aspecto
en el que sean iguales y un aspecto en el que sean distintas.
Pregunta: M041258A; Respuesta: Abierta;
% Aciertos
Internacionales: 49,1%
Criterios
de corrección
Respuesta correcta
Código 10: Ambos son triángulos/ambos tienen tres
lados/ambos tienen el mismo número de lados/ambos tienen 3 ángulos/ambos tienen
tres esquinas (o respuestas semejantes).
Respuesta
incorrecta
Código 70: Tienen la misma forma.
Código 71: Ambos tienen los lados rectos.
Código 79: Otras respuestas incorrectas (incluidas
respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o
inapropiadas).
Sin respuesta
Código 99: En blanco.
Unidad 2 – Medidas
Para
hacer este ejercicio, necesitarás una regla de cartón. Utiliza el siguiente
plano y tu regla para responder a las preguntas. Villaclara es una ciudad
nueva. La gente de Villaclara está planificando su nueva ciudad. Han decidido
situar el ayuntamiento a mitad de camino entre el lago y el bosque, tal y como
muestra el plano que se ve debajo. Han medido el terreno a partir de los
lugares marcados con una X.
Añade un parque, una biblioteca
y un colegio al plano de Villaclara teniendo en cuenta la siguiente
información:
A. El parque debe estar a 200 metros del
lago, para que la gente pueda ir a pescar y a nadar. Marca con una X en el
plano el lugar donde pondrías tú el parque,
y escribe “Parque” debajo de la X.
B. La biblioteca debe estar al menos a 300 metros
del ayuntamiento, pero no a más de 400. Marca en el plano con una X el lugar
donde pondrías la biblioteca, y escribe “Biblioteca” debajo de la X.
C. El colegio debe estar a mitad de camino
entre el parque y la biblioteca. Marca en el plano con una X el lugar donde
pondrías el colegio, y escribe “Colegio” debajo de la X.
Pregunta: M031350A; Respuesta: Abierta; %
Aciertos Internacionales: 32,3%
Criterios
de corrección
Respuesta correcta
Código
10: El parque a 2 cm del
lago, midiendo de X a X (+/- 2 mm.).
Respuesta incorrecta
Código
79: Respuestas incorrectas
(incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas
ilegibles o inapropiadas).
Sin respuesta
Código 99: En blanco.
Pregunta 2
¿En cuál de estos dibujos la línea de puntos es un eje de
simetría?
Pregunta: M041164; Respuesta: Cerrada % Aciertos
Internacionales: 65%
Respuesta correcta:
Código 10: A
Respuesta incorrecta:
Código 70: Otra opción
Sin respuesta
Código 99: En blanco
Unidad 3 –
Representación de datos
Pregunta 1
Esta ruleta puede detenerse en 3 colores distintos. Aquí
tienes los resultados después de 100 giros.
Paula empieza a dibujar este gráfico para mostrar los
resultados. Ayuda a Paula a completar la escala escribiendo los números
adecuados en las casillas.
Pregunta: M041274; Respuesta: Abierta; % Aciertos Internacionales 45,4%
Criterios de corrección
Respuesta correcta
Código
10: Todos estos números anotados en su lugar adecuado.
50
40
30
20
10
Respuesta incorrecta
Código
70: Sólo 20, 30, 50 anotados correctamente en la escala.
Código 79: Otras respuestas incorrectas
(incluidas respuestas tachadas/borradas, marcas fuera de su sitio, respuestas
ilegibles o inapropiadas).
Sin respuesta
Código 99: En blanco.
Pregunta
2
Este gráfico muestra los puntos
obtenidos por 4 pilotos en el campeonato de Fórmula 1. Alonso va el primero y
Hamilton el tercero. Dibuja una barra que muestre cuántos puntos ha conseguido
Hamilton.
Pregunta: M041203; Respuesta: Abierta; % Aciertos Internacionales:
37,8%.
Criterios de corrección
Respuesta
correcta
Código 10: Barra en 86.
Respuesta
incorrecta
Código 70: Barra entre 85 y 87,
pero no en 86.
Código 79: Otras respuestas
incorrectas (incluidas respuestas tachadas/borradas, marcas fuera de su sitio,
respuestas ilegibles o inapropiadas).
Sin
respuesta
Código 99: En blanco.
Pregunta 3
Patricia ha preguntado a sus 20
compañeros de clase qué zumo les gusta más: el de naranja, el de mango o el de
de piña. Ha representado los datos en la gráfica de barras de arriba.
También
ha dibujado un gráfico circular utilizando los mismos datos. ¿Cuál de los
siguientes gráficos se corresponde con estos datos?
Pregunta: M031135; Pregunta: Cerrada; %
Aciertos Internacional: 65,8%
Criterios
de corrección
Respuesta correcta:
Código 10: B
Respuesta incorrecta:
Código 70: Otra opción
Sin respuesta
Código 99: En blanco
Unidad
4 - Números
Pregunta 1
8 niños tienen entre todos 74 caramelos. ¿Cuántos caramelos
más son necesarios para que los niños puedan repartirlos a partes iguales?
Respuesta: ________________________________
Pregunta: M031235; Respuesta: Abierta; % Aciertos Internacionales:
34,5%
Criterios de corrección
Respuesta correcta
Código 10: 6 ó cualquier otro número que sumado a 74 dé un
múltiplo de 8 (p. ej., 14, 22).
Respuesta
incorrecta
Código 70: 9, 25, 9*(1/4), ó 9 y sobran 2
Código 71: 9, o sobran 2
Código 79: Otras respuestas incorrectas (incluidas
respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o
inapropiadas).
Sin respuesta
Código 99: En blanco.
Pregunta 2
Víctor midió la longitud de la pizarra con una regla de 30
cm. La pizarra medía 6 cm menos que 9 veces la longitud de la regla. ¿Cuál es
la longitud de la pizarra?
a) 264 cm
b) 270 cm
c) 276 cm
d) 279 cm
Pregunta: M031050; Respuesta: Cerrada; %
Aciertos Internacionales: 45,4%
Criterios
de corrección
Respuesta correcta:
Código 10: A
Respuesta incorrecta:
Código 70: Otra opción
Sin respuesta
Código 99: En blanco
Pregunta 3
Tal y como muestra la tabla, Ana sigue una regla determinada
para obtener sus números a partir de los números de María.
¿Cuál es la regla que sigue Ana para obtener sus números?
Pregunta: M031258; Respuesta: Abierta; % Aciertos Internacionales:
26,2%.
Criterios de corrección
Respuesta correcta
Código 10: “Multiplicar por 3”, u otra operación adecuada.
Respuesta
incorrecta
Código 70: Multiplicar sin especificar por qué número.
Código 79: Otras respuestas incorrectas (incluidas
respuestas tachadas/borradas, marcas fuera de su sitio, respuestas ilegibles o
inapropiadas).
Sin respuesta
Código
99: En blanco.
----------------------------------------------------------------------------------------------------------------
2.
Selección de las unidades de evaluación y los ítems vinculados
Estos ítems han sido seleccionados con
el objetivo de abordar las unidades y campos principales de las matemáticas,
así como el de ofrecer diferentes tipologías de preguntas en las que el
alumnado tenga que realizar diferentes tareas. Se han seleccionado preguntas de
cinco tipos distintos: Cerradas tipo test de a, b, c y d (como la 1 de la
unidad 1); abiertas elaboradas a contestar con un razonamiento (como la 2 de la
unidad 2); abiertas destinadas a completar una imagen o figura (como la 1 de la
unidad 2); abierta a completar con números (como la 1 de la unidad 3); abierta
a responder con una frase (como la 1 de la unidad 4). Estas modalidades se han
repetido de manera equilibrada durante la prueba.
Por lo tanto, es posible apreciar cómo
la prueba contiene una serie de ítems correspondientes a diferentes unidades
que pueden medir las competencias que se pretenden de una manera precisa y
equilibrada, pues el número de tipologías de pregunta es elevado y se encuentran
presentes en la prueba de manera equilibrada.
3.
Descripción de los resultados obtenidos
A continuación se ofrecen los resultados
obtenidos en función de la codificación predefinida por TIMSS (y que se ha
indicado en cada pregunta). Se ha numerado a los/as individuos/as del 1 al 20
para conservar su anonimato y se han recogido sus calificaciones en cada una de
las preguntas.
Se ha calculado la nota media del
alumnado y se ha obtenido un 30% de suspensos (nota de 4 o menos) en la clase,
el 35% ha aprobado (nota de 5 o 6), el 25% obtuvo un notable (nota de 7 u 8) y
el 10% un sobresaliente (nota de 9 a 10). Es decir, un 30% de suspensos y un
70% que ha superado la prueba. En la penúltima fila se representa el porcentaje de
la clase que ha acertado la pregunta (“porcentaje de aciertos clase estudiada”)
y en la última fila este dato internacional proporcionado por TIMSS.
Es importante destacar que el alumnado tiende a responder
a las preguntas cerradas tipo test aunque no sepa la respuesta, pues dispone
del factor “azar”. Sin embargo, en las preguntas abiertas existen casos en los
que el alumnado no ha respondido. Estos son los resultados obtenidos. Se han
resaltado en amarillo los aciertos para facilitar su localización.
3.1.
Justificación de la selección de los estímulos e ítems
Como se ha indicado, estos ítems se han
seleccionado debido a su variedad en cuanto a forma de pregunta, temática,
dificultad y cercanía al alumnado en lo referente a su contenido motivador,
acercando las preguntas que se realizan al contexto del alumnado, y por lo
tanto motivándole para que responda de una manera más precisa e involucrándose
en la contestación.
3.2.
Comparación de los resultados
Gracias a la disposición de los
resultados internacionales respecto a los aciertos proporcionados por TIMSS es
posible conocer el nivel que presenta este alumnado estudiado. En concreto, se
han marcado en azul en la fila “Porcentaje de aciertos clase estudiada”
aquellos casos en los que la clase ha obtenido porcentajes mayores que el
nivel internacional, y en rojo si ha obtenido menor porcentaje.
Los resultados generales de esta clase
han sido muy positivos, pues únicamente se ha obtenido un porcentaje de alumnado
que haya acertado por debajo de los niveles internacionales en el caso de la
pregunta 1 de la unidad 1 y la pregunta 3 de la unidad 3. En el resto de los
casos el porcentaje es mayor, siendo en algunos de estos muy elevada la diferencia
(pregunta 1 unidad 3, pregunta 2 unidad 4 o pregunta 3 unidad 4). Además, el
porcentaje de alumnado que ha fallado en las cuestiones mencionadas no dista
demasiado respecto a los niveles internacionales.
Como se observa por tanto, el alumnado de
esta clase ha obtenido resultados en general mejores que los esperados a nivel
internacional, por lo que se encuentran por encima de estos niveles en cierta
medida. Sin embargo, hay que tomar con precaución estos resultados, pues se
trata de una clase de 20 alumnos/as, de manera que estaríamos cometiendo un
error en el caso de que generalizásemos los resultados para todo el alumnado de
la zona.
3.3.
Dificultades al preparar la prueba
Sin duda la realización de la prueba ha
supuesto una serie de dificultades en su elaboración. Una de ellas consistía en
la disponibilidad de preguntas de TIMSS 2007 para matemáticas que perteneciesen
a unidades diferentes, que presentasen diferentes tipos de formulación en las
preguntas (cerradas, abiertas, etc.) y que combinasen diferentes tipos de
dificultades. Se ha logrado conseguir dicho equilibrio, aunque ha supuesto una
gran inversión de tiempo en la selección cuidadosa de las preguntas.
Otro problema podría ser el ajuste de la
realización de estas preguntas al tiempo de una hora. Sin embargo, el alumnado
ha tenido tiempo incluso para repasar sus respuestas, por lo que este problema
no ha sido tal finalmente.
Por otra parte, las preguntas de
matemáticas de TIMSS no requieren demasiado desarrollo, lo cual se encuentra
implícito en la propia naturaleza de la asignatura. Sin embargo, a pesar de la
escasa disponibilidad de preguntas en este aspecto, se han proporcionado preguntas
como la 2 de la unidad 1 o la pregunta 3 de la unidad 4 que pretenden
que el alumnado elabore una respuesta. Las preguntas abiertas en matemáticas, a
diferencia de la lectura o las ciencias, no consisten en razonar con largos
textos, sino de plantear una pregunta de contenido matemático y que el alumnado
tenga que desarrollar una respuesta.
La motivación para la
realización de la prueba es muy necesaria y permite que el alumnado se implique
en su respuesta. De esta forma, los ítems también debían presentar elementos
motivadores para que el alumnado se sintiese impulsado a dar su respuesta de
forma más precisa, por lo que este elemento ha dificultado la elección de
preguntas para la configuración de la prueba, pero finalmente se ha logrado una
gran implicación por parte del mismo en su realización.
3.4.
Justificación de la integración de contenido
Como se ha comentado, el contenido de la
prueba se ha integrado en función de las unidades en las que el IEA ha divido
sus unidades de TIMSS 2007 en matemáticas, eligiéndose 4 de éstas que mejor
representaban los campos de esta competencia. Se han integrado una serie de
preguntas atendiendo, por una parte, a su equilibrio en dificultad y variedad
de formas de pregunta (abierta, cerrada) y por otra, a su capacidad motivadora
para que el alumnado se sienta implicado en su realización y responda de la
forma más precisa posible.
Sin duda la experiencia ha merecido la pena y la
puesta en práctica de los aprendido durante este mooc ha resultado
satisfactoria tanto para el alumnado como para mi experiencia como docente.
Tema en el espacio de debate: https://preguntas.mooc.educalab.es/preguntas_pisa_timss/pregunta/5298/aplicacion-de-una-prueba-en-clase/
#preguntasPISA La aplicación de una prueba de evaluación externa en clase permite conocer mejor a tu alumnado http://t.co/w9wkbJ4mek
— Luis Ale López Agudo (@_Luis_Ale) diciembre 3, 2014
Unidad 5. Actividad 5. Aplicación de una prueba.
domingo, 30 de noviembre de 2014
Claves para interpretar los informes
La información que se nos proporciona en
los vídeos sobre las evaluaciones educativas permite obtener una serie de conclusiones.
Por una parte, la puntuación de 500 en PISA no representa la media de las
puntuaciones, por lo que hay que tener en cuenta los intervalos de confianza. Los
resultados de esta muestra se encuentran divididos en cinco niveles, siendo el
1 el más bajo hasta el 5, el más alto. España se encuentra en el nivel 3, pues
tiene un rendimiento medio aceptable. En este nivel se encuentran la mayor
cantidad de los países de la OCDE. El problema que tiene España es que cuenta
con una cantidad de alumnado similar al de la OCDE en niveles bajos e intermedios,
pero no en niveles altos, por lo que para conocer la verdadera posición que
ocupa España es necesaria una visión global.
Otros
elementos importantes de las pruebas de evaluación son los cuestionarios de
contexto, que muestran otras características del alumnado, profesorado y
escuela. En concreto, muestran aspectos como los niveles de
estudios del padre, de la madre, el número de libros en casa, la perseverancia
del alumnado, interés, motivación, etc. El profesor influye también y tiene
mucha importancia hoy día, por lo que su formación es esencial. El índice
socio-económico es importante y muestra que España ha obtenido resultados como
los que eran de esperar para su nivel en esta variable.
#preguntasPISA Me ha llamado la atención para entender los rankings de evaluaciones externas la importancia de los intervalos de confianza.
— Luis Ale López Agudo (@_Luis_Ale) diciembre 1, 2014
Unidad 5. Actividad 1. Claves para interpretar los informes.
miércoles, 26 de noviembre de 2014
#MOOCcafé-INEE
Mi asistencia
a #MOOCcafé-INEE ha sido bastante positiva y enriquecedora, pues he tenido la
oportunidad de asistir a un debate con gran cantidad de profesionales docentes
que han tenido un gran rodaje en este mundo. En concreto han participado Mª
José, Gloria, Marivi y yo. (Nombres en Twitter: @majorih, @glesgoji, @marivigtorre y @_Luis_Ale)
Se ha
destacado la utilidad clara de las pruebas de evaluación externa para la
realización de una medición de competencias del alumnado de una manera adecuada,
pues supone unos estándares que se han definido por organismos especializados y
que cuentan con apoyo a nivel internacional. Además, los ítems que proporcionan
estas pruebas de evaluación externa, no sólo en el marco de la propia prueba, sino
también en la propia clase, son útiles para probar realmente si la forma en la
que se está realizando la enseñanza promueve que se adquieran estas
competencias. Aunque existen gran cantidad de competencias, las que no son
evaluadas por estas pruebas deben ser planteadas por el profesorado propio de
cada centro, como puede ser la competencia con las nuevas tecnologías, según el
material disponible en el centro.
Otros temas
más relevantes de este MoocCafé –INEE han sido, por una parte, el informe TALIS
y el desconocimiento que existe sobre el mismo por parte de la comunidad de profesores/as,
lo cual llama bastante la atención al tratarse de un tipo de evaluación
encaminada a medir las características del profesorado. Se trata de un tipo de
formación que requiere tiempo y que puede entrar en conflicto con los aspectos
de la vida personal del profesorado, por lo que requiere una estructuración
concienzuda y bien planteada para que sea eficiente.
Un tema
también muy importante ha sido el de la colaboración por parte de todo el
profesorado a la hora de poner en común las diferentes formas de evaluar y de
definir las competencias que debe poseer el alumnado al que se imparte clase.
Sería recomendable que se estableciesen estos criterios de una manera
consensuada para que la escuela en su conjunto avanzase en una misma dirección.
También las inspecciones resultan interesantes, pues no sólo el profesorado
debería conocer las pruebas de evaluación externa y sus características, sino
también el propio personal evaluador, lo que sin duda incrementaría su
capacidad para impartir juicios con una base más sólida y objetiva sobre el centro
o profesorado que está evaluando.
Para
finalizar, el uso de pruebas realizadas a ordenador y TICs para las evaluaciones
del alumnado también tiene gran relevancia hoy día y se ha comentado sobre esto
que, quizás, pudieran medir competencias diferentes de las que realmente se
está pretendiendo evaluar. Aunque el alumnado muestra determinadas capacidades
en el manejo de las nuevas tecnologías, estas capacidades no son generalizadas
entre todos, debido a los diferentes contextos socio-culturales que presenta
cada uno/a, por lo que se trata de un tipo de evaluación que habría que tratar
cuidadosamente.
Debido a
problemas con el vídeo y el directo de Youtube, no se ha podido subir el Hangout,
pero la dirección sería la siguiente (no funciona):
Web del Hangout: https://plus.google.com/events/c06d2q32f96bk3v3utb4t6n0goo
Hilo en el foro de debate:
https://preguntas.mooc.educalab.es/preguntas_pisa_timss/pregunta/4651/mooccafe-inee-ideas-y-reflexiones/
Post en la Comunidad del Mooc en ProComun:
http://procomun.educalab.es/comunidad/Evaluaciones/debate/mooccafeinee-ideas-y-reflexiones/ebcfe534-6d70-4a22-a235-ddd47e2c974f
#preguntasPISA Reflexiones del #MOOCcafé-INEE con @majorih @glesgoji @marivigtorre . Una experiencia muy positiva http://t.co/eArQnsv6l6
— Luis Ale López Agudo (@_Luis_Ale) noviembre 26, 2014
@majorih @educaINEE @marivigtorre @dcerverao El #MOOCcafé-INEE ha estado muy bien! Una pena lo del video #preguntasPISA
— Luis Ale López Agudo (@_Luis_Ale) noviembre 26, 2014
#preguntasPISA Voy a asistir al #MOOCafé organizado por @majorih esta tarde a las 18:00. Consigue tu entrada en https://t.co/IHhvMKomP7
— Luis Ale López Agudo (@_Luis_Ale) noviembre 26, 2014
Unidad 4. Actividad 2. #MOOCafé
Recopilación actividades 2 y 3 Unidad 3
A continuación muestro una recopilación de mis respuestas a las actividades 2 y 3 en la unidad 3, que aunque no había que mostrarlas en el blog, he decidido incluirlas para tener un registro de todo el trabajo realizado en este Mooc.
1. ¿Utilizar los recursos liberados de ediciones anteriores en las clases o en casa puede mejorar los resultados de nuestros alumnos?
2. ¿Es posible trasladar al día a día del aula alguno de los estándares de las evaluaciones externas?
Unidad 3. Actividad 2. Opinamos en Twitter.
https://preguntas.mooc.educalab.es/preguntas_pisa_timss/pregunta/3448/diferencias-en-la-misma-competencia-pirls-y-pisa/
Unidad 3. Actividad 3. Diferencias en la misma competencia
1. ¿Utilizar los recursos liberados de ediciones anteriores en las clases o en casa puede mejorar los resultados de nuestros alumnos?
#preguntasPISA El uso de ítems liberados puede ser positivo, siempre que no se oriente la enseñanza exclusivamente a su superación.
— Luis Ale López Agudo (@_Luis_Ale) noviembre 17, 2014
2. ¿Es posible trasladar al día a día del aula alguno de los estándares de las evaluaciones externas?
#preguntasPISA Adaptar al aula cualquiera de los estándares de las evaluaciones depende del conocimiento de éstas e interés del profesorado.
— Luis Ale López Agudo (@_Luis_Ale) noviembre 17, 2014
Unidad 3. Actividad 2. Opinamos en Twitter.
En respuesta a la actividad 3 de la unidad 3, analizando el contenido de los textos “Los ratones patas arriba” y “Un juez justo” es necesario tener en cuenta que ambos se dirigen a alumnado de edades diferentes: El primero pertenece a PIRLS y por lo tanto su objetivo será el alumnado de cuarto grado, mientras que el segundo corresponde a PISA, por lo que el alumnado al que se orienta es el de octavo grado. Esto se ve claramente en la complejidad que muestran los textos, así como que el texto de PIRLS incluye imágenes destinadas a que el alumnado de edades inferiores sea capaz de visualizar con mayor facilidad lo que se pretende transmitir en el mismo.
Las preguntas realizadas sobre el texto también varían en gran medida si se realiza su comparación. Esto se debe fundamentalmente a que en PIRLS se busca que el alumnado haya comprendido lo que el texto le ha intentado transmitir, así como la enseñanza o moraleja final, mientras que en PISA las preguntas se orientan más a que el alumnado vaya comenzado a ofrecer su opinión crítica del texto y visión de la realidad que se le presenta en el texto. Esto se ve claramente en la pregunta que se realiza: “¿Crees que fue justo por parte del juez castigar de la MISMA manera todos los delitos?” o “Para esta pregunta tienes que comparar la ley y la justicia de tu país con la ley y la justicia que se presentan en la historia. En la historia, los delitos se castigan según la ley. ¿De qué manera la ley y la justicia de tu país son SIMILARES al tipo de ley y justicia presentes en la historia?”
Aunque es difícil comparar textos de diferentes estudios y niveles, es posible observar que la orientación de los mismos está destinada a hacer visibles una serie de competencias distintas en cada uno de los niveles en los que se realiza el análisis y que supuestamente debería poseer el alumnado que pertenece a ese nivel educativo.
Hilo en el foro de debate:https://preguntas.mooc.educalab.es/preguntas_pisa_timss/pregunta/3448/diferencias-en-la-misma-competencia-pirls-y-pisa/
Unidad 3. Actividad 3. Diferencias en la misma competencia
Suscribirse a:
Entradas (Atom)