Translate

martes, 24 de junio de 2014

Comentario sobre la Rúbrica: Evaluación de Portfolio.


Leer la rúbrica del profesor Apel, me genero por un lado una apretura, una mayor comprensión respecto del uso de las mismas, por ejemplo, jamás se me hubiera ocurrido el modelo elegido por él para realizar la mía, lo que me permite darme cuenta de la plasticidad que presentan las mismas, su ductilidad y de la necesaria creatividad que debe tener el usuario. Por el otro, me hizo pensar en el poco provecho que le saque a la herramienta cuando tuve que utilizarla. Entiendo también, que el uso de nuevas tecnologías, captarlas y utilizarlas correctamente, es parte de un proceso que requiere por lo menos de tiempo y ejercicio.
La variable medida: evaluación de un portfolio, es considerada multidimensional por el docente y su tratamiento es el de un nivel de medición ordinal, con cuatro opciones de respuestas, sus intervalos no son iguales y no hay un “cero”.
En términos generales las categorías pueden dividirse en cognitivas y conductuales. Mientras que los criterios de evaluación, en general redactados en lenguaje propositivo,  no me resultaron en todas las ocasiones, sencillos de visualizar.

Me sorprende de todos modos, todas las categorías elegidas, que creo se relacionan con los tópicos que el docente desea evaluar, y el nivel de detalle de cada uno de los criterios de evaluación. Considero que si bien es extenso y por momentos puede dificultar su lectura, hacerlo de este modo le permite al alumno, anticiparse y saber que se espera de él y es una forma de compensar la diferencia entre los intervalos elegidos. Me refiero a que lo que cada lector considera básico, bueno muy bueno, excelente, es subjetivo y al detallar en profundidad los requerimientos para cada uno de esos niveles, permite al lector “comprender” que se espera en cada nivel. 

lunes, 23 de junio de 2014

Autoevaluación: El semáforo

Luces rojas: realizar la actividad de criterios de evaluación fue una de las que mas me agrado por ser una actividad que tenemos bastante aceitada en la cátedra, se construye y trabaja en grupo de una manera que nos facilita mucho a los docentes y que creo es muy clara para los alumnos. El obstáculo que me detuvo para hacerlo era pensar como redactar un escrito sin dar información que no es sólo mía, en un blog que es público y al que puede tener acceso un alumno. 
Debo insistir en que no soy yo la que detalla los criterios de evaluación de mi materia, si bien participo periódicamente en la confección de ítems; por lo tanto lo que me llevó más tiempo es intentar explicarlos de un modo comprensible a los eventuales lectores. Todo el tiempo, al hacerlo, pensaba en la importancia de tener en claro dichos criterios a la hora de corregir, intentando lograr acercarnos lo más posible a una corrección objetiva y justa.
Luces amarillas: siguen sin gustarme los exámenes choice realizados sin demasiada profundidad como algunos que me han tocado en una carrera de especialización que hice, pues si bien comprendo que existen diversos modos y tiempos de evaluación, considero por un lado que no cualquier item evalúa algo y  menos si fue realizado de forma apresurada, y segundo, decidir cuál es el contenido a evaluar de cada tema, lleva mucho tiempo, como se explica en la bibliografía. Algunos contenidos pueden ser evaluados mediante la repetición memorística, pero otros deben evaluarse con ítems de aplicación que permitan pensar. No creo tampoco que "las preguntas a desarrollar" sean muy adecuadas si replican esto último respecto de cortar y pegar textos.
Luz Verde: la bibliografía es muy clara y útil, Lipman, la taxonomía de Bloom, el de Perkins y el de Camilloni son los que más me gustaron, pero todos tienen conceptos nuevos, y viejos pero desde una nueva perspectiva que me hacen seguir pensando. 
En cuanto a las herramientas: los blog, el formulario de google y las rúbricas pienso incluirlas en mi práctica docente, ya lo hago con varias de las aprendidas en otros cursos y a medida que avanzo en su uso, descubro nuevas utilidades a la vez que se me ocurren otras formas de aprovecharlas mejor o para cosas distintas, por ej. aprendi symbaloo como una forma de preservar mis favoritos, hoy uso cada webmix para guardar los materiales de trabajo que uso con cada paciente, o para acumular información sobre un tema x ej. articulos sobre emociones o material de lectoescritura o apps para autismo. Debo profundizar en el portfolio, porque aún no termino de apropiármelo.   
Por último, tambien les pedimos a nuestros alumnos una autoevaluación como esta, quizas si la presentáramos con ciertos criterios como el del semáforo, les resultaría mas sencilla. 

domingo, 22 de junio de 2014

Comparación de mi rúbrica

Leí algunas rúbricas que usaron mis compañeros, dentro de ellas me llamaron la atención las plantillas elegidas, costándome en algunos casos imaginar como fue su razonamiento al elegirlas, pero en todos los casos me hicieron pensar en que la herramienta está ahí, a nuestro alcance, y depende de nosotros el jugo que le saquemos. También me hizo pensar en que dependiendo de cual sea el hilo que dirige el pensamiento, voy a reaccionar de un modo u otro y esto les pasa a los alumnos con la forma en la que se redactan las preguntas en un examen, cobrando mayor relevancia el detalle o la claridad con la que se redacte, ya que la forma va a ayudar, o por el contrario a obstaculizar su comprensión. 
Ya en el interior de las rúbricas, algunos optaron por hacer hincapié en el trabajo grupal de los alumnos encargados de realizar el menú y otros, como en mi caso, elegimos incluir aspectos de la receta que consideramos "relevantes". Acá de nuevo pienso en lo diferete que somos las personas al considerar uno u otro aspecto. Incluso eligiendo algunas categorias iguales, elegimos variar en uno u otro criterio. Como puse en una rúbrica que comente, es muy productivo pensar en como cada docente encara el proceso de evaluacion desde puntos de partida muy diferentes. Elegi categorías que ya estaban estipuladas porque al no manejar la herramienta me pareció bueno sacarle provecho a eso, pero luego me pareció también "incompleto" no agregarle lo propio de un menú, aunque veo que necesariamente lo que a mi me parece propio no lo es para otro.

miércoles, 18 de junio de 2014

Mi rúbrica: menú para seis comensales

Desarrollo: dentro de Rubik, seleccione la plantilla de destrezas de trabajo colaborativo porque me parecio las mas adecuada, aunque me generó dudas. Utilice algunas preguntas de la plantilla y agregue otras que me parecieron importantes. El formato de opciones de respuestas para estas ultimas, lo hice siguiendo el de las preestablecidas.



http://rubistar.4teachers.org/index.php?screen=ShowRubric&module=Rubistar&rubric_id=2448340&

El número es: ID # is: 2448340

Sobre mis criterios de evaluación

La materia que doy tiene tres instancias de evaluación: dos prácticas y un parcial teórico.
Las dos primeras consisten en la aplicacion de dos baterías de técnicas a un sujeto, primero un niño en edad escolar y luego un adolescente o adulto jóven. Se denominan modulo A y B.

En el A: explicitamos q la administración y análisis de todas las técnicas es grupal y luego realizan un informe individual donde obtienen una calificación diferenciada.
En el B: la administración y análisis tambien es grupal, pero además deben presentar el caso en un ateneo, es decir, de forma oral.

Para ambas formas, hay una guía de trabajos prácticos en donde los alumnos encuentran que se pide para cada técnica, junto con criterios de aprobación.

Para la forma A, los docentes hemos consensuado criterios de corrección de la carpeta e informes, con una escala tipo lickert de 4 opciones de respuesta, que contiene muchos items, como los siguientes:


Aspectos a considerar en la evaluación
Muy bien
Bien
Reg
Insuf

CARPETA GRUPAL





01. Carátula con datos completos




02. Datos completos del entrevistado




03. Consentimiento Informado




04. Preservación de datos del entrevistado






Se puntúan aspectos generales, de forma y de contenido, tanto para la carpeta grupal como para los informes individuales y para la autoevaluación que también deben presentar.

07. Puntuaciones directas completas




08. Puntuaciones directas correctas






26. Redacción





26 (a) Estilo apropiado, claro, conciso y concreto




26 (b) Explicación de términos técnicos




26 (c) Ausencia de valores numéricos




26 (d) Mención de variables evaluadas y NO de los nombres de los instrumentos





Respecto del parcial teórico, a los alumnos se les toman 3 tipos de ítemes, de los cuales tienen ejemplos en las aulas virtuales en un archivo denominado "orientación para el examen", se presentan en la clase de repaso anterior al examen y tambien se trabajan en prácticos. La materia presenta parciales atípicos para lo que es el modelo de la facultad, ya que casi todas las materias utilizan preguntas a desarrollar. A los alumnos les resulta muy difícil nuestra modalidad.
Además en el aula virtual de los alumnos de todas las comisiones hay tres archivos: 1- instructivo aprobación de la materia, 2- orientación para examenes parciales y finales y 3- modalidad de los examenes finales. Se realizan diferentes formas de parcial y cada una tiene una clave de correccion que nos es entregada a cada uno de los docentes a la hora de corregir.
Por ejemplo uno de los ítems es de la modalidad correcto/incorrecto, justificando estas últimas. Para esto, en nuestras claves tenemos: la cita correcta que debe consignar el alumno y uno o dos ejemplos si corresponde.
En otro tipo de preguntas que implican explicar un concepto, en nuestra clave tenemos:
Respuesta de 1 punto: cuando el alumno consigna xxxx concepto de forma detallada, incluyendo xxx, xxx y xxx aspecto.
Respuesta de 0,50: cuando el alumno explica uno o dos de dichos conceptos.
Respuesta de 0: cuando la respuesta es incorrecta o no es pertinente.

También uso mi experiencia, la participación en clase, la calidad de las preguntas que realizan los alumnos, el tipo de inquietudes que presentan, el cumplimiento clase a clase de lo que deben traer administrado.  En los examenes escritos, suelo corregir la misma pregunta en todos los alumnos porque si bien esta super estructurado, no se pueden predecir todo el abanico de posibles respuestas que brindan los alumnos, por lo que si surge una diferente a la clave, pero correcta, la contemplo.


lunes, 9 de junio de 2014

Sobre formularios



En síntesis...
No se si puedo hacer una síntesis porque hay contenidos que forman parte de un proceso y debo pensarlos, procesarlos, asociarlos a contenidos viejos y generar ideas nuevas y todavia estoy en pleno proceso, es como cuando evaluo a un niño para hacer un diagnóstico, aplico test, tecnicas, entrevistas, junto datos, de diversas formas y en diversos contextos, pero más alla de la cantidad y la calidad de esa información, siempre necesito un tiempo para que esa información ocupe mi cabeza, para analizarla, despejando dudas, contradicciones entree un dato y otro, y luego de un determinado tiempo y trabajo, recien ahí puedo integrar esa información, para explicar la conducta de ese niño, lo que le sucede, el motivo de consulta, para brindar pautas, toma desiciones.   
La lectura del material me parece muy util y adecuada a las propuestas de actividades. Es un material distinto al que suelo usar, aunque con puntos de contacto, pues me desmpeño como evaluadora en mi practica clínica y tambien en la docente. 
Respecto de mis prácticas de evaluación, lo consigne en otros espacios, son claramente más ricas cuando las mismas son generadas en forma conjunta con otras personas. Cuando me toca a mi generar items de una prueba, suelo ser mas conservadora y apelar a reactivos que refieren a tópicos o el uso de la memoria, quizas, porque ese fue el formato qe transite como alumna?. quizás con contenidos que domino menos me cuesta más?No deja de sorprenderme, leer compañeros de disciplinas mas "duras" a la mía, que utilizan preguntas sumamente creativas y despojadas del contenido teórico puntual. 
El formulario lo conocia aunque no lo habia utilizado. En la consigna no utilice todos los tipos de preguntas que brinda el mismo, porque en el momento de confeccionarlo no se me ocurría como desarrollar una pregunta en tal formato basada en el texto propuesto. Sin embargo, me resulta mucho más sencillo pensar alguna de mi propia materia. El resumen y los gráficos que devuelve el formulario me parecen maravillosos, sobre todo porque permiten repensar la adecuacion de los contenidos elegidos y hacese una gestalt de las respuestas. 
En relacion con los de mis compañeros, concretamente, elegi responder aquellos que me parecían atractivos visualmente, lo cual tambien me hizo preguntarme en mis propios formatos de examen.  
El formulario de los docentes, es parecido al de los compañeros en su conjunto, porque es amplio, utiliza diversos formatos y muestra que los mismos son aplicables a calquier contenido, a la vez que siguen haciendo pensar.

miércoles, 4 de junio de 2014

Ante todo la comprensión

Les dejo aqui mi formulario:


https://docs.google.com/forms/d/1g0mPmDnCWymgr36iXmp15uztD0Crk32Jz3rTOpwLum4/viewform

Aguardo sus comentarios y sugerencias. Gracias.

Mis prácticas en evaluación.

Desde mis años como alumna de primaria y secundaria, me desarrolle en un modelo en el que el docente desarrollaba los conceptos de su materia y luego de un tiempo, los alumnos respondíamos a un examen.
Estos, en general, eran preguntas a desarrollar o actividades del tipo trabajo práctico.
Ya en la facultad, casi todas las materias, repetían este modelo: 5 preguntas a desarrollar, repitiendo lo leido en los textos. Recuerdo una de las últimas de la carrera en la que desaprobe un TP porque no copie textual algo de un tomo de Freud, incluyendo una opición o idea propia. Luego lo hice y aprobe!
Algunas pocas, nos hicieron realizar trabajos prácticos o algun trabajo de campo, como tomar una entrevista, ocasionalmente, analizar una película. En gral, receurdo los finales orales.
Luego hice la carrera de especializacion en neuropsicología, dictada en su mayoría por médicos, los cuales nos tomaban un choice y orales en las instancias finales. Caundo curse el doctorado, nunca nos tomaron un escrito, siempre eran monografías sobre los temas vistos.
Di clases en varias facultades en diversas materias, y en gral, replique este modelo.

Siempre me generaron dudas estas formas de evaluar, porque pensaba que no me quedaba claro cuales eran los procesos cognitivos implicados en la resolución de estos exámenes.
Entiendo que hay conocimientos que deben incorporarse por repetición y usando la memoria. Tambien entiendo que lso docentes debemos evaluar determinados contenidos y será el alumno el que con el tiempo, pueda consolidar algo de esos contenidos y esto lo lograra, dependiendo de, entreo otras cosas, a que se dedique en el futuro.
El aprendizaje es utilizar posteriormente, la informacion que ingreso a nuestro sistema cognitivo a traves de procesos psicológicos básicos como la atención y la memoria, "ayudados" por otro proceso que es la motivación. De algún modo, confeccionar exámenes, implica suponer que todos esos procesos (y otros que intervienen como lo visual, lo auditivo, la comprension de textos, etc), se dan del mismo modo en todos los sujetos a evaluar. Si bien considero que esto es un error, tambien comprendo que el docente debe asumir un nivel medio en su población de alumnos para poder desarrollar algún sistema de evaluacion.
La materia que yo doy en la UBA, se llama teoria y tecnica de exploracion y diagnóstico psicológico y enseñamos a evaluar a personas de diferentes edades, mediante la toma de tecnicas y test y, a su vez, evaluamos a los alumnos respecto de esto.

Es una materia atípica respecto de las demas, por su forma de evaluar. Los alumnos le tienen miedo, comienzan desmotivados, porque ademas de tener muchos contenidos y muy diferentes respecto de los previos (todas las materias son psicoanalíticas y casi es lo único que se ve, incluso haciendoles leeer el mismo texto en 7 materias distintas), la modalidad de evaluacion dista enormemente del resto de las materias. Durante la cursada se realizan dos trabajos practicos conformados por dos carpetas en las que deben aplicar una bateria de test a dos sujetos de diferentes edades, analizar los resultados, confeccionar un informe y en la segunda carpeta, se agrega la presentación del caso en un ateneo. A lo largo del cuatrimestre se trabajan las carpetas de manera grupal, corrigiendo los casos en clase y generando una nota de concepto. Trabajamos con un máximo de 25 alumnos. Intento motivarlos todo el tiempo contandole ejemplos de mi practica profesional (trabajo con niños con trastornos del desarrollo).
Luego tienen un parcial teórico que consta de 3 items que implican aplicar los contenidos desarrollados durante la cursada, de un modo similar al que lo harán cuando sean profesionales, por ejemplo, se les da la opcion de decidir cual test tomarían en una situacion inventada, segun las características de cada prueba.
En otro item se le pide que comparen dos constructos teóricos, o que describan las similitudes y diferencias entre dos pruebas. Todos los docentes confeccionamos items para los examenes y una persona en la catedra, selecciona al azar del pool almacenado. A su vez, un grupo de docentes, tambien evalua el nivel de dificultad de los items, para intentar minimizar las diferencias entre "tema 1 y tema 2".
Los docentes contamos, a la hora de corregir, con una clave que determina cual es la respuesta correcta y los diferentes puntajes que puede obtener el alumno segun el nivel de complejidad de dicha respuesta.
Particularmente a mi me gusta esta forma, porque considero que se contemplan diferentes formas o modos de obtener una medida de cuanto esta aprendiendo el alumno: se les toma oral, escrito, items de aplicacion, items conceptuales, entre otros. Sin embargo, los alumnos, muchas veces sienten que estudiaron mucho mas que lo que se les tomo y creo que esto se da en parte porque el hecho de no "vomitar" todos los contenidos almacenados en la semana previa al examen, estudiando a los apurones, les deja esa sensación.
Los alumnos tienen a lo largo de toda la cursada un istructivo sobre como realizar el examen con ejemplos de preguntas.

Les dejo algunos ejemplos de ítems:
Ej. 1: 
Instrucciones. Ud debe  resolver la siguiente situación teniendo en cuenta los conceptos aprendidos en la asignatura. Justifique sobre la base de la bibliografía obligatoria.


Suponga que Ud. trabaja en el Ámbito de Orientación Vocacional y debe realizar evaluaciones con el fin de orientar a los sujetos consultantes en su decisión vocacional. Para este fin Ud. cuenta con dos técnicas para la evaluación de intereses (una de las variables que desea explorar): Técnica “X” y Técnica “Y”. Luego de la lectura de los manuales de las mismas Ud. determina que las subescalas de la técnica “X” tienen una confiabilidad de r = 0,85 y las de la técnica “Y” un r = 0,40. El autor de la prueba “Y” realizó estudios de validez predictiva demostrando el éxito académico en determinadas carreras de acuerdo a los intereses reflejados en la técnica por los sujetos evaluados. Sin embargo, esta prueba no suele arrojar resultados tan prometedores cuando se evalúa a sujetos mayormente orientados a las tecnicaturas u oficios. La prueba “Y” cuenta con baremos locales del año 1993 y la técnica “X” del año 2003. ¿Cuáles son las ventajas y desventajas de ambas técnicas? ¿Sobre qué aspectos basaría su elección?  Justifique su respuesta mencionando los factores que están operando en las técnicas y abarcando todos los aspectos señalados en la descripción de las técnicas.

Ej. 2:
Instrucciones. En el siguiente cuadro se presentan pares de relaciones entre distintos conceptos estudiados en la asignatura. Ud. debe indicar cuales de estas relaciones son correctas y cuáles incorrectas. Luego debe justificar las incorrectas y completar el concepto de forma correcta. Escriba en hoja aparte y conteste sobre la base de la bibliografía obligatoria de la materia.



Concepto
Concepto
1
Puntuación en Bender Z = 2
Rendimiento Superior
2
Émico 
Lo particular de una cultura
3
Sesgo
Afecta la validez de la prueba
4
Validez Predictiva
asegura estabilidad de las puntuaciones
5
Teoría clásica de los Tests
explica concepto de “puntuación verdadera
6
Intervalos de confianza
permite corregir los “errores sistemáticos” de las pruebas
7
Validez
Análisis factorial
8
Puntuación CI + 2 DS de la media 
Puntuación T = 70


Al finalizar la cursada, sistematicamente, la mayoria de los alumnos sienten agradecimiento por la forma en la que se les enseño  la materia, por "abrirles la cabeza" mostrandoles cosas nuevas y a muchos les termina gustando loa evaluacion.

Espero ansiosa sus comentarios.