Author Archive

Vol. 19, núm. 6 noviembre-diciembre 2018

¿Cómo evaluamos el aprendizaje de la Historia?
Experiencias y reflexiones

Blanca Alicia Vargas y Mauricio Cruz Cita

Resumen

El conocimiento de lo histórico es un elemento básico en la formación de ciudadanos conscientes de sus derechos y obligaciones, respetuosos y solidarios con sus semejantes, útiles y dignos para sí mismos y para los demás. Nuestra intención en este artículo es argumentar a favor de un proceso sistémico de enseñanza-aprendizaje de la Historia, que contempla a la evaluación como parte de un ciclo permanente, integral y dinámico, donde los elementos interactúan entre sí todo el tiempo. Compartimos una propuesta de aplicación de la metodología del aprendizaje basado en proyectos vinculada a un sistema de evaluación encaminado a omitir exámenes, a promover entre los estudiantes habilidades para el aprendizaje y autoaprendizaje de la Historia.
Palabras clave: Historia, enseñanza-aprendizaje, evaluación, aprendizaje basado en proyectos.

How do we evaluate learning in History? Experiences and considerations

Abstract

Historical knowledge is a basic element in the shaping of citizens that are aware of their rigths and obligations, respecful and solidary, and useful and worthy for themselves and to others. Our purpose in this paper is to provide evidence that supports a systemic teaching-learnig process of History, one that consists of evaluation as part of a permanent, integral and dynamic cycle, where all the elements interact among each other at all times. We share our proposal to apply the project-based learning methodology together with an evaluation system that aims to the elimination of tests, and to promote learning and self-learning skills for History.
Keywords: History, teaching-learnig process, evaluation, project-based learning.

Introducción

Somos Blanca Alicia Vargas y Mauricio Cruz, una pareja de estudiosos de la Historia. Nos hemos dedicado por más de treinta años a leerla, escucharla, reflexionarla, compartirla e impartirla dentro y fuera de las aulas de diversas instituciones, primordialmente en la Escuela Nacional Preparatoria (ENP) de la Universidad Nacional Autónoma de México (UNAM). Hemos estado en ambos lados de la relación docente-estudiante, y nuestras labores dentro de la ENP nos han exigido realizar un análisis crítico de la labor educativa que se lleva a cabo cotidianamente en nuestra Escuela.

En las asignaturas de Historia, hemos observado que si la evaluación de los aprendizajes se determina con exámenes escritos, los estudiantes se acostumbran –en el mejor de los casos– a resolver pruebas de tipo memorístico, reduciendo el aprendizaje de esta disciplina a la recitación de datos, nombres de personajes, eventos específicos y fechas aisladas. Aunque algunos de esos datos son imprescindibles, si sólo se considera su memorización, se deja de lado la construcción de conceptos, procedimientos, habilidades y actitudes indispensables para el aprendizaje de este campo de conocimiento. Se pierde así la posibilidad de que los alumnos aprendan a comprender y analizar las situaciones y problemáticas presentes a través de la historia, a ejercer una curiosidad analítica y reflexiva sobre los hechos pretéritos que nos han conformado individual y colectivamente, y de que sean capaces de investigar y aprender por sí mismos aquello que su vida o profesión futura les demande.

Pensamos que el conocimiento de lo histórico es un elemento básico en la formación de ciudadanos conscientes de sus derechos y obligaciones, respetuosos y solidarios con sus semejantes, útiles y dignos para sí mismos y para los demás.

Nuestra intención aquí es argumentar a favor de un proceso sistémico de enseñanza-aprendizaje de la Historia, que contempla a la evaluación como parte de un ciclo permanente, integral y dinámico, donde los elementos interactúan entre sí todo el tiempo. Compartimos una propuesta de aplicación de la metodología del aprendizaje basado en proyectos. La vinculamos a un sistema de evaluación encaminado a omitir exámenes, a promover entre los estudiantes habilidades para el aprendizaje y autoaprendizaje de la Historia, tales como: comprensión lectora; habilidades para la búsqueda de información; selección de fuentes y datos específicos; análisis y síntesis argumentativa; todos ellos, elementos indispensables para comprender y analizar procesos históricos.

Fundamentación

El aprendizaje basado en proyectos colaborativos es una estrategia didáctica integral utilizada en el proceso educativo (Maldonado Pérez, 2008). Dado que uno de los objetivos de la enseñanza de la Historia en la ENP es su estudio con criterios científicos a fin de explicar los fenómenos y acontecimientos históricos de su entorno, hemos aplicado dicho tipo de aprendizaje para promover en nuestros estudiantes una motivación específica en la búsqueda y construcción de conocimientos. En este sentido, Gros Salvat plantea que:

En el modelo de aprendizaje basado en proyectos se encuentra la esencia de la enseñanza problemática, mostrando al estudiante el camino para la obtención de conceptos. Este modelo de aprendizaje exige que el profesor sea un creador, un guía que estimule a los estudiantes a aprender y a descubrir (2000: 160).

Partimos de la premisa de que la evaluación es un elemento inherente al proceso de enseñanza-aprendizaje, en consecuencia, representa la posibilidad de que el profesor sea capaz de dirigir adecuadamente el proceso de construcción de conocimientos de los estudiantes, y que estos últimos adquieran los aprendizajes necesarios planteados en la asignatura. Se asume, entonces, que tanto el docente como el estudiante participan activamente en este proceso formativo dinámico.

La evaluación no es un producto acabado, sino un proceso concatenado en el que siempre existe la posibilidad de crear y recrear nuevas formas de aprender, de formarse e informarse. Es muy importante mantener al tanto a los estudiantes sobre los criterios de evaluación y otorgarles realimentaciones oportunas. Estas últimas contribuyen a la reflexión de su propio aprendizaje y, por ende, aportan a su desarrollo académico y humano, además permiten que se vea al docente como un aliado que apoya en la construcción de conocimientos.

Así, nos hemos propuesto ejercer, en la medida de nuestras capacidades, una evaluación auténtica, entendida como aquella que no tiene como prioridad calificar, sino averiguar qué sabe el estudiante o qué es capaz de hacer, utilizando diferentes estrategias y procedimientos evaluativos (Ahumada, 2005: 12).

Desarrollo

Durante los últimos ocho ciclos lectivos, hemos aplicado y mejorado nuestra propuesta de aprendizaje por proyectos con los grupos de Historia de la Cultura, asignatura del sexto año del bachillerato.

Dado el carácter propedéutico que tiene la asignatura al impartirse a jóvenes que muy probablemente opten por carreras del campo humanístico o de las ciencias sociales, al inicio de cada ciclo explicamos a nuestros grupos la importancia de la investigación y el trabajo monográfico. Se trata de sensibilizarlos sobre la trascendencia de su participación activa en el desarrollo de una investigación que quede cristalizada en un trabajo monográfico de un tema compatible con el programa oficial de la asignatura. Dicho trabajo se realiza a lo largo de las 11 semanas que dura cada uno de los tres períodos parciales que componen el año lectivo. La acreditación de cada período requiere de una investigación y trabajo diferente, de acuerdo con el avance temático de la asignatura.

A continuación, se describen las fases que integran el procedimiento que seguimos para la elaboración del trabajo de investigación (ver diagrama 1).



Diagrama 1. Fases de las actividades de aprendizaje para el trabajo de investigación monográfico.

1. Elección del objeto de investigación

El punto de partida es la libre elección de un tema del programa, para tomarlo como objeto de investigación. Se procura aquí dar el mayor margen posible a la creatividad y curiosidad de los jóvenes. Prácticamente cualquier tema vinculado con los seres humanos es factible de ser investigado en la asignatura de Historia de la Cultura, siempre que se muestre la capacidad argumentativa para conectarlo válidamente con los contenidos conceptuales del programa.

Por ejemplo, con respecto a la cultura de masas, tema del programa, los intereses personales de los estudiantes pueden enfocarse a la historia del concepto de pornografía; la psicología y cultura de los militares; las tribus urbanas, entre otros muchos. Lo que evaluamos en la elección del objeto de investigación, además de que las temáticas sean correctamente inferidas, es que los alumnos:

  • Muestren interés por la asignatura.
  • Evidencien una comprensión general del sentido formativo dentro de la asignatura.
  • Demuestren entendimiento básico de los contenidos conceptuales.
  • Expresen capacidad para identificar o establecer relaciones plausibles entre sus inquietudes personales y el campo de conocimiento de la materia.

Los elementos considerados para propiciar la evaluación objetiva se describen en la tabla 1.

Tabla 1. Elementos para la evaluación de la elección del objeto de investigación.

El objeto de investigación: Sí    No Observaciones
Forma parte del programa de Historia de la Cultura
Deriva de un contenido de las unidades del programa


2. Búsqueda bibliográfica

Posteriormente, se hace una búsqueda bibliográfica en catálogos y páginas electrónicas de buen nivel y seriedad académica, como las que gestiona la Dirección General de Bibliotecas de la propia UNAM. La tarea consiste en la selección pertinente de tres a cinco libros especializados que aborden el tema elegido. Dada la amplitud del catálogo digital, el limitar la elección impulsa al estudiante a realizar una discriminación de fuentes a partir de criterios académicos que responden a sus propias expectativas de aprendizaje de la ciencia de la Historia. Los criterios para evaluar la selección de los libros son:

  • Temporalidad y espacialidad pertinentes al tema.
  • Contenidos conceptuales adecuados.
  • Congruencia entre los libros, el tema y los propósitos del trabajo.
  • Relevancia respecto a los objetivos planteados en la investigación.

De esta manera propiciamos que el estudiante cuente con un acervo básico de fuentes que sustenten su investigación. Cuando revisamos esta tarea hacemos comentarios verbales. En el caso de que los estudiantes propongan textos cuya lectura y comprensión requiera conocimientos previos, se les sugiere iniciar con un texto más accesible que los prepare para consultar otros de mayor complejidad. Cuando el libro tiene un enfoque diferente al requerido, se aconseja la consulta de otros más adecuados para el trabajo. Se define de común acuerdo entre profesor y estudiante con qué libros iniciará su proceso de investigación, según las características cognitivas de cada estudiante.

3. Selección de información dentro de las fuentes bibliográficas elegidas

El estudiante examina y pondera los fragmentos o pasajes específicos de su bibliografía. Sobre esa base elabora y entrega para revisión una serie de fichas de trabajo de acuerdo con la siguiente secuencia:

a) En la primera fase se solicitan citas textuales, construidas con base en las normas editoriales establecidas por el Instituto de Investigaciones Históricas de la UNAM. Se evalúa la correcta elaboración técnica de los datos que integran una ficha de trabajo, así como su pertinencia para el tema investigado.

b) En la segunda fase se solicitan fichas que pueden ser de síntesis, reflexión o análisis, según el ritmo y estilo de aprendizaje de cada estudiante. La evaluación de este segmento del trabajo es individual, independientemente de que la monografía entregada como producto final del período pueda ser por equipo. Los indicadores para evaluar la elaboración de las fichas de trabajo se encuentran en la tabla 2.

Tabla 2. Indicadores para la evaluación de fichas de síntesis, reflexión o análisis.

El alumno: Bien      Regular      Mal      No lo hace
Organiza correctamente los datos del encabezado
Define conceptos propios del su tema de investigación
Respeta los signos de puntuación y la ortografía de la cita textual
Escribe correctamente la nota de pie de página de cada cita
Selecciona citas textuales que le permiten explicar el proceso histórico de su tema de investigación y cumplir con su objetivo propuesto
Analiza los contenidos de las citas textuales
Sintetiza la información consultada
Redacta reflexiones propias como producto de la lectura realizada


4. Búsqueda de información en periódicos y revistas

La cuarta fase corresponde a la lectura de periódicos y revistas impresas o digitales, si la índole del tema lo permite o lo indica. Se valora la actitud propositiva de los estudiantes para ir más allá de los estudios habituales de académicos o expertos.

5. Búsqueda de información a través de entrevistas

Una posible quinta fase consiste en entrevistar a personas que por algún motivo puedan aportar información valiosa sobre el tema. Se evalúa la capacidad de los alumnos para formular preguntas analíticas que permitan contrastar información ya leída y fichada con los testimonios u opiniones de los entrevistados, que por la trascendencia de sus estudios o por haber sido partícipes de diversos procesos históricos puedan proporcionar información inédita. La ponderación de estos pasos opcionales puede hacerse conforme a lo descrito en la tabla 3.

Tabla 3. Criterios para la evaluación de la búsqueda de información a través de revistas.

El alumno: Bien      Regular      Mal      No lo hace
Ordena los datos hemerográficos del encabezado
Respeta los signos de puntuación y la ortografía de las citas
Escribe correctamente la nota de pie de página del periódico o de la revista
Refuta la información de las citas textuales
Explica el proceso histórico indagado
Redacta reflexiones en torno al tema y al objetivo de su investigación
Analiza los contenidos de las citas textuales
Sintetiza la información consultada
Reflexiona sobre las explicaciones de los autores


6. Estructuración de índice para trabajo de investigación monográfico

Como siguiente paso los estudiantes organizan un índice tentativo, a partir del cual se estima la habilidad y capacidad para presentar ordenada y congruentemente la información recabada. Para su evaluación se consideran los siguientes elementos de la tabla 4.

Tabla 4. Elementos para la estructuración del índice.

El alumno: Bien     Regular     Mal   No lo hace
Organiza la información de lo general a lo particular
Jerarquiza los contenidos
Clasifica la información por apartados
Mantiene congruencia entre su tema y los apartados del índice
Incluye apartado para las fuentes de consulta


7. Redacción de trabajo de investigación monográfico

A continuación, los estudiantes redactan su trabajo monográfico del período. La evaluación considera elementos formales en el trabajo, ortografía correcta, redacción clara y utilización adecuada del aparato crítico. Dentro de los elementos de fondo se evalúa el planteamiento del tema o problema que se desarrolló, la definición de objetivos, la capacidad de expresión escrita de sus resultados, y la formulación de conclusiones estrechamente relacionadas con el objetivo. Los estudiantes se autoevalúan con base en lo puntualizado en la tabla 5.

En algunos casos, los estudiantes han dado otro paso: con el sustento académico de su investigación, aplicada al área profesional a la que se dirigen, han elaborado interesantes y creativos productos de difusión, como, por ejemplo, videos.

Tabla 5. Criterios de evaluación del trabajo de investigación monográfico.

Autoevaluación
Expreso claramente el objetivo de mi investigación
Utilizo correctamente el aparato crítico
Centro las ideas de mi tema en el trabajo
Escribo mis ideas con claridad
Comparo los puntos de vista de distintos autores
Argumento las conclusiones
Escribo sin errores ortográficos
Redacto conclusiones acordes al objetivo inicial del tema
Incorporo y anoto correctamente las fuentes de consulta


Habilidades cognitivas desarrolladas

Desde luego, la concepción y puesta en práctica de esta propuesta didáctica nos ha tomado tiempo, tanto de preparación teórico-metodológica como de adaptación a nuestras circunstancias de trabajo, de aplicación y diálogo con nuestros estudiantes. En este espacio solamente podemos ofrecer una apreciación general acerca de los resultados más notorios que hemos ido obteniendo a través de una práctica perseverante y paciente.

En las siguientes líneas presentamos diez habilidades que han desarrollado los estudiantes mediante el proceso de investigación y redacción de monografías ya descrito. Aportamos aquí testimonios verbales de alumnos que llevaron a cabo su trabajo en la asignatura de Historia de la Cultura y posteriormente en el programa de Jóvenes a la Investigación, con el que los sistemas de bachillerato de la UNAM procuran fortalecer la formación de nuestros futuros académicos. Dichos testimonios fueron elaborados y grabados por algunos de estos alumnos, de acuerdo a su criterio personal a petición nuestra.

  1. La capacidad para ser empático con el tema investigado. Se estimula la curiosidad y comprensión hacia el pasado y el presente humano. No solamente se aspira a que los alumnos comprendan el pasado, sino que desarrollen la noción de que estudian a personas de carne y hueso, con cualidades y defectos como nosotros, y que se aproximen al estudio de una historia vívida (escuchar podcast 1: “Elección del tema”).
  2. El talento para discernir las fuentes adecuadas con miras a acercarse al conocimiento de lo histórico. Cuando el estudiante tiene una vocación significativa por el campo de estudio o posible campo profesional, con frecuencia se produce una emoción multiplicadora del interés, una atracción intelectual, una pulsión de vida similar a cualquier experiencia de hallazgo novedoso y significativo (escuchar podcast 2: “Elección de fuentes”).
  3. La habilidad para platear el problema de manera clara y precisa. Esto da cuenta de que el estudiante ha generado una necesidad de aprendizaje y puede hacer preguntas al tema de manera libre y espontánea, enfocando el aspecto o aspectos que prefiera, en lugar de limitarse a memorizar los datos que el profesor considera que debe aprender (escuchar podcast 3: “Planteamiento del problema”).
  4. La combinación de raciocinio e imaginación para proyectar un conjunto coherente de tareas que permitan averiguar lo que quieren saber. La mayor o menor articulación y coherencia del proyecto nos permite evaluar la concepción de Historia que el estudiante va asimilando y el proceso cognitivo que va estructurando (escuchar podcast 4 “Anteproyecto”).
  5. La formulación de objetivos propios. Denota la claridad con que el estudiante pueda expresar, verbalmente y por escrito, lo que le interesa aprender sin excluir los objetivos institucionales (escuchar podcast 5: “Objetivos”).
  6. La expresión clara de un cronograma de trabajo. Da evidencia de que el estudiante identifica las tareas por realizar y puede asignarles un lapso de cumplimiento realista. Podemos evaluar el engarce entre contenido, fuentes de estudio y fechas de realización (escuchar podcast 6: “Cronograma”).
  7. La capacidad para distinguir qué es una metodología y cómo usarla. Todo trabajo de investigación profesional conlleva una metodología, pero la naturaleza propedéutica de un curso de bachillerato y el nivel de complejidad de diversas propuestas metodológicas nos aconsejan omitir su evaluación. Con frecuencia el uso de una determinada metodología está motivada por la tendencia o intencionalidad ideológica o política de quién lleva a cabo la investigación. Lo que puede evaluarse en este caso es si el estudiante tiene la capacidad de distinguir entre metodología e ideología (escuchar podcast 7: “Intención ideológica”).
  8. La elaboración de fichas de trabajo. Es un ejercicio que abre varias posibilidades de evaluación, como la de saber resumir o extraer de un texto la información que realmente va a ser útil en una investigación, o bien la de tomar citas textuales de documentos o textos en forma tal que puedan insertarse de modo congruente en la redacción final del trabajo. Adicionalmente, puede evaluarse tanto la constancia como la habilidad con que el estudiante va desarrollando su investigación (escuchar podcast 8: “Elaboracion de fichas”).
  9. El empleo apropiado del aparato crítico. Uno de los aspectos más importantes de la intención propedéutica del curso de Historia de la Cultura es la de familiarizar al estudiante con el empleo de uno de los elementos indispensables del trabajo profesional en humanidades o en ciencias sociales. Evaluamos tanto la comprensión como la práctica que el estudiante tenga de este sistema de anotación de los apoyos documentales de un discurso académico (escuchar podcast 9: “Empleo del aparato crítico”).
  10. La estructuración preliminar del escrito con que se cierra la investigación. Permite evaluar la claridad con que el estudiante organiza la información recabada para jerarquizarla, interpretarla y redactarla. Por tanto, este paso es decisivo para valorar si el alumno explica de manera ordenada y congruente la temática histórica que reconstruyó (escuchar podcast 10: ”Estructura”).

Conclusiones

Las actividades de aprendizaje que forman parte del proceso de elaboración del trabajo de investigación están orientadas al desarrollo de habilidades específicas de la disciplina. Este proceso formativo está diseñado para contribuir al cumplimiento de los objetivos específicos de la ENP, dotar a los estudiantes de las herramientas indispensables para la comprensión de su realidad a través de la investigación histórica y, a la vez, apoyarlos en su ingreso a estudios profesionales.

Nuestra labor cotidiana nos ha enseñado que es de la mayor importancia que el docente acompañe de manera permanente el proceso de elaboración del trabajo y no se limite a recibir un escrito impreso en una fecha fija.

Si bien la labor de los estudiantes usualmente culmina con la entrega de dicho impreso, en ocasiones puede desembocar en otro formato de mayor difusión, como un blog de divulgación.

Hemos querido transmitir, en forma útil y provechosa, para el joven bachiller en formación, para el colega docente y para el lector, el fruto de muchos años de observaciones, ensayos y errores. En fin, experiencias en su mayoría exitosas, con el ánimo de que el estudiante que ingresa a nuestro curso egrese con la satisfacción de tener más conocimientos, pero sobre todo de saber hacer y saber conducirse mejor en sus estudios, empleos y vida futura.

Hasta donde el nivel de estudios y la carga de asignaturas lo permite, hemos querido llevar a nuestros estudiantes “tras bambalinas”, al “taller del historiador”, para acercar al joven a esa curiosidad reflexiva e insaciable que nos anima a todos aquellos a los que nos apasiona el conocimiento de lo histórico. Nuestra labor más importante como profesores ha sido la de invitar al joven a contemplar nuestro campo profesional como un reto cognitivo, viendo a la Historia como un conjunto de procesos que conforma y explica significativamente su realidad.

Nos parece ver ahora que, si queremos contribuir a que el bachiller se inicie en el ejercicio de labores académicas, en el pensamiento crítico, en el aprecio por la riqueza o acervo histórico-cultural de los seres humanos, y en la producción de nuevos conocimientos, no encontraremos mejor manera de que el estudiante aprenda Historia que ayudarle a que la investigue por cuenta propia.

Sostenemos que la definición de criterios de evaluación de cada uno de los pasos de investigación que el estudiante va realizando aunada a la tabla de autoevaluación que sugerimos brindan indicadores sobre los cuales puede definirse con objetividad y justicia el valor numérico final en que tarde o temprano termina la relación estudiante-profesor.

No perdemos de vista las dificultades concretas con que nuestra propuesta tropieza. Sabemos por experiencia propia lo demandante que resulta evaluar de manera continua los procesos de elaboración de trabajos de investigación de grupos muy numerosos (de más de 50 alumnos). ¿Dejará de vivir el docente su propia vida para leer, evaluar y calificar los trabajos de sus estudiantes? No tiene que ser así, pero sólo el profesor o profesora directamente involucrado puede definir hasta qué grado de entrega puede y quiere llegar. Y los estudiantes tienen, a su vez, la posibilidad de valorar lo que reciben de sus docentes.

Referencias

  • Ahumada, A. P. (2005). La evaluación auténtica: un sistema para la obtención de evidencias y vivencias de los aprendizajes. Perspectiva Educacional, 45, 11-24. Recuperado de: http://www.redalyc.org/pdf/3333/333329100002.pdf.
  • Gros Salvat, B. (2000). El ordenador invisible: hacia la apropiación del ordenador en la enseñanza. Barcelona: Gedisa – Universitat Oberla de Catalunya.
  • Maldonado Pérez M. (2008). Aprendizaje basado en Proyectos colaborativos. Una experiencia en educación superior. Laurus, 14(28), 158-180. Recuperado de: http://www.redalyc.org/articulo.oa?id=76111716009.

Vol. 19, núm. 6 noviembre-diciembre 2018

Pruéb@te UNAM, opción para preparar el examen de admisión a la licenciatura

Enrique Ricardo Buzo Casanova, Elibidú Ortega Sánchez y Adrián Alejandro Martínez González Cita

Resumen

En este artículo se describe la metodología empleada para el diseño y construcción de Pruéb@te UNAM, una WebApp creada con el propósito de favorecer el proceso de preparación de los aspirantes que presentarán el examen de los concursos de selección para el ingreso a las licenciaturas que ofrece la Universidad Nacional Autónoma de México (unam) en sus diferentes convocatorias. Mediante el uso de esta aplicación, los aspirantes pueden estudiar, con reactivos y exámenes muestra, los contenidos de las materias que prefieran o resolver exámenes con las mismas características del de admisión.
Palabras clave: concurso de selección, licenciaturas, examen de admisión, pruébate, aspirantes.

Pruéb@te UNAM, option to prepare the selection exam for the degree

Abstract

This article describes the methodology used for the design and construction of Pruéb@te UNAM, a WebApp for the study and preparation of the candidates that will take the selection exam to apply for the bachelor’s degrees offered by the National Autonomous University of Mexico (unam) in its different calls. With the use of Pruéb@te UNAM the applicant can study the subjects he decides or perform exams of the same characteristics to the admission test.
Keywords: contest of selection, bachelor’s degrees, entrance examination, testing, applicants.

Introducción

El ingreso a la Educación Superior (es) es cada vez más complicado en nuestro país debido al aumento de la población estudiantil y a la falta de crecimiento en la proporción adecuada de la es. Las oportunidades y las ofertas de trabajo son reducidas, mientras la sociedad demanda profesionales cada vez más preparados para dar respuesta a las necesidades y diversos problemas que enfrenta.

En la Universidad Nacional Autónoma de México (unam), la admisión a los estudios de licenciatura está determinada por el desempeño que muestran los aspirantes en el examen de selección, para los alumnos que no vienen del bachillerato de la unam o que no tienen la opción de pase reglamentado en el caso de la Escuela Nacional Preparatoria (enp)o el Colegio de Ciencias y Humanidades (cch). El número de aspirantes se incrementa año con año y los lugares ofertados dentro de las licenciaturas es insuficiente para hacer frente a esta demanda, lo que dificulta el ingreso. Por ejemplo, durante el año 2018 realizaron el examen de admisión a las licenciaturas de la unam un total de 214,409 aspirantes de los cuales ingresaron 19,128, lo que representa el 8.9%.

Si bien es cierto que existen diferentes formas de prepararse para sustentar el examen de admisión de la unam, a nivel institucional, a excepción de la Guía para preparar el examen de selección que elabora cada año la Coordinación de Desarrollo Educativo e Innovación Curricular (codeic), no existía otro apoyo para los aspirantes.

Al reconocer a la evaluación como una herramienta poderosa para el aprendizaje, nace la idea de desarrollar una plataforma informática para estudiar: es así como surge la WebApp Pruéb@te UNAM Licenciatura. Es importante destacar que antes de que la Dirección de Evaluación Educativa perteneciera a la codeic, se desarrolló un sistema de apoyo similar denominado “Examen de ingreso a la licenciatura ¿cómo me preparo?”, el cual fue una excelente innovación en su momento y operó durante más de diez años.

No obstante, con el paso del tiempo se hizo indispensable una actualización más acorde con las características del examen de admisión, por lo que se optó por hacer una nueva plataforma. Pruéb@te UNAM es un esfuerzo conjunto de la Subdirección de Evaluación de Bachillerato y Licenciatura, y la Unidad de Sistemas e Informática de la codeic.

¿Cuáles son sus principales características?

La plataforma Pruéb@te UNAM es una WebApp, es decir, una aplicación basada en la Web y diseñada con html y Java (lo que le permite al usuario trabajar sin necesidad de realizar ningún tipo de instalación adicional en sus dispositivos), diseñada con el propósito de apoyar a los aspirantes en su proceso de preparación para ingresar a las licenciaturas que ofrece nuestra máxima casa de estudios. La WebApp se encuentra ubicada en la dirección electrónica http://www.pruebate.unam.mx y desde su apertura hasta el mes de agosto de 2018 se han registrado 9,281 aspirantes que han contestado 13,227 exámenes muestra.

La aplicación está integrada por dos módulos: Práctica de exámenes y Práctica de materia, en los cuales cada aspirante puede autoevaluarse y reforzar sus conocimientos en las asignaturas y temas donde presenta un bajo desempeño. También cuenta con Otros recursos y Bibliografía como apoyo adicional para el aprendizaje del aspirante.

Para utilizarla es indispensable llenar un formulario de registro, el cual permite canalizar al estudiante al área de conocimiento que le corresponde (Físico Matemáticas y de las Ingenierías, Ciencias Biológicas, Químicas y de la Salud, Ciencias Sociales o Humanidades y de las Artes), en función de la carrera que piensa elegir; así, los contenidos hacen énfasis en lo que debe saber el aspirante para presentar el examen y mantener su funcionalidad durante los primeros semestres de la licenciatura.

¿Cómo se creó la plataforma?

Pruéb@te UNAM deriva de la correcta aplicación de una metodología para la elaboración de exámenes objetivos (Downing y Haladyna, 2006), la cual describe de manera puntual los pasos que debe seguir la construcción de un instrumento de medición de acuerdo con los principios básicos de la psicometría contemporánea. A continuación, se describen los pasos de dicha metodología en la construcción de la plataforma.

A) Planeación general

Una vez detectada la necesidad de crear un nuevo recurso didáctico para apoyar la preparación de los aspirantes para presentar el examen de admisión a las licenciaturas de la unam, la codeic convocó a un equipo multidisciplinario de profesores que forman parte de los subsistemas del bachillerato de la unam (enp y cch) con experiencia en la elaboración de reactivos y en la metodología que empleamos en la codeic para desarrollar el proyecto. Se consideraron cada una de las cuatro áreas de estudio: i. Físico Matemáticas y de las ingenierías, ii. Ciencias Biológicas, Químicas y de la Salud, iii. Ciencias Sociales y iv: Humanidades y de las Artes. Se pensó en elaborar una herramienta, que, a diferencia de un curso o taller, pudiera llegar a más personas de una manera cómoda, sencilla, práctica y económica, que además le permitiera al aspirante estudiar a su propio ritmo en el lugar y momento que más le convenga.

Durante un año, un grupo de ingenieros en sistemas, licenciados en informática, diseñadores, pedagogos, psicólogos y profesores especialistas en las distintas asignaturas, tanto del bachillerato como de las licenciaturas, trabajaron en conjunto para diseñar la aplicación Pruéb@te UNAM.

Primero se definió y desarrolló el contenido para los módulos de Práctica de materia y de Práctica de exámenes, posteriormente para los apartados de Otros recursos y Bibliografía. Cuando se tuvo listo el contenido se incorporó a la plataforma de la WebApp para realizar una prueba piloto de su funcionamiento a partir de la cual se identificaron algunos aspectos a mejorar antes de su puesta en marcha.

Durante el proceso, se enfrentaron dos grandes retos: los materiales y la funcionalidad de la WebApp. En el primer caso, los materiales que incluyen tanto los reactivos como las realimentaciones fueron planeados para ser presentados en línea y no en papel, lo que representa un cambio en las posibilidades tanto del contenido como de la presentación. No obstante, fue muy importante que los materiales desarrollados se mantuvieran ceñidos al temario y a las características del examen de admisión con la finalidad de ofrecerle al estudiante una experiencia más cercana a la realidad del proceso de admisión. Las realimentaciones debían ser claras y ofrecer la oportunidad de fomentar la evaluación formativa en el estudiante, desarrollando la capacidad reflexiva del profesor, para así lograr desarrollar la del estudiante. Después de una ardua labor y la prueba piloto, los materiales se ajustaron a su formato definitivo.

En lo que respecta a la funcionalidad de la WebApp, era importante diseñar una aplicación que no sólo fuera funcional y atractiva, sino que, al mismo tiempo, le permitiera al estudiante ingresar en los momentos que tuviera oportunidad desde cualquier dispositivo. Esto implicó que el equipo de diseño se ocupara en desarrollar la aplicación para que fuera accesible desde cualquier sistema operativo y que al mismo tiempo se adaptara al dispositivo en el que se estaba consultando sin perder funcionalidad. Después de varias pruebas con diferentes dispositivos y con distintos tipos de conexión a internet se logró una aplicación responsiva muy funcional.

B) Definición del contenido (temarios)

Los temarios de Pruéb@te UNAM son los mismos que se utilizan para la elaboración del examen de admisión, éstos incluyen la participación de grupos de profesores del bachillerato de la unam expertos en cada una de las materias que se evalúan, y parten de los contenidos comunes de los diversos sistemas de bachillerato que existen.

Estos temarios permean el contenido de Pruéb@te UNAM, por lo que todos los reactivos, ya sea de los exámenes muestra o de práctica de materia, están elaborados de acuerdo con los temas y subtemas propuestos. Esto permite que el aspirante conteste reactivos muy similares a los que enfrentará en el examen de admisión.

C) Especificaciones de los módulos de la plataforma

Con la finalidad de que los aspirantes tengan una preparación integral para el examen de admisión, Pruéb@te UNAM integra dos módulos.

El primero es el de Práctica de exámenes, en el que el estudiante puede resolver pruebas con la misma estructura del examen de ingreso a la licenciatura y ofrece un panorama más real del examen de selección en cuanto a contenidos y tiempo de duración.

Y en el segundo, el de Práctica de materia, el aspirante puede autoevaluarse y reforzar sus conocimientos en las asignaturas y temas donde presenta un bajo desempeño. En este módulo, cada reactivo cuenta con cuatro realimentaciones, una para la respuesta correcta y tres para cada uno de los distractores, lo que le permite al estudiante conocer puntualmente en dónde y por qué se equivocó y subsanarlo con estudio y el material de apoyo sin necesidad de consultar a alguien más aparte de la WebApp. También, las realimentaciones le ofrecen al estudiante la oportunidad de asimilar el porqué de sus aciertos y consolidar así sus conocimientos dándole mayor certeza y seguridad.

Pruéb@te UNAM tiene dos áreas más denominadas Recursos, en la que el estudiante puede encontrar referencias y vínculos a otros sitios de la red en los que puede consultar información adicional que complemente sus estudios, y Bibliografía, donde se encuentran concentradas las referencias bibliográficas actualizadas, proporcionadas y aprobadas por el Consejo Académico del Bachillerato (cab) de la unam.

D) Desarrollo de los contenidos

Los contenidos de Pruéb@te UNAM fueron diseñados por especialistas en evaluación educativa, los reactivos que integran los exámenes se basan en los temarios del Examen de Selección, y son elaborados por profesores de la unam expertos en las materias o campos disciplinarios incluidos en los temarios. Al ser los mismos temarios del examen de admisión, los reactivos se elaboran con las mismas normas que marca la metodología citada y, por ende, poseen las mismas evidencias de validez con las que cuenta el examen de admisión en términos de los contenidos y el impacto que tienen en el estudio de los aspirantes. Además, cuentan con definiciones claras de los aprendizajes que debe de lograr el estudiante en el examen.

E) Diseño de la plataforma y puesta en línea

Pruéb@te UNAM se diseñó como una WebApp, por lo tanto, no se requiere realizar instalaciones de ningún tipo de intérprete o software adicional, ya que con cualquier equipo que cuente con internet y un navegador el aspirante puede tener acceso. Además, la aplicación es responsiva, es decir, se adapta a las características del equipo en el que se visualiza, acomodando la información de una forma amigable y práctica. Los contenidos están en la nube y no tienen que ser descargados, por lo que tampoco se requiere de una gran capacidad de almacenamiento.

Aunado a lo anterior, la aplicación Pruéb@te UNAM permite que el aspirante pueda contactar a los administradores de la misma con la finalidad de realizar observaciones, sugerencias e, incluso, solicitar apoyo técnico.

F) Aplicación (prueba piloto)

Para estar seguros de la funcionalidad y los contenidos, Pruéb@te UNAM se probó con alumnos de diferentes planteles del bachillerato, tanto público como privado, durante el último cuatrimestre de 2017, antes de su puesta en marcha formal. Una vez concluidas las pruebas y realizados los ajustes, la plataforma entró en operación oficialmente en enero de 2018.

Los reactivos incluidos en Pruéb@te UNAM fueron elaborados por expertos en la materia y diseñado acorde con las especificaciones del temario. Además, cada reactivo fue valorado por una comisión de tres profesores quienes cotejaron que su contenido fuera el correcto, que fuera claro, con un orden lógico, con una redacción adecuada y que sólo tuviera una respuesta correcta.

Los reactivos incluidos en las prácticas de materia y sus realimentaciones también fueron diseñados por profesores expertos del bachillerato de la unam y los exámenes tienen las mismas características que el examen de admisión real en cuanto a su contenido, cantidad de opciones de respuesta, formato y número de reactivos.

Los aspirantes tienen la posibilidad de presentar diferentes versiones de examen y comparar sus resultados para mejorar sus tiempos y solventar sus deficiencias.

Con esta WebApp la unam da respuesta a una necesidad de los estudiantes para prepararse para un examen de admisión a las diversas licenciaturas de la misma, como una herramienta que se puede utilizar para promover el aprendizaje de conocimientos y su aplicación.



Metodología en el diseño de la WebApp Pruéb@te UNAM (Adaptado de Haladyna y Downing [2006]).

Perspectivas

Aun cuando no contamos con datos específicos sobre el impacto que tiene Pruéb@te UNAM sobre el desempeño de los estudiantes en el examen de admisión, sí se tiene información de su antecesor el seil, que demuestra que los estudiantes que emplearon la herramienta fueron seleccionados en alguna licenciatura de la unam; esta situación fue consistente durante los diez años de funcionamiento del sistema. Pruéb@te UNAM es una aplicación mejorada y actualizada, más acorde con el examen de admisión, por lo que su impacto debe ser similar. De igual manera, se está trabajando en la recolección de datos que permita la evaluación del impacto de la aplicación.

También es importante destacar que se está trabajando en aplicaciones similares como apoyo para los diferentes tipos de exámenes de admisión que tiene nuestra máxima casa de estudios.

Pruéb@te UNAM cuenta con el respaldo de la Coordinación de Desarrollo Educativo e Innovación Curricular (codeic) de la Universidad Nacional Autónoma de México y tiene un costo de recuperación de $200.00 lo que permite que el estudiante puede usar la plataforma durante seis meses. Pruéb@te UNAM está abierto durante todos los días del año.

Si te interesa presentar el examen de selección para alguna de las licenciaturas que ofrece la Universidad Nacional Autónoma de México y quieres preparar tu examen con materiales autorizados y que realmente representen los contenidos del examen de admisión, te invitamos a utilizar la WebApp Pruéb@te UNAM y te garantizamos que tendrás una muy grata experiencia de aprendizaje y las herramientas que te proporcionaran seguridad y confianza en la presentación del examen de admisión.

Referencias

  • American Educational Research Association (aera), American Psychological Association (apa) y National Council on Measurement in Education (ncme). (2014). Standards for Educational and Psychological Testing. Washington, dc: aera.
  • Downing, S. M. (2003). Validity: on the meaningful interpretation of assessment data. Med Educ, 37, 830-837.
  • Downing, S. M. y Haladyna, T. M. (2006). Handbook of test development. Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc., Publishers.

Vol. 19, núm. 6 noviembre-diciembre 2018

El Programa de Apoyo al Ingreso, estrategia coadyuvante del éxito académico en la UNAM

Alma Herrera Márquez, Francisco Cervantes Pérez, Margarita Pérez Durán Cita

Resumen

El propósito del Programa de Apoyo al Ingreso, del Sistema Universidad Abierta y Educación a Distancia (SUAyED) de la Universidad Nacional Autónoma de México (UNAM), es proporcionar una experiencia formativa pertinente e integral que apoye la inserción de los aspirantes a la modalidad abierta o a distancia mediante la apropiación de conocimientos, habilidades, herramientas y apoyos básicos necesarios en la vida universitaria. El artículo presenta las características del programa, así como los resultados preliminares de su aplicación en octubre-noviembre de 2017.
Palabras clave: éxito académico, ingreso escolar, educación superior abierta y a distancia.

The Admission Support Program, a coadjutant strategy for academic success in the National Autonomous University of Mexico

Abstract

The purpose of the “Programa de Apoyo al Ingreso del Sistema Universidad Abierta y Educación a Distancia” (SUAyED) from the National Autonomous University of Mexico (UNAM) is to provide a full and proper formative experience that supports the insertion of applicants to the open or distance education mode through the appropriation of knowledge, skills, tools and basic supports that are necessary in university life. This article presents the characteristics of the program, as well as the preliminary results of its appliance in September-October 2017.
Keywords: academic success, admission, open and distance higher education.

Introducción1

Desde hace poco más de dos décadas, la Universidad Nacional Autónoma de México (UNAM) aplica un examen diagnóstico2 de conocimientos a los estudiantes que ingresan a la licenciatura. Los propósitos de este examen son determinar su nivel de conocimientos y aportar información para el diseño de estrategias que fortalezcan su perfil de ingreso. Los resultados obtenidos del diagnóstico anual han conducido a las diferentes entidades académicas a poner en marcha programas propedéuticos que atienden las problemáticas académicas de los estudiantes.

Para ilustrar la importancia que tiene este ejercicio de evaluación se pueden consultar los resultados de los exámenes diagnósticos que la Dirección de Evaluación Educativa, que la Coordinación de Desarrollo Educativo e Innovación Curricular (CODEIC) de la UNAM aplicó para el año lectivo 2018 (Sánchez et al., 2018). En ellos, se aprecia que la media del porcentaje de respuestas correctas por área de conocimiento y sistema (escolarizado, abierto y a distancia) fue de 48.2%. El sistema abierto es el que mejor desempeño tuvo en el área de Ciencias Sociales (51.1%), y en Humanidades y Artes (57.3%). En los tres sistemas, el área de Humanidades y Artes tuvo el mejor desempeño con porcentajes arriba del 50%. Lo más preocupante es que el promedio de respuestas correctas en los exámenes diagnóstico es inferior a 6. Cabe destacar que esta situación no es privativa de la UNAM, pues, como Sanne y sus colaboradores plantean (2017), la transición de la educación secundaria a la educación terciaria suele ser difícil para los estudiantes, y ello se refleja en tasas de retención relativamente bajas en el primer año de la licenciatura. De acuerdo con los mismos autores, en los Países Bajos el 33% de los estudiantes universitarios abandona o cambia de carrera después del primer año; en Estados Unidos el 20% de los estudiantes de tiempo completo no regresa a la universidad en su segundo año; en Australia, Nueva Zelanda y el Reino Unido, aproximadamente del 7% al 19% de los estudiantes de licenciatura abandona sus estudios después del primer año; en Francia y en Bélgica, aproximadamente del 21% al 24%; y en Alemania, 33% lo hace.

Un problema tan agudo y generalizado ha incrementado el interés por determinar las variables asociadas al logro académico en educación superior. Con este objetivo, Schneider y Preckel (2017), a partir de un meta-análisis, determinaron 11 categorías en las que se podían agrupar 105 variables; seis categorías están relacionadas con la enseñanza: interacción social, estimulación del aprendizaje significativo, evaluación, presentación (motivación que despierta el docente en el curso y su contenido), tecnología, y capacitación extracurricular; y el resto, con las características del estudiante: inteligencia y logro previo, estrategias, motivación, personalidad y contexto (p. 18). Si bien todas estas variables permean el diseño y operación del Programa de Apoyo al Ingreso (PAI) sólo se mencionarán las de mayor impacto.

En la categoría de interacción social, la variable que mejor impulsa el logro académico es interacción profesor-estudiante y estudiante-estudiante, tanto en los ambientes presenciales, como en línea (en actividades como foros). Es importante señalar que la interacción social requiere compromiso activo, argumentación favorable acerca del propio conocimiento, toma de posición y comparación de argumentos y contraargumentos (Chi, 2009).

Estimular procesos de aprendizaje significativo abarca la preparación y organización cuidadosa del curso, la claridad en la definición de objetivos y requisitos, vincular el curso con la realidad y con el plan de estudios, diseñar mapas conceptuales (o cualquier tipo de organizador previo), donde se visualicen las relaciones abstractas que existen entre conceptos clave, permite que los estudiantes puedan determinar la relevancia del nuevo contenido, identifiquen conceptos erróneos y transfieran el contenido a situaciones reales (Ruiz-Primo y et al., 2011).

La evaluación (diagnóstica, formativa, sumativa y auténtica) tiene la función de proporcionar retroalimentación a los alumnos y profesores y vincular el aprendizaje previo con las necesidades futuras de aprendizaje. En el PAI la importancia de procesos de coevaluación y autoevaluación en el logro de aprendizaje son procesos complementarios a la evaluación del docente.

La presentación del curso es particularmente importante porque depende de la claridad y comprensibilidad con que se explican ideas abstractas, sistemas simbólicos y teorías. La presentación, desafíos y preguntas despiertan la curiosidad; el uso de diagramas con explicaciones escritas, el uso de imágenes (infografías y fotografías) que no requieren explicaciones orales animan la participación y estimulan el involucramiento en el programa.

El PAI ha sido diseñado considerando que las tecnologías digitales han moldeado y expandido la literacidad3 más allá del texto. La multiliteracidad implica la convergencia de diversas formas de conocimiento y discernimiento apropiadas con el contexto social; de forma tal, que los estudiantes pueden navegar entre el papel y los medios electrónicos, deconstruyendo sus sistemas semióticos para que codifiquen, comuniquen y colaboren creando contenido a través de múltiples plataformas.

Respecto a las tecnologías, tiene que precisarse que los dispositivos móviles favorecen la aplicación de pedagogías críticas digitales centradas en el estudiante y en el aprendizaje, especialmente aquellas que contribuyen al desarrollo de procesos de razonamiento inductivo y creativo, esquemas de colaboración y metodologías innovadoras en la solución de problemas diseñados por el alumno.4

Con el objetivo de mejorar la formación propedéutica del SUAyED,5 la Coordinación de Universidad y Educación a Distancia (CUAED) evalúo los cursos propedéuticos que se habían aplicado a los estudiantes de primer ingreso y concluyó que había un importante conjunto de aspectos que tendrían que incluirse para programar el éxito académico en el primer año de la licenciatura y ofrecer oportunidades sustantivas de aprendizaje que aseguraran una buena trayectoria académica.

Programa de Apoyo al Ingreso

El PAI se dirige a fortalecer el desempeño académico del estudiante, por esta razón, abarca una amplia gama de aspectos, entre ellos, el desarrollo de habilidades de pensamiento, competencias académicas y estrategias metacognitivas que favorecen el reconocimiento y apropiación de procesos de autorregulación, gestión de la motivación y autoeficacia, y que se encuentran estrechamente relacionadas con el logro académico; sobre todo la autoeficacia tiene un efecto causal positivo en el rendimiento si se proporciona un contexto en el que se enmarquen tareas complejas, con tiempos definidos, objetivos claros y estándares explícitos para el éxito (Sanne et al., 2017; Schneider y Preckel, 2017).

El PAI articula un conjunto de acciones orientadas a facilitar la transición de los aspirantes de nivel licenciatura hacia las características del estudio en modalidades semipresenciales y no presenciales. Es preciso señalar que, si bien había una experiencia de más de una década diseñando cursos propedéuticos, era necesario un enfoque integral dirigido al fortalecimiento del desempeño académico y a la programación del éxito. Este enfoque comprende dos fases: la primera de ellas es la analítica cuyo objetivo es la determinación de perfiles, lenguajes y patrones de aprendizaje. La fase estratégica, por su parte, se encamina al desarrollo de habilidades de pensamiento, estrategias de automotivación, autorregulación de aprendizaje y competencias académicas a partir de seis módulos (figura 1).



Figura 1. Fases analítica y estratégica del PAI.
Fuente: elaboración propia.

Por otro lado, hacía falta la evaluación del perfil cognitivo de los estudiantes, a fin de que se pudieran diseñar diversas rutas de aprendizaje alineadas con él; por ello, se incorporó al módulo II del programa (Aprendizaje autogestivo) el sistema Perfiles Educativos Recurrentes para Sistemas de Enseñanza Optimizada (PERSEO),6 el cual mide procesos cognitivos y metacognitivos. A ellos se agregó la valoración del capital cultural estrechamente vinculado con factores contextuales asociados al éxito académico.

El diseño tecnopedagógico se centró en el desarrollo de estrategias de aprendizaje basadas en la formulación de desafíos para promover la apropiación de herramientas y habilidades cognitivas, conductuales y afectivas, necesarias para completar con éxito tareas, alcanzar objetivos y gestionar demandas académicas; estrategias de coaprendizaje y aprendizaje profundo (combinación de procesamiento de información compleja y especializada y una motivación propia –intrínseca– para aprender).

El PAI es un programa completamente en línea dirigido a la atención, de manera simultánea, de 5 000 participantes; por ello, los diseños pedagógico, comunicacional y tecnológico se adecuaron a la metodología que guía el desarrollo de los Massive Open Online Courses (MOOC). La interactividad y conectividad inherentes a esta metodología favorecen la creación de comunidades de aprendizaje entre pares.

La metodología MOOC fue la base para organizar grupos de 250 participantes bajo el modelo operativo que se puede ver en la figura 2.



Figura 2. PAI: modelo operativo.
Fuente: elaboración propia.

El PAI tiene como objetivo general proporcionar una experiencia formativa pertinente e integral que apoye la inserción de los aspirantes a la modalidad abierta o a distancia mediante la apropiación de conocimientos, habilidades, herramientas y apoyos básicos necesarios en la vida universitaria.

La estructura curricular del PAI está definida por competencias y se conforma por seis módulos (figura 3):

  • Módulo I. Cultura digital. Programado para cursarse en un máximo de 20 horas.
  • Módulo II. Autogestión del aprendizaje, en un máximo de 20 horas.
  • Módulo III. Leo y comprendo, en un máximo de 10 horas.
  • Módulo IV. Habilidades argumentativas, en un máximo de 10 horas.
  • Módulo V. Lenguaje algorítmico, en un máximo de 20 horas.
  • Módulo VI. Introducción a la tutoría entre pares, en un máximo de 10 horas.


Figura 3. Estructura curricular del Programa de Apoyo al Ingreso.
Fuente: https://pai.cuaed.unam.mx/.

Cada módulo se encuentra integrado por las siguientes secciones: bienvenida, propósitos, situación problema, desafíos (actividades autogestivas), referencias bibliográficas, tutoriales, materiales base para concretar los desafíos (videos temáticos, lecturas y vínculos), monitoreo bajo demanda, foros para aprendizaje colaborativo, y estrategias de retroalimentación de avance. El participante hace autogestión de su aprendizaje, pues decide su propia ruta, ya que, durante las nueve semanas de su duración, todos los módulos se encuentran abiertos.

Algunos resultados

En los ciclos escolares 2017 y 2018, el PAI incorporó a 19 118 participantes. Sin embargo, para ilustrar los logros alcanzados sólo se describirán algunos de los resultados obtenidos en la aplicación de noviembre de 2017, que corresponden casi al 40% de la población atendida. En primer lugar, debe precisarse que de los 7 201 aspirantes se registraron en octubre de 2017 en Dirección General de Administración Escolar (DGAE) de la UNAM (entre ellos 40 personas que cambiaron de sistema), sólo iniciaron el primer módulo (Cultura digital) 4 983, lo que equivale al 69.1%. Es decir, que 30% de registrados no inició el Programa.

Esta situación se mantiene en prácticamente todas las licenciaturas, pues del 26% al 42% de los estudiantes se registró, pero no inició el Programa. Las licenciaturas de Enseñanza de Alemán y Enseñanza de Italiano sólo tuvieron dos participantes registrados y en ambos casos uno de ellos aprobó el examen y el PAI. La tabla 1 muestra la distribución por licenciatura de los resultados del PAI, considerando la aprobación del Programa.

Tabla 1. Distribución por licenciatura de aspirantes que aprobaron el PAI.

Licenciatura Aspirantes que participaron
en el PAI
Aspirantes aprobados PAI %
Administración 806 266 33
Bibliotecología 32 21 66
Ciencias de la Comunicación 123 66 54
Ciencias Políticas y Administración Pública 155 107 69
Contaduría 553 190 34.3
Derecho 638 307 48.1
Diseño y Comunicación Visual 435 171 39.3
Economía 212 115 54.2
Enseñanza de Alemán 1 1 100
Enseñanza de Español 24 9 38
Enseñanza de Francés 7 0 0
Enseñanza de Inglés 85 33 39
Enseñanza de Italiano 1 1 100
Pedagogía 330 178 54
Psicología 1 142 543 48
Relaciones Internacionales 171 79 46
Sociología 53 39 74
Trabajo Social 215 92 43
Total 4 983 2 218 45

Hay diversos aspectos a destacar en la tabla 1:

  1. 45% de quienes iniciaron el programa lo culminó satisfactoriamente; esto quiere decir que alcanzó en su totalidad las competencias definidas en el perfil de egreso.
  2. 534 (10.7%) de los aspirantes concluyó el PAI dos semanas antes de la fecha de cierre del Programa.
  3. En la licenciatura en Sociología, 74% de quienes participaron en el PAI lo culminó satisfactoriamente.
  4. La licenciatura en Administración fue la que reportó un menor porcentaje de participantes aprobados, pues sólo 33% logró desarrollar todas las competencias establecidas en el perfil.
  5. En la licenciatura de Enseñanza de Francés se inscribieron siete personas al PAI, pero ninguna lo aprobó ni tampoco aprobó el examen de selección.
  6. La licenciatura en Psicología fue la que más estudiantes inscritos tuvo (1 142), de éstos el 48% resolvió satisfactoriamente todos los desafíos del PAI.
  7. En el caso de Bibliotecología, y Ciencias Políticas y Administración Pública se observó que casi 70% de quienes se inscribieron aprobaron satisfactoriamente el PAI, con 66% y 69%, respectivamente.

La tabla 2 muestra el porcentaje de aspirantes que aprobaron el examen de admisión, en relación con aquellos que no lo aprobaron, independientemente de su participación en el PAI. Los datos hacen patente la necesidad de emprender diversas iniciativas dirigidas al mejoramiento de la aprobación del examen de selección.

Tabla 2. Porcentaje de aspirantes que aprobó el examen de selección.

Licenciatura Aspirantes registrados DGAE Aspirantes que no aprobaron examen % Aspirantes que aprobaron examen %
Administración 1072 883 82.3 189 18
Bibliotecología 53 31 58.4 22 42
Ciencias de la Comunicación 189 84 44.4 105 56
Ciencias Políticas y Administración Pública 262 119 45.4 143 55
Contaduría 743 567 76.3 176 24
Derecho 945 491 52 454 48
Diseño y Comunicación Visual 606 483 78 124 20.4
Economía 327 177 54 150 46
Enseñanza de Alemán 2 1 50 1 50
Enseñanza de Español 33 19 58 14 42
Enseñanza de Francés 7 5 71.4 2 29
Enseñanza de Inglés 118 72 61 46 39
Enseñanza de Italiano 2 1 50 1 50
Pedagogía 508 402 79.1 106 21
Psicología 1 685 1 108 66 576 34.1
Relaciones Internacionales 250 142 57 108 43.2
Sociología 92 37 40 55 60
Trabajo Social 307 223 73 84 27.3
Total 7 201 4 845 67.2 2 356 32.7

En la tabla 2, que toma como base el total de registrados en la DGAE (7 201 aspirantes), se destaca lo siguiente:

  1. Los datos son preocupantes si se considera que 67% de quienes se registraron no pasó el examen de selección.
  2. Sólo 32.7% de quienes se registraron para el concurso de selección aprobó el examen.
  3. La licenciatura en Sociología es la que obtiene el más alto porcentaje de aprobación en el examen de selección, ya que 60% de quienes se registraron aprobó el examen.
  4. En la licenciatura en Administración el porcentaje de aprobación en el examen no alcanzó ni siquiera 20%.
  5. Menos de 50% de quienes se registraron en la DGAE aprobó el examen en las licenciaturas de Bibliotecología, Contaduría, Derecho, Diseño y Comunicación Visual, Economía, Enseñanza de Español, Enseñanza de Francés, Enseñanza de Inglés, Pedagogía, Psicología y Trabajo Social.
  6. Más de 50% de los registrados aprobó el examen de selección en las licenciaturas de Ciencias de la Comunicación, Ciencias Políticas y Administración Pública, Enseñanza de Alemán, Enseñanza de Italiano y Sociología.

Los datos expuestos son preocupantes si se considera que este 32.7% que aprobó el examen de selección obtiene menos de 50% de los aciertos del examen diagnóstico de primer ingreso, de acuerdo con los datos de la Dirección de Evaluación Educativa de la UNAM (Sánchez et al. 2018).

La tabla 3 muestra el porcentaje total de aspirantes que aprobó el examen de admisión, por un lado, sin haber aprobado el PAI y, por el otro, al aprobar el Programa.

  1. 62% de los aspirantes que aprobaron el PAI acreditó el examen de selección.
  2. El porcentaje de aprobados del Programa de Apoyo al Ingreso y del examen de selección en las licenciaturas de Enseñanza de Francés y de Administración es de 0% y 39%, respectivamente.
  3. En las licenciaturas de Diseño y Comunicación Visual y Pedagogía, aprobó el examen de selección menos de 50% de quienes aprobaron el PAI.
  4. Más de 60% de quienes aprobaron el PAI acreditó también el examen de selección en las licenciaturas de Bibliotecología, Ciencias de la Comunicación, Ciencias Políticas y Administración Pública, Derecho, Economía, Enseñanza de Alemán, Enseñanza de Español, Enseñanza de Inglés, Enseñanza de Italiano, Psicología, Relaciones Internacionales y Sociología.
  5. Los resultados preliminares indican que el Programa de Apoyo al Ingreso tiene un efecto positivo en la aprobación del examen de selección a la UNAM.

Tabla 3. Porcentaje de aspirantes que aprobaron el PAI y el examen de selección.

Licenciatura Aspirantes aprobados PAI Aspirantes aprobaron
examen + PAI
%
Administración 266 103 39
Bibliotecología 21 13 62
Ciencias de la Comunicación 66 55 83.3
Ciencias Políticas y Administración Pública 107 92 86
Contaduría 190 106 56
Derecho 307 234 76.2
Diseño y Comunicación Visual 171 80 47
Economía 115 88 77
Enseñanza de Alemán 1 1 100
Enseñanza de Español 9 9 100
Enseñanza de Francés 0 0 0
Enseñanza de Inglés 33 22 67
Enseñanza de Italiano 1 1 100
Pedagogía 178 74 42
Psicología 543 353 65
Relaciones Internacionales 79 58 73.4
Sociología 39 32 82
Trabajo Social 92 48 52.1
Total 2218 1369 62

Finalmente, la evaluación del PAI que hicieron participantes y monitores arroja, entre otros, los siguientes resultados: a) los objetivos son claros (89%); la duración fue suficiente (91%); las actividades formativas son apropiadas (72.2%); las actividades evaluativas son apropiadas (69.4%); los foros no son manejables (33.3%); el nivel de dificultad fue moderado (85.3%); el número de participantes por monitor fue suficiente (61.1%); los módulos que desarrollaron más competencias académicas fueron Cultura digital (80.6%) y Leo comprendo, escribo y aprendo (80.6%); el tutorial que mayor utilidad crítica tuvo fue Herramientas para desafíos (69.4%); el contenido de los módulos fue adecuado (97.2%); los desafíos permitieron alcanzar los objetivos planteados (94.3%); los criterios de evaluación fueron claros (86.1%). Para mejorar el PAI se sugiere mayor claridad en las tareas, que los foros sean por grupo, mejorar la interfaz y el funcionamiento de la barra de avance (Secretaría Académica, CUAED, 2017).

Conclusiones

Consideramos que el Programa de Apoyo al Ingreso mejoró significativamente el enfoque propedéutico, aumentó la calidad del programa y tuvo un impacto positivo en el rendimiento académico de los participantes, con las siguientes innovaciones: a) los monitores alentaron permanentemente la participación; b) los desafíos formulados fueron estimulantes; c) los participantes tuvieron un encuadre detallando las actividades que debían realizarse; d) el contenido de los módulos se articuló estrechamente con el perfil cognitivo del participante; e) la metodología MOOC estimuló la autogestión y autorregulación del aprendizaje.

Las tareas inmediatas son:

  1. Determinar si existe una correlación entre el desempeño en el PAI, la aprobación del examen y el capital cultural (nivel educativo de la madre y logro educativo previo).
  2. Hacer un seguimiento al término del primer semestre de los estudiantes seleccionados que aprobaron el PAI para determinar si hay algunas variables predictoras de éxito académico asociadas al Programa.
  3. Evaluar el impacto del nuevo modelo pedagógico, comunicacional y tecnológico del PAI en el desarrollo y apropiación de las competencias académicas.
  4. Evaluar el modelo operativo del Programa a fin de mejorar el perfil de los monitores académicos en el seguimiento de los participantes.
  5. Es preciso avanzar en el proceso de alineamiento del perfil de egreso del bachillerato con el perfil de ingreso de la licenciatura, seleccionando el contenido nuclear necesario para la óptima comprensión del conocimiento del primer semestre. Esta tarea es de central importancia porque de acuerdo con Tricot y Sweller (2014) los estudiantes diseñan mejor sus estrategias de aprendizaje y regulan su esfuerzo (gestión de tiempo y metas) cuando lo hacen en el contexto de su disciplina científica, con problemas reales y un enfoque de evaluación auténtica.

Referencias

  • Bernard, R. M., Borokhovski, E., Schmid, R. F., Tamim, R. M., y Abrami, P. C. (2014). A meta-analysis of blended learning and technology use in higher education: From the general to the applied. Journal of Computing in Higher Education, 26, 87–122. DOI: http://dx.doi.org/10.1007/s12528-013- 9077-3.
  • Chi, M. T. H. (2009). Active-constructive-interactive: A conceptual frame-work for differentiating learning activities. Topics in Cognitive Science, 1, 73–105. DOI: http://dx.doi.org/10.1111/j.1756-8765.2008.01005.x.
  • Ruiz-Primo, M. A., Briggs, D., Iverson, H., Talbot, R., & Shepard, L. A. (2011). Impact of undergraduate science course innovations on learning. Science, 331, 1269–1270. DOI: http://dx.doi.org/10.1126/science.1198976.
  • Sánchez et al. (2018). Exámenes para el diagnóstico de conocimientos. Resultados de los alumnos que ingresan al nivel licenciatura 2018. México: UNAM.
  • Sanne G. A. van Herpena, Marieke Meeuwisseb, W. H. Adriaan Hofmanc, Sabine E. Severiensb y Lidia R. Arends (2017). Early predictors of first-year academic success at university: pre-university effort, pre-university self-efficacy, and pre-university reasons for attending university. Educational Research and Evaluation, 23 (1–2), 52–72. DOI: https://doi.org/10.1080/13803611.2017.1301261.
  • Schneider, M., y Preckel, F. (2017,). Variables Associated with Achievement in Higher Education: A Systematic Review of Meta-Analyses. Psychological Bulletin, 143 (6), 565-600. DOI: http://dx.doi.org/10.1037/bul0000098.
  • Secretaría Académica (2017). Informe de Evaluación del Programa de Apoyo al Ingreso 2017. México: Coordinación de Universidad Abierta y Educación a Distancia, UNAM [documento de circulación interna].
  • Tricot, A., y Sweller, J. (2014). Domain-specific knowledge and why teaching generic skills does not work. Educational Psychology Review, 26, 265–283. DOI: http://dx.doi.org/10.1007/s10648-013-9243-1.

Vol. 19, núm. 6 noviembre-diciembre 2018

Examen Clínico Objetivo Estructurado.
¿El reto a vencer para ejercer la medicina?

Adrián Martínez-González y Guadalupe Soto-Estrada Cita

Resumen

La evaluación de la competencia clínica es un elemento indispensable para garantizar que los recién egresados de la carrera de médico cirujano cuentan con los suficientes conocimientos, habilidades, destrezas, actitudes y valores para realizar su práctica diaria. Por este motivo, en los últimos años, el Examen Clínico Objetivo Estructurado (ECOE) se ha convertido en un reto y, al mismo tiempo, en una herramienta indispensable para evaluar el aprendizaje de los alumnos en la práctica clínica donde anteriormente se empleaba el examen oral y el examen ante paciente real. Este tipo de evaluación está considerada como la prueba de oro a nivel nacional e internacional y puede servir de modelo para otras disciplinas. En este artículo se describen sus características generales, al igual que las implicaciones tanto para la institución, como para los responsables de aplicarlo y para los alumnos que necesitan demostrar las competencias suficientes para superar este “reto” antes de ejercer la medicina.
Palabras clave: examen clínico objetivo, medicina, práctica clínica.

Objective Structured Clinical Examination. The challenge to overcome to practice medicine?

Abstract

The evaluation of the clinical competence is a key element to guarantee that the recent graduates of the medical curriculum have acquired the necessary knowledge, skills, attitudes and values to perform their daily practice. For this reason, in recent years, the Objective Structured Clinical Examination (OSCE) has become a challenge and at the same time, a useful tool for evaluating the learning of students in clinical practice where some years ago the oral examination was implemented. This type of evaluation is considered the gold standard at national and international level. This article describes general characteristics and the implications of the OSCE for the institution, for the authorities that are responsible for applying the exam as well as for students who have to show that they have the competence overcoming this “challenge” before medical practice.
Keywords: objective clinical examination, medicine, clinical practice.

Introducción

Cuando se concluye una carrera surgen muchas expectativas por parte de los estudiantes que se prepararon durante varios años, con el afán de ejercer en su área y contribuir así al bienestar de la sociedad. Sin embargo, antes de hacerlo es necesario que la institución que los formó cuente con los elementos suficientes para garantizar a la sociedad que el programa educativo cumplió con la formación de profesionales competentes. Es por esto que el examen profesional es una parte muy importante del proceso final de egreso para la mayoría de las instituciones educativas en las diferentes carreras que se ofrecen en México.

El propósito del artículo es ilustrar un proceso mediante el cual se pueden valorar habilidades y actitudes imposibles de apreciar con un examen escrito de opción múltiple, tomando como ejemplo un examen de tipo práctico que se realiza cada año para la titulación de los médicos generales en la Universidad Nacional Autónoma de México (UNAM). Esta estrategia de evaluación puede servir de modelo para otras disciplinas, ya que incluye actividades de simulación (cada vez más empleadas en diferentes áreas) y puede ser adaptado de acuerdo con las habilidades y competencias que se requieran por parte del estudiante, sin poner en riesgo la vida o la integridad de otras personas o seres vivos, por ejemplo, los pilotos de aeronaves, los abogados (con juicios orales), la odontología, la psicología, la enfermería, la medicina veterinaria, entre otros.

Cuando un alumno concluye sus estudios es necesario que la institución educativa tenga cierta certeza de que los recién egresados cuentan con las competencias profesionales necesarias. Es indispensable verificar, por ejemplo, que un médico recién egresado cuente con los conocimientos suficientes para cuidar de la salud de las personas o bien, restablecerla, según sea el caso. Para esto es indispensable contar con herramientas de evaluación cada vez más eficaces que permitan identificar a aquéllos estudiantes que tienen no solamente los conocimientos básicos, sino también las habilidades y las actitudes para ejercer como profesionales. De tal manera que el examen profesional tiene altas consecuencias para el sustentante y para la sociedad, ya que evalúa la aptitud y capacidad del estudiante de medicina para aplicar el dominio de los conocimientos aprendidos durante la licenciatura.

Es por esta razón que para otorgar el título de médico cirujano, al término del internado médico, a cada alumno se le realizan dos tipos de evaluaciones: una teórica y otra práctica. Lo anterior, en virtud de que un examen escrito como el de reactivos de opción múltiple no es suficiente para valorar las competencias alcanzadas por los alumnos, ya que solamente evalúa una dimensión de la competencia clínica que es el conocimiento, pero deja de lado otros aspectos que formarán parte de su trabajo diario como son las habilidades clínicas, su capacidad de comprensión, sus atributos interpersonales, la capacidad para la solución de problemas, su juicio clínico y sus habilidades técnicas, entre otros.

Para poder evaluar en la práctica a los futuros médicos es importante contar con herramientas altamente confiables y aceptadas tanto por los evaluadores, como por los que están siendo evaluados. Entre las herramientas más utilizadas actualmente para la evaluación de la práctica clínica ha destacado el Examen Clínico Objetivo Estructurado (ECOE), que contribuye a valorar dos dimensiones: la cognitiva (conocimientos) y la psicomotriz/actitudinal (habilidades/ actitudes), que es de la que hablaremos en este artículo.

Este examen se denomina objetivo porque su aplicación se basa en el conocimiento científico obtenido desde su creación. Las investigaciones sobre el tema han demostrado su superioridad frente a otros tipos de exámenes, por ejemplo, el tradicional “frente a paciente real”. También se denomina estructurado porque tiene cierta estructura, es decir, su aplicación intenta ser muy similar para todos los sustentantes, bajo ciertas reglas que todos los organizadores, aplicadores y evaluadores tienen en común.

El ECOE como instrumento de evaluación

A partir de que Harden (1975) propuso el ECOE como método de evaluación, éste ha logrado implementarse cada vez más en escuelas de medicina y es recomendada por sistemas de acreditación internacional. Desde entonces se han ido modificando algunas de sus características con la finalidad de mejorar la calidad con la que se evalúa a los alumnos. Esta herramienta de evaluación es capaz de explorar tres de los cuatro niveles de la pirámide que George Miller propuso en 1990 como un escenario para valorar la competencia clínica: saber (el nivel más bajo), saber cómo (el siguiente nivel) y demostrar cómo (en este nivel ya se incluye la interpretación y aplicación del conocimiento adquirido en un ambiente controlado in vitro como en el ECOE). El cuarto nivel que corresponde a hacer, es posible evaluarlo con otras herramientas utilizadas en el lugar del trabajo, en virtud de que se trata de la práctica clínica real (evaluación de 360; MiniCEX; entre otras).

El ECOE se puede aplicar desde las primeras fases, durante el proceso y al concluir el plan de estudios, con un propósito de aprendizaje, que permita al alumno observar sus progresos y al mismo tiempo, identificar de manera oportuna las áreas deficientes que puede mejorar.

Lo que se busca al realizar el ECOE es que el evaluador observe cómo interactúa el futuro médico con el paciente y su problema de salud, evaluándolo de la misma manera que a un profesional en su práctica diaria (con conocimientos, habilidades, destrezas, actitudes y valores), para el mejor cuidado del paciente.

En la Facultad de Medicina de la UNAM desde 1991 se modificó el examen profesional que, a partir de entonces, consiste en dos etapas: una teórica y otra práctica, de manera secuencial y en ese orden. La fase práctica la presentan únicamente los alumnos que resultan aprobados en el examen teórico, bajo el supuesto de que los resultados de la evaluación de un alumno tienen relación con el desempeño clínico que es capaz de mostrar.

El ECOE evalúa la competencia clínica, entendida como el conjunto de conocimientos, habilidades, actitudes y valores que –interrelacionados entre sí y con base en el razonamiento, la evidencia científica y el juicio crítico– permiten un desempeño profesional eficiente. Este examen consiste en una serie de cubículos o consultorios denominados “estaciones” por las que el alumno pasa, en donde se plantean situaciones clínicas “simuladas” para resolver de acuerdo con las instrucciones proporcionadas.

Las estaciones representan un circuito por el que los estudiantes son evaluados. En cada estación se plantea uno de los múltiples escenarios posibles que el futuro médico enfrentará en su práctica diaria. Existen dos tipos de estaciones, dinámicas y estáticas.

En las estaciones dinámicas se pueden evaluar diversas actividades como son: el interrogatorio, la exploración física, el diagnóstico o el tratamiento de un paciente. El término dinámico se refiere principalmente a que debe existir cierta interacción o relación entre el médico y el paciente.

En las estaciones estáticas no hay paciente, sino que están dirigidas a que el alumno demuestre otro tipo de habilidades como son la interpretación de radiografías o análisis de laboratorio, la búsqueda en bases de datos o un análisis de trabajos de investigación, entre otros.

Dentro de las estaciones siempre hay uno o dos evaluadores, quienes registrarán el desempeño del alumno. Además, dentro del módulo habilitado como consultorio puede estar o no un “paciente estandarizado”, es decir una persona que actuará o simulará tener algún problema de salud (en algunas estaciones se utiliza un maniquí).

Para llevarse a cabo es indispensable la inversión de tiempo, esfuerzo, recursos humanos y materiales, así como la dedicación por parte de la institución y de los responsables de la aplicación del examen. Para esto se planean varias etapas (véase figura 1).



Figura 1. Las etapas de un Examen Clínico Objetivo Estructurado.

Primero se integra un Comité de profesionales de la salud con reconocida experiencia en los conocimientos, habilidades y actitudes que se busca evaluar (tutores, docentes, etcétera) y lo ideal es que, además de ser expertos en su área, tengan formación en evaluación de la competencia clínica. Es conveniente que las personas encargadas de la organización, planeación y aplicación del examen reciban los cursos de capacitación necesarios antes de participar en el ECOE, con el propósito de que conozcan los objetivos, la utilidad y las características del examen que se aplicará.

Este Comité es el responsable de otorgar los resultados del examen y de garantizar su confidencialidad, así como de definir el número de estaciones que lo conformarán (que van de entre 8 a 18), con fundamento en las experiencias publicadas por otras instituciones que han aplicado esta prueba y en la propia institución.

Los conocimientos, habilidades y actitudes que se evaluarán en el ECOE deben ser congruentes con el perfil de egreso y con los programas académicos que se señalan en el plan de estudios vigente, para lo cual, es necesario elaborar un documento denominado tabla de especificaciones. Esta tabla contiene los temas a evaluar en el ECOE, así como los conocimientos, habilidades o actitudes que se esperan del alumno en cada tema.

Lo siguiente es elaborar los denominados casos que se van a plantear para cada estación, para esto es necesario contar con la participación de profesionales, de preferencia docentes, que propongan y elaboren los casos que servirán para evaluar a los alumnos. Con el objetivo de que los casos compartan ciertas características (forma de plantear la situación, la duración, las instrucciones que se le darán tanto a los evaluadores como a los sustentantes, así como los instrumentos de evaluación que se utilizarán) por lo general se maneja el mismo formato para todas las estaciones.

Existen dos criterios esenciales para elaborar los casos: deben partir de una situación real y deben permitir evaluar uno o varios atributos de la competencia clínica planteada en el perfil de egreso.

De Serdio Romero (2002) menciona más criterios para seleccionar los casos: deben ser problemas de salud frecuentes en la población, o bien situaciones en las que una intervención correcta influya de manera significativa en la salud, además, que el caso contribuya a evaluar varias habilidades, conocimientos o actitudes y que los recursos materiales y humanos sean suficientes para realizar el caso.

Lo más frecuente es que a partir de la situación clínica planteada se elabore un caso, mismo que se utilizará en una sola estación. La idea es que todos los casos que forman parte de un ECOE se complementen de tal manera que se pueda evaluar una muestra representativa de las competencias clínicas planteadas en el plan de estudios.

El material básico que se utiliza para cada caso es el siguiente:

  • Formato del estudiante. En este documento se encuentran las instrucciones que debe seguir el estudiante para resolver el caso.
  • Formato del evaluador. Contiene el instrumento de evaluación que puede ser una rúbrica o una lista de cotejo. La rúbrica por lo regular es un documento en el que se definen ciertos aspectos a evaluar en el alumno (no hay un número establecido) y puede haber tres o cinco opciones para evaluar al alumno que van desde un desempeño inadecuado del alumno hasta un desempeño excelente, con rangos intermedios. En la lista de cotejo se describen las actividades que, según el criterio de los evaluadores, debe haber realizado el alumno. Por ello, es importante que los instrumentos hayan sido revisados por expertos y probados en un pequeño grupo de estudiantes similares a los que serán evaluados.
  • Material para el paciente. Es un guion o libreto en el que se explica a la persona que simulará ser el paciente, el padecimiento que debe manifestar, así como los signos y síntomas, además de algunas características personales. Todo esto con la finalidad de que el caso que se presenta sea muy parecido para cada sustentante y evitar que las diferencias en los resultados se deban a las diferencias de cómo se desempeña el paciente.

En las estaciones estáticas solamente se necesitan dos formatos, el del estudiante y el del evaluador, aunque en algunos casos se pueden necesitar materiales de apoyo como radiografías, resultados de laboratorio o de gabinete.

Una vez que ya se cuenta con todos los casos y el material necesario para realizar el ECOE, antes de poder aplicarlo hay que probarlo, así que por lo general se aplica a un grupo de estudiantes lo más parecido al grupo al que va dirigido. Esto se hace con la finalidad de identificar problemas de congruencia dentro del caso, así como preguntas que estén mal redactadas, mal planteadas o sean confusas. Hecho esto, y con las modificaciones pertinentes, el instrumento de evaluación ya podrá aplicarse a los alumnos y se registran los resultados en una base de datos para analizarla posteriormente.

Los resultados de la prueba se analizan por el cuerpo de profesores o bien, por los integrantes del comité de evaluación, para que posteriormente se den a conocer los resultados a los alumnos y a las autoridades correspondientes.

Es muy importante la realimentación que se da a los alumnos, ya les permite identificar sus áreas de oportunidad y le brinda la posibilidad de corregir los errores y mejorar su práctica profesional.

En ocasiones, se elabora un reporte donde el alumno puede revisar su desempeño en el examen. Cuando se trata de un ECOE que no tiene como finalidad la titulación del alumno, la obtención de un grado o algo similar (no es de altas consecuencias) es conveniente que después de realizar el examen, el profesor tenga una sesión con sus alumnos en donde se comenten los resultados y se den las conclusiones acerca del ejercicio realizado.

Uno de los aspectos que hace diferente al ECOE en comparación con otras pruebas es que no se trata solamente de llegar al diagnóstico o de dar el tratamiento adecuado, sino de valorar cómo llegaron al diagnóstico; es decir, evaluar el razonamiento clínico utilizado para resolver el problema, con lo que se tiene evidencia del grado de desarrollo de las competencias clínicas evaluables propuestas en el plan de estudios.

Dependiendo de la institución que realice el ECOE es el tipo de situaciones a las que se debe enfrentar el estudiante de medicina, de tal manera que no solamente se evalúan cuestiones técnicas, sino que se plantean casos que requieren demostrar la calidad de las relaciones médico-paciente o la relación del médico con su equipo de trabajo, además de aspectos éticos y legales.

Como el lector se podrá imaginar, los casos planteados en el ECOE se deben revisar, actualizar y modificar de manera frecuente para ir perfeccionando el proceso. Además, sería importante tomar más en cuenta la opinión de los evaluados respecto a este examen para poder modificar aquellas características que no favorecen su desempeño, su aprendizaje o ambos.

Conclusiones

El ECOE es una herramienta que evalúa lo que el estudiante es capaz de hacer, además se ha demostrado que se trata de un método confiable que permite evaluar múltiples habilidades. Se considera un estándar de oro en la evaluación de la competencia clínica en estudiantes de medicina de pre y posgrado, aunque su utilización se puede extender a cualquier otra área de conocimiento que requiera evaluar las habilidades de un estudiante sin poner en riesgo la vida de personas o seres vivos. Así, es conveniente ampliar la utilización de este tipo de actividades de simulación a otras disciplinas, a fin de mejorar la calidad de los recursos humanos que egresan como profesionales al servicio de la sociedad. Resultaría muy útil, por ejemplo, cuando un estudiante tiene que participar en un juicio oral por primera vez, o bien, atender a una persona con un problema psicológico o dental sin experiencia previa.

No cabe duda que el ECOE o cualquier examen en el que se utilice la simulación para la evaluación de competencias, implica grandes retos y exige grandes esfuerzos tanto para la institución, como para los evaluadores y, por supuesto, para los estudiantes. A cambio, se puede tener un alto nivel de certeza al afirmar que los alumnos que han aprobado este tipo de examen poseen las competencias necesarias en el ámbito profesional, lo que contribuirá a mejorar la calidad de los servicios que se brindan a la población.

Con la finalidad de conocer más acerca del ECOE los invitamos a consultar los siguientes materiales:

Referencias

  • De Serdio Romero, E. (2002). ECOE: Evaluación Clínica Objetiva Estructurada. Medicina de Familia, 2, 127-132.
  • Durante M., Irene et al. (2012). Instrumentos de Evaluación y su relación con el aprendizaje a evaluar. Evaluación de competencias en ciencias de la salud. México: Edit. Médica Panamericana, 24-26.
  • García-Puig, J., Vara-Pinedo, F. y Vargas-Núñez, J. A. (2018). Implantación del Examen Clínico Objetivo y Estructurado en la Facultad de Medicina de la Universidad Autónoma de Madrid. Educt Med, 19, 178-187.
  • Guerrero Ávila, J.J. et al. (2015). Evaluación de medicina en México; CULCyT, 238, 238-243.
  • Hernández, G. L. R., Trejo, J. A. y Marín, C. Y. (2017). Diseño de un ECOE para evaluar habilidades clínicas en neurología en estudiantes del quinto año. Inv Ed Med, 24, 248-254.
  • López-Bárcena, J. et al. (2015). Evaluación integral de competencias en la formación de médicos en México. Estudio interinstitucional. FEM, 18, 55-61.
  • Martínez-González, A. et al. (2017). Evaluación diagnóstica y formativa de competencias en estudiantes de medicina a su ingreso al internado médico de pregrado. Gac Med Mex, 153, 6-15.
  • Martínez González, A., et al. (2016). Grado de competencia clínica de siete generaciones de estudiantes al término del internado médico de pregrado. Gac Med Mex, 152, 679-687.
  • Neufeld, V. R. y Norman G. R. (eds.) (1985). Historical Perspectives on clinical competence. Assessing Clinical Competence. Nueva York: Springer Publishing Company, 3-14.
  • Ponce de León-Castañeda, M. E. et al. (2006). Fase práctica del examen profesional: validación de un cuestionario de opinión de alumnos. Archivos en Medicina Familiar, 8, 183-189.
  • Ticse R. (2017). El Examen Clínico Objetivo Estructurado (ECOE) en la evaluación de competencias de comunicación y profesionalismo en los programas de especialización en Medicina. Rev Med Hered, 28, 192-199.
  • Trejo-Mejía, J. A., Blee-Sánchez, G. y Peña-Balderas, J. (2014). Elaboración de estaciones para el examen clínico objetivo estructurado (ECOE). Investigación en Educación Médica, 3, 56-59.
  • Trejo Mejía, J. A., et al. (2014). Evaluación de la competencia clínica con el examen objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de México. Gaceta Médica de México, 150, 8-17.
  • Trejo-Mejía, J. A. et al. (2016). Reliability analysis of the objective structured clinical examination using generalizability theory. Med Educ Online. 21(1). Recuperado de: http://dx.doi.org/10.3402/meo.v21.31650.

Vol. 19, núm. 6 noviembre-diciembre 2018

Evaluación del y para el aprendizaje:
la transformación de dos conceptos

Nancy Sofía Contreras Michel, María del Carmen Martínez Rodríguez, Cinthya Trejo Rojas, Casandra González Mejía, María Elena Pérez Rivera Cita

Introducción

Hablar de evaluación del y para el aprendizaje involucra hacer una clara distinción en cuanto a los propósitos, usos y beneficios que proporciona el llevarlas a cabo en los escenarios educativos. Asimismo, constituye un reto para los profesores porque implica transformar la enseñanza y la evaluación clásicas para dar oportunidad a mejorar la práctica docente mediante la incorporación de innovaciones en la evaluación del aprendizaje de los alumnos.

De acuerdo con la investigación realizada en las últimas dos décadas, cuando se llevan a cabo la evaluación del y para el aprendizaje tienen el potencial de provocar cambios en el proceso educativo, específicamente en la enseñanza y en la forma en que se obtienen las evidencias para valorar si los alumnos adquirieron los aprendizajes esperados.



Show Buttons
Hide Buttons

Revista Digital Universitaria Publicación bimestral Vol. 18, Núm. 6julio-agosto 2017 ISSN: 1607 - 6079