Resumen

En este artículo se describe la metodología empleada para el diseño y construcción de Pruéb@te UNAM, una WebApp creada con el propósito de favorecer el proceso de preparación de los aspirantes que presentarán el examen de los concursos de selección para el ingreso a las licenciaturas que ofrece la Universidad Nacional Autónoma de México (unam) en sus diferentes convocatorias. Mediante el uso de esta aplicación, los aspirantes pueden estudiar, con reactivos y exámenes muestra, los contenidos de las materias que prefieran o resolver exámenes con las mismas características del de admisión.
Palabras clave: concurso de selección, licenciaturas, examen de admisión, pruébate, aspirantes.

Pruéb@te UNAM, option to prepare the selection exam for the degree

Abstract

This article describes the methodology used for the design and construction of Pruéb@te UNAM, a WebApp for the study and preparation of the candidates that will take the selection exam to apply for the bachelor’s degrees offered by the National Autonomous University of Mexico (unam) in its different calls. With the use of Pruéb@te UNAM the applicant can study the subjects he decides or perform exams of the same characteristics to the admission test.
Keywords: contest of selection, bachelor’s degrees, entrance examination, testing, applicants.

Introducción

El ingreso a la Educación Superior (es) es cada vez más complicado en nuestro país debido al aumento de la población estudiantil y a la falta de crecimiento en la proporción adecuada de la es. Las oportunidades y las ofertas de trabajo son reducidas, mientras la sociedad demanda profesionales cada vez más preparados para dar respuesta a las necesidades y diversos problemas que enfrenta.

En la Universidad Nacional Autónoma de México (unam), la admisión a los estudios de licenciatura está determinada por el desempeño que muestran los aspirantes en el examen de selección, para los alumnos que no vienen del bachillerato de la unam o que no tienen la opción de pase reglamentado en el caso de la Escuela Nacional Preparatoria (enp)o el Colegio de Ciencias y Humanidades (cch). El número de aspirantes se incrementa año con año y los lugares ofertados dentro de las licenciaturas es insuficiente para hacer frente a esta demanda, lo que dificulta el ingreso. Por ejemplo, durante el año 2018 realizaron el examen de admisión a las licenciaturas de la unam un total de 214,409 aspirantes de los cuales ingresaron 19,128, lo que representa el 8.9%.

Si bien es cierto que existen diferentes formas de prepararse para sustentar el examen de admisión de la unam, a nivel institucional, a excepción de la Guía para preparar el examen de selección que elabora cada año la Coordinación de Desarrollo Educativo e Innovación Curricular (codeic), no existía otro apoyo para los aspirantes.

Al reconocer a la evaluación como una herramienta poderosa para el aprendizaje, nace la idea de desarrollar una plataforma informática para estudiar: es así como surge la WebApp Pruéb@te UNAM Licenciatura. Es importante destacar que antes de que la Dirección de Evaluación Educativa perteneciera a la codeic, se desarrolló un sistema de apoyo similar denominado “Examen de ingreso a la licenciatura ¿cómo me preparo?”, el cual fue una excelente innovación en su momento y operó durante más de diez años.

No obstante, con el paso del tiempo se hizo indispensable una actualización más acorde con las características del examen de admisión, por lo que se optó por hacer una nueva plataforma. Pruéb@te UNAM es un esfuerzo conjunto de la Subdirección de Evaluación de Bachillerato y Licenciatura, y la Unidad de Sistemas e Informática de la codeic.

¿Cuáles son sus principales características?

La plataforma Pruéb@te UNAM es una WebApp, es decir, una aplicación basada en la Web y diseñada con html y Java (lo que le permite al usuario trabajar sin necesidad de realizar ningún tipo de instalación adicional en sus dispositivos), diseñada con el propósito de apoyar a los aspirantes en su proceso de preparación para ingresar a las licenciaturas que ofrece nuestra máxima casa de estudios. La WebApp se encuentra ubicada en la dirección electrónica http://www.pruebate.unam.mx y desde su apertura hasta el mes de agosto de 2018 se han registrado 9,281 aspirantes que han contestado 13,227 exámenes muestra.

La aplicación está integrada por dos módulos: Práctica de exámenes y Práctica de materia, en los cuales cada aspirante puede autoevaluarse y reforzar sus conocimientos en las asignaturas y temas donde presenta un bajo desempeño. También cuenta con Otros recursos y Bibliografía como apoyo adicional para el aprendizaje del aspirante.

Para utilizarla es indispensable llenar un formulario de registro, el cual permite canalizar al estudiante al área de conocimiento que le corresponde (Físico Matemáticas y de las Ingenierías, Ciencias Biológicas, Químicas y de la Salud, Ciencias Sociales o Humanidades y de las Artes), en función de la carrera que piensa elegir; así, los contenidos hacen énfasis en lo que debe saber el aspirante para presentar el examen y mantener su funcionalidad durante los primeros semestres de la licenciatura.

¿Cómo se creó la plataforma?

Pruéb@te UNAM deriva de la correcta aplicación de una metodología para la elaboración de exámenes objetivos (Downing y Haladyna, 2006), la cual describe de manera puntual los pasos que debe seguir la construcción de un instrumento de medición de acuerdo con los principios básicos de la psicometría contemporánea. A continuación, se describen los pasos de dicha metodología en la construcción de la plataforma.

A) Planeación general

Una vez detectada la necesidad de crear un nuevo recurso didáctico para apoyar la preparación de los aspirantes para presentar el examen de admisión a las licenciaturas de la unam, la codeic convocó a un equipo multidisciplinario de profesores que forman parte de los subsistemas del bachillerato de la unam (enp y cch) con experiencia en la elaboración de reactivos y en la metodología que empleamos en la codeic para desarrollar el proyecto. Se consideraron cada una de las cuatro áreas de estudio: i. Físico Matemáticas y de las ingenierías, ii. Ciencias Biológicas, Químicas y de la Salud, iii. Ciencias Sociales y iv: Humanidades y de las Artes. Se pensó en elaborar una herramienta, que, a diferencia de un curso o taller, pudiera llegar a más personas de una manera cómoda, sencilla, práctica y económica, que además le permitiera al aspirante estudiar a su propio ritmo en el lugar y momento que más le convenga.

Durante un año, un grupo de ingenieros en sistemas, licenciados en informática, diseñadores, pedagogos, psicólogos y profesores especialistas en las distintas asignaturas, tanto del bachillerato como de las licenciaturas, trabajaron en conjunto para diseñar la aplicación Pruéb@te UNAM.

Primero se definió y desarrolló el contenido para los módulos de Práctica de materia y de Práctica de exámenes, posteriormente para los apartados de Otros recursos y Bibliografía. Cuando se tuvo listo el contenido se incorporó a la plataforma de la WebApp para realizar una prueba piloto de su funcionamiento a partir de la cual se identificaron algunos aspectos a mejorar antes de su puesta en marcha.

Durante el proceso, se enfrentaron dos grandes retos: los materiales y la funcionalidad de la WebApp. En el primer caso, los materiales que incluyen tanto los reactivos como las realimentaciones fueron planeados para ser presentados en línea y no en papel, lo que representa un cambio en las posibilidades tanto del contenido como de la presentación. No obstante, fue muy importante que los materiales desarrollados se mantuvieran ceñidos al temario y a las características del examen de admisión con la finalidad de ofrecerle al estudiante una experiencia más cercana a la realidad del proceso de admisión. Las realimentaciones debían ser claras y ofrecer la oportunidad de fomentar la evaluación formativa en el estudiante, desarrollando la capacidad reflexiva del profesor, para así lograr desarrollar la del estudiante. Después de una ardua labor y la prueba piloto, los materiales se ajustaron a su formato definitivo.

En lo que respecta a la funcionalidad de la WebApp, era importante diseñar una aplicación que no sólo fuera funcional y atractiva, sino que, al mismo tiempo, le permitiera al estudiante ingresar en los momentos que tuviera oportunidad desde cualquier dispositivo. Esto implicó que el equipo de diseño se ocupara en desarrollar la aplicación para que fuera accesible desde cualquier sistema operativo y que al mismo tiempo se adaptara al dispositivo en el que se estaba consultando sin perder funcionalidad. Después de varias pruebas con diferentes dispositivos y con distintos tipos de conexión a internet se logró una aplicación responsiva muy funcional.

B) Definición del contenido (temarios)

Los temarios de Pruéb@te UNAM son los mismos que se utilizan para la elaboración del examen de admisión, éstos incluyen la participación de grupos de profesores del bachillerato de la unam expertos en cada una de las materias que se evalúan, y parten de los contenidos comunes de los diversos sistemas de bachillerato que existen.

Estos temarios permean el contenido de Pruéb@te UNAM, por lo que todos los reactivos, ya sea de los exámenes muestra o de práctica de materia, están elaborados de acuerdo con los temas y subtemas propuestos. Esto permite que el aspirante conteste reactivos muy similares a los que enfrentará en el examen de admisión.

C) Especificaciones de los módulos de la plataforma

Con la finalidad de que los aspirantes tengan una preparación integral para el examen de admisión, Pruéb@te UNAM integra dos módulos.

El primero es el de Práctica de exámenes, en el que el estudiante puede resolver pruebas con la misma estructura del examen de ingreso a la licenciatura y ofrece un panorama más real del examen de selección en cuanto a contenidos y tiempo de duración.

Y en el segundo, el de Práctica de materia, el aspirante puede autoevaluarse y reforzar sus conocimientos en las asignaturas y temas donde presenta un bajo desempeño. En este módulo, cada reactivo cuenta con cuatro realimentaciones, una para la respuesta correcta y tres para cada uno de los distractores, lo que le permite al estudiante conocer puntualmente en dónde y por qué se equivocó y subsanarlo con estudio y el material de apoyo sin necesidad de consultar a alguien más aparte de la WebApp. También, las realimentaciones le ofrecen al estudiante la oportunidad de asimilar el porqué de sus aciertos y consolidar así sus conocimientos dándole mayor certeza y seguridad.

Pruéb@te UNAM tiene dos áreas más denominadas Recursos, en la que el estudiante puede encontrar referencias y vínculos a otros sitios de la red en los que puede consultar información adicional que complemente sus estudios, y Bibliografía, donde se encuentran concentradas las referencias bibliográficas actualizadas, proporcionadas y aprobadas por el Consejo Académico del Bachillerato (cab) de la unam.

D) Desarrollo de los contenidos

Los contenidos de Pruéb@te UNAM fueron diseñados por especialistas en evaluación educativa, los reactivos que integran los exámenes se basan en los temarios del Examen de Selección, y son elaborados por profesores de la unam expertos en las materias o campos disciplinarios incluidos en los temarios. Al ser los mismos temarios del examen de admisión, los reactivos se elaboran con las mismas normas que marca la metodología citada y, por ende, poseen las mismas evidencias de validez con las que cuenta el examen de admisión en términos de los contenidos y el impacto que tienen en el estudio de los aspirantes. Además, cuentan con definiciones claras de los aprendizajes que debe de lograr el estudiante en el examen.

E) Diseño de la plataforma y puesta en línea

Pruéb@te UNAM se diseñó como una WebApp, por lo tanto, no se requiere realizar instalaciones de ningún tipo de intérprete o software adicional, ya que con cualquier equipo que cuente con internet y un navegador el aspirante puede tener acceso. Además, la aplicación es responsiva, es decir, se adapta a las características del equipo en el que se visualiza, acomodando la información de una forma amigable y práctica. Los contenidos están en la nube y no tienen que ser descargados, por lo que tampoco se requiere de una gran capacidad de almacenamiento.

Aunado a lo anterior, la aplicación Pruéb@te UNAM permite que el aspirante pueda contactar a los administradores de la misma con la finalidad de realizar observaciones, sugerencias e, incluso, solicitar apoyo técnico.

F) Aplicación (prueba piloto)

Para estar seguros de la funcionalidad y los contenidos, Pruéb@te UNAM se probó con alumnos de diferentes planteles del bachillerato, tanto público como privado, durante el último cuatrimestre de 2017, antes de su puesta en marcha formal. Una vez concluidas las pruebas y realizados los ajustes, la plataforma entró en operación oficialmente en enero de 2018.

Los reactivos incluidos en Pruéb@te UNAM fueron elaborados por expertos en la materia y diseñado acorde con las especificaciones del temario. Además, cada reactivo fue valorado por una comisión de tres profesores quienes cotejaron que su contenido fuera el correcto, que fuera claro, con un orden lógico, con una redacción adecuada y que sólo tuviera una respuesta correcta.

Los reactivos incluidos en las prácticas de materia y sus realimentaciones también fueron diseñados por profesores expertos del bachillerato de la unam y los exámenes tienen las mismas características que el examen de admisión real en cuanto a su contenido, cantidad de opciones de respuesta, formato y número de reactivos.

Los aspirantes tienen la posibilidad de presentar diferentes versiones de examen y comparar sus resultados para mejorar sus tiempos y solventar sus deficiencias.

Con esta WebApp la unam da respuesta a una necesidad de los estudiantes para prepararse para un examen de admisión a las diversas licenciaturas de la misma, como una herramienta que se puede utilizar para promover el aprendizaje de conocimientos y su aplicación.

Metodología en el diseño de la WebApp Pruéb@te UNAM (Adaptado de Haladyna y Downing [2006]).

Perspectivas

Aun cuando no contamos con datos específicos sobre el impacto que tiene Pruéb@te UNAM sobre el desempeño de los estudiantes en el examen de admisión, sí se tiene información de su antecesor el seil, que demuestra que los estudiantes que emplearon la herramienta fueron seleccionados en alguna licenciatura de la unam; esta situación fue consistente durante los diez años de funcionamiento del sistema. Pruéb@te UNAM es una aplicación mejorada y actualizada, más acorde con el examen de admisión, por lo que su impacto debe ser similar. De igual manera, se está trabajando en la recolección de datos que permita la evaluación del impacto de la aplicación.

También es importante destacar que se está trabajando en aplicaciones similares como apoyo para los diferentes tipos de exámenes de admisión que tiene nuestra máxima casa de estudios.

Pruéb@te UNAM cuenta con el respaldo de la Coordinación de Desarrollo Educativo e Innovación Curricular (codeic) de la Universidad Nacional Autónoma de México y tiene un costo de recuperación de $200.00 lo que permite que el estudiante puede usar la plataforma durante seis meses. Pruéb@te UNAM está abierto durante todos los días del año.

Si te interesa presentar el examen de selección para alguna de las licenciaturas que ofrece la Universidad Nacional Autónoma de México y quieres preparar tu examen con materiales autorizados y que realmente representen los contenidos del examen de admisión, te invitamos a utilizar la WebApp Pruéb@te UNAM y te garantizamos que tendrás una muy grata experiencia de aprendizaje y las herramientas que te proporcionaran seguridad y confianza en la presentación del examen de admisión.

Referencias

• American Educational Research Association (aera), American Psychological Association (apa) y National Council on Measurement in Education (ncme). (2014). Standards for Educational and Psychological Testing. Washington, dc: aera.
• Downing, S. M. (2003). Validity: on the meaningful interpretation of assessment data. Med Educ, 37, 830-837.
• Downing, S. M. y Haladyna, T. M. (2006). Handbook of test development. Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc., Publishers.

Resumen

El propósito del Programa de Apoyo al Ingreso, del Sistema Universidad Abierta y Educación a Distancia (SUAyED) de la Universidad Nacional Autónoma de México (UNAM), es proporcionar una experiencia formativa pertinente e integral que apoye la inserción de los aspirantes a la modalidad abierta o a distancia mediante la apropiación de conocimientos, habilidades, herramientas y apoyos básicos necesarios en la vida universitaria. El artículo presenta las características del programa, así como los resultados preliminares de su aplicación en octubre-noviembre de 2017.
Palabras clave: éxito académico, ingreso escolar, educación superior abierta y a distancia.

The Admission Support Program, a coadjutant strategy for academic success in the National Autonomous University of Mexico

Abstract

The purpose of the “Programa de Apoyo al Ingreso del Sistema Universidad Abierta y Educación a Distancia” (SUAyED) from the National Autonomous University of Mexico (UNAM) is to provide a full and proper formative experience that supports the insertion of applicants to the open or distance education mode through the appropriation of knowledge, skills, tools and basic supports that are necessary in university life. This article presents the characteristics of the program, as well as the preliminary results of its appliance in September-October 2017.
Keywords: academic success, admission, open and distance higher education.

Introducción1

Esta publicación es resultado del Programa de Apoyo a Proyectos de Investigación e Innovación Tecnológica (PAPIIT) IN404818, Entornos híbridos de aprendizaje: diseño de problemas prototípicos en contextos reales y digitales (DGAPA/UNAM).

Desde hace poco más de dos décadas, la Universidad Nacional Autónoma de México (UNAM) aplica un examen diagnóstico2 de conocimientos a los estudiantes que ingresan a la licenciatura. Los propósitos de este examen son determinar su nivel de conocimientos y aportar información para el diseño de estrategias que fortalezcan su perfil de ingreso. Los resultados obtenidos del diagnóstico anual han conducido a las diferentes entidades académicas a poner en marcha programas propedéuticos que atienden las problemáticas académicas de los estudiantes.

Para ilustrar la importancia que tiene este ejercicio de evaluación se pueden consultar los resultados de los exámenes diagnósticos que la Dirección de Evaluación Educativa, que la Coordinación de Desarrollo Educativo e Innovación Curricular (CODEIC) de la UNAM aplicó para el año lectivo 2018 (Sánchez et al., 2018). En ellos, se aprecia que la media del porcentaje de respuestas correctas por área de conocimiento y sistema (escolarizado, abierto y a distancia) fue de 48.2%. El sistema abierto es el que mejor desempeño tuvo en el área de Ciencias Sociales (51.1%), y en Humanidades y Artes (57.3%). En los tres sistemas, el área de Humanidades y Artes tuvo el mejor desempeño con porcentajes arriba del 50%. Lo más preocupante es que el promedio de respuestas correctas en los exámenes diagnóstico es inferior a 6. Cabe destacar que esta situación no es privativa de la UNAM, pues, como Sanne y sus colaboradores plantean (2017), la transición de la educación secundaria a la educación terciaria suele ser difícil para los estudiantes, y ello se refleja en tasas de retención relativamente bajas en el primer año de la licenciatura. De acuerdo con los mismos autores, en los Países Bajos el 33% de los estudiantes universitarios abandona o cambia de carrera después del primer año; en Estados Unidos el 20% de los estudiantes de tiempo completo no regresa a la universidad en su segundo año; en Australia, Nueva Zelanda y el Reino Unido, aproximadamente del 7% al 19% de los estudiantes de licenciatura abandona sus estudios después del primer año; en Francia y en Bélgica, aproximadamente del 21% al 24%; y en Alemania, 33% lo hace.

Un problema tan agudo y generalizado ha incrementado el interés por determinar las variables asociadas al logro académico en educación superior. Con este objetivo, Schneider y Preckel (2017), a partir de un meta-análisis, determinaron 11 categorías en las que se podían agrupar 105 variables; seis categorías están relacionadas con la enseñanza: interacción social, estimulación del aprendizaje significativo, evaluación, presentación (motivación que despierta el docente en el curso y su contenido), tecnología, y capacitación extracurricular; y el resto, con las características del estudiante: inteligencia y logro previo, estrategias, motivación, personalidad y contexto (p. 18). Si bien todas estas variables permean el diseño y operación del Programa de Apoyo al Ingreso (PAI) sólo se mencionarán las de mayor impacto.

En la categoría de interacción social, la variable que mejor impulsa el logro académico es interacción profesor-estudiante y estudiante-estudiante, tanto en los ambientes presenciales, como en línea (en actividades como foros). Es importante señalar que la interacción social requiere compromiso activo, argumentación favorable acerca del propio conocimiento, toma de posición y comparación de argumentos y contraargumentos (Chi, 2009).

Estimular procesos de aprendizaje significativo abarca la preparación y organización cuidadosa del curso, la claridad en la definición de objetivos y requisitos, vincular el curso con la realidad y con el plan de estudios, diseñar mapas conceptuales (o cualquier tipo de organizador previo), donde se visualicen las relaciones abstractas que existen entre conceptos clave, permite que los estudiantes puedan determinar la relevancia del nuevo contenido, identifiquen conceptos erróneos y transfieran el contenido a situaciones reales (Ruiz-Primo y et al., 2011).

La evaluación (diagnóstica, formativa, sumativa y auténtica) tiene la función de proporcionar retroalimentación a los alumnos y profesores y vincular el aprendizaje previo con las necesidades futuras de aprendizaje. En el PAI la importancia de procesos de coevaluación y autoevaluación en el logro de aprendizaje son procesos complementarios a la evaluación del docente.

La presentación del curso es particularmente importante porque depende de la claridad y comprensibilidad con que se explican ideas abstractas, sistemas simbólicos y teorías. La presentación, desafíos y preguntas despiertan la curiosidad; el uso de diagramas con explicaciones escritas, el uso de imágenes (infografías y fotografías) que no requieren explicaciones orales animan la participación y estimulan el involucramiento en el programa.

El PAI ha sido diseñado considerando que las tecnologías digitales han moldeado y expandido la literacidad3 más allá del texto. La multiliteracidad implica la convergencia de diversas formas de conocimiento y discernimiento apropiadas con el contexto social; de forma tal, que los estudiantes pueden navegar entre el papel y los medios electrónicos, deconstruyendo sus sistemas semióticos para que codifiquen, comuniquen y colaboren creando contenido a través de múltiples plataformas.

Respecto a las tecnologías, tiene que precisarse que los dispositivos móviles favorecen la aplicación de pedagogías críticas digitales centradas en el estudiante y en el aprendizaje, especialmente aquellas que contribuyen al desarrollo de procesos de razonamiento inductivo y creativo, esquemas de colaboración y metodologías innovadoras en la solución de problemas diseñados por el alumno.4

Con el objetivo de mejorar la formación propedéutica del SUAyED,5 la Coordinación de Universidad y Educación a Distancia (CUAED) evalúo los cursos propedéuticos que se habían aplicado a los estudiantes de primer ingreso y concluyó que había un importante conjunto de aspectos que tendrían que incluirse para programar el éxito académico en el primer año de la licenciatura y ofrecer oportunidades sustantivas de aprendizaje que aseguraran una buena trayectoria académica.

Programa de Apoyo al Ingreso

El PAI se dirige a fortalecer el desempeño académico del estudiante, por esta razón, abarca una amplia gama de aspectos, entre ellos, el desarrollo de habilidades de pensamiento, competencias académicas y estrategias metacognitivas que favorecen el reconocimiento y apropiación de procesos de autorregulación, gestión de la motivación y autoeficacia, y que se encuentran estrechamente relacionadas con el logro académico; sobre todo la autoeficacia tiene un efecto causal positivo en el rendimiento si se proporciona un contexto en el que se enmarquen tareas complejas, con tiempos definidos, objetivos claros y estándares explícitos para el éxito (Sanne et al., 2017; Schneider y Preckel, 2017).

El PAI articula un conjunto de acciones orientadas a facilitar la transición de los aspirantes de nivel licenciatura hacia las características del estudio en modalidades semipresenciales y no presenciales. Es preciso señalar que, si bien había una experiencia de más de una década diseñando cursos propedéuticos, era necesario un enfoque integral dirigido al fortalecimiento del desempeño académico y a la programación del éxito. Este enfoque comprende dos fases: la primera de ellas es la analítica cuyo objetivo es la determinación de perfiles, lenguajes y patrones de aprendizaje. La fase estratégica, por su parte, se encamina al desarrollo de habilidades de pensamiento, estrategias de automotivación, autorregulación de aprendizaje y competencias académicas a partir de seis módulos (figura 1).

Figura 1. Fases analítica y estratégica del PAI.
Fuente: elaboración propia.

Por otro lado, hacía falta la evaluación del perfil cognitivo de los estudiantes, a fin de que se pudieran diseñar diversas rutas de aprendizaje alineadas con él; por ello, se incorporó al módulo II del programa (Aprendizaje autogestivo) el sistema Perfiles Educativos Recurrentes para Sistemas de Enseñanza Optimizada (PERSEO),6 el cual mide procesos cognitivos y metacognitivos. A ellos se agregó la valoración del capital cultural estrechamente vinculado con factores contextuales asociados al éxito académico.

El diseño tecnopedagógico se centró en el desarrollo de estrategias de aprendizaje basadas en la formulación de desafíos para promover la apropiación de herramientas y habilidades cognitivas, conductuales y afectivas, necesarias para completar con éxito tareas, alcanzar objetivos y gestionar demandas académicas; estrategias de coaprendizaje y aprendizaje profundo (combinación de procesamiento de información compleja y especializada y una motivación propia –intrínseca– para aprender).

El PAI es un programa completamente en línea dirigido a la atención, de manera simultánea, de 5 000 participantes; por ello, los diseños pedagógico, comunicacional y tecnológico se adecuaron a la metodología que guía el desarrollo de los Massive Open Online Courses (MOOC). La interactividad y conectividad inherentes a esta metodología favorecen la creación de comunidades de aprendizaje entre pares.

La metodología MOOC fue la base para organizar grupos de 250 participantes bajo el modelo operativo que se puede ver en la figura 2.

Figura 2. PAI: modelo operativo.
Fuente: elaboración propia.

El PAI tiene como objetivo general proporcionar una experiencia formativa pertinente e integral que apoye la inserción de los aspirantes a la modalidad abierta o a distancia mediante la apropiación de conocimientos, habilidades, herramientas y apoyos básicos necesarios en la vida universitaria.

La estructura curricular del PAI está definida por competencias y se conforma por seis módulos (figura 3):

• Módulo I. Cultura digital. Programado para cursarse en un máximo de 20 horas.
• Módulo II. Autogestión del aprendizaje, en un máximo de 20 horas.
• Módulo III. Leo y comprendo, en un máximo de 10 horas.
• Módulo IV. Habilidades argumentativas, en un máximo de 10 horas.
• Módulo V. Lenguaje algorítmico, en un máximo de 20 horas.
• Módulo VI. Introducción a la tutoría entre pares, en un máximo de 10 horas.

Figura 3. Estructura curricular del Programa de Apoyo al Ingreso.
Fuente: https://pai.cuaed.unam.mx/.

Cada módulo se encuentra integrado por las siguientes secciones: bienvenida, propósitos, situación problema, desafíos (actividades autogestivas), referencias bibliográficas, tutoriales, materiales base para concretar los desafíos (videos temáticos, lecturas y vínculos), monitoreo bajo demanda, foros para aprendizaje colaborativo, y estrategias de retroalimentación de avance. El participante hace autogestión de su aprendizaje, pues decide su propia ruta, ya que, durante las nueve semanas de su duración, todos los módulos se encuentran abiertos.

Algunos resultados

En los ciclos escolares 2017 y 2018, el PAI incorporó a 19 118 participantes. Sin embargo, para ilustrar los logros alcanzados sólo se describirán algunos de los resultados obtenidos en la aplicación de noviembre de 2017, que corresponden casi al 40% de la población atendida. En primer lugar, debe precisarse que de los 7 201 aspirantes se registraron en octubre de 2017 en Dirección General de Administración Escolar (DGAE) de la UNAM (entre ellos 40 personas que cambiaron de sistema), sólo iniciaron el primer módulo (Cultura digital) 4 983, lo que equivale al 69.1%. Es decir, que 30% de registrados no inició el Programa.

Esta situación se mantiene en prácticamente todas las licenciaturas, pues del 26% al 42% de los estudiantes se registró, pero no inició el Programa. Las licenciaturas de Enseñanza de Alemán y Enseñanza de Italiano sólo tuvieron dos participantes registrados y en ambos casos uno de ellos aprobó el examen y el PAI. La tabla 1 muestra la distribución por licenciatura de los resultados del PAI, considerando la aprobación del Programa.

Tabla 1. Distribución por licenciatura de aspirantes que aprobaron el PAI.

Hay diversos aspectos a destacar en la tabla 1:

1. 45% de quienes iniciaron el programa lo culminó satisfactoriamente; esto quiere decir que alcanzó en su totalidad las competencias definidas en el perfil de egreso.
2. 534 (10.7%) de los aspirantes concluyó el PAI dos semanas antes de la fecha de cierre del Programa.
3. En la licenciatura en Sociología, 74% de quienes participaron en el PAI lo culminó satisfactoriamente.
4. La licenciatura en Administración fue la que reportó un menor porcentaje de participantes aprobados, pues sólo 33% logró desarrollar todas las competencias establecidas en el perfil.
5. En la licenciatura de Enseñanza de Francés se inscribieron siete personas al PAI, pero ninguna lo aprobó ni tampoco aprobó el examen de selección.
6. La licenciatura en Psicología fue la que más estudiantes inscritos tuvo (1 142), de éstos el 48% resolvió satisfactoriamente todos los desafíos del PAI.
7. En el caso de Bibliotecología, y Ciencias Políticas y Administración Pública se observó que casi 70% de quienes se inscribieron aprobaron satisfactoriamente el PAI, con 66% y 69%, respectivamente.

La tabla 2 muestra el porcentaje de aspirantes que aprobaron el examen de admisión, en relación con aquellos que no lo aprobaron, independientemente de su participación en el PAI. Los datos hacen patente la necesidad de emprender diversas iniciativas dirigidas al mejoramiento de la aprobación del examen de selección.

Tabla 2. Porcentaje de aspirantes que aprobó el examen de selección.

En la tabla 2, que toma como base el total de registrados en la DGAE (7 201 aspirantes), se destaca lo siguiente:

1. Los datos son preocupantes si se considera que 67% de quienes se registraron no pasó el examen de selección.
2. Sólo 32.7% de quienes se registraron para el concurso de selección aprobó el examen.
3. La licenciatura en Sociología es la que obtiene el más alto porcentaje de aprobación en el examen de selección, ya que 60% de quienes se registraron aprobó el examen.
4. En la licenciatura en Administración el porcentaje de aprobación en el examen no alcanzó ni siquiera 20%.
5. Menos de 50% de quienes se registraron en la DGAE aprobó el examen en las licenciaturas de Bibliotecología, Contaduría, Derecho, Diseño y Comunicación Visual, Economía, Enseñanza de Español, Enseñanza de Francés, Enseñanza de Inglés, Pedagogía, Psicología y Trabajo Social.
6. Más de 50% de los registrados aprobó el examen de selección en las licenciaturas de Ciencias de la Comunicación, Ciencias Políticas y Administración Pública, Enseñanza de Alemán, Enseñanza de Italiano y Sociología.

Los datos expuestos son preocupantes si se considera que este 32.7% que aprobó el examen de selección obtiene menos de 50% de los aciertos del examen diagnóstico de primer ingreso, de acuerdo con los datos de la Dirección de Evaluación Educativa de la UNAM (Sánchez et al. 2018).

La tabla 3 muestra el porcentaje total de aspirantes que aprobó el examen de admisión, por un lado, sin haber aprobado el PAI y, por el otro, al aprobar el Programa.

1. 62% de los aspirantes que aprobaron el PAI acreditó el examen de selección.
2. El porcentaje de aprobados del Programa de Apoyo al Ingreso y del examen de selección en las licenciaturas de Enseñanza de Francés y de Administración es de 0% y 39%, respectivamente.
3. En las licenciaturas de Diseño y Comunicación Visual y Pedagogía, aprobó el examen de selección menos de 50% de quienes aprobaron el PAI.
4. Más de 60% de quienes aprobaron el PAI acreditó también el examen de selección en las licenciaturas de Bibliotecología, Ciencias de la Comunicación, Ciencias Políticas y Administración Pública, Derecho, Economía, Enseñanza de Alemán, Enseñanza de Español, Enseñanza de Inglés, Enseñanza de Italiano, Psicología, Relaciones Internacionales y Sociología.
5. Los resultados preliminares indican que el Programa de Apoyo al Ingreso tiene un efecto positivo en la aprobación del examen de selección a la UNAM.

Tabla 3. Porcentaje de aspirantes que aprobaron el PAI y el examen de selección.

Finalmente, la evaluación del PAI que hicieron participantes y monitores arroja, entre otros, los siguientes resultados: a) los objetivos son claros (89%); la duración fue suficiente (91%); las actividades formativas son apropiadas (72.2%); las actividades evaluativas son apropiadas (69.4%); los foros no son manejables (33.3%); el nivel de dificultad fue moderado (85.3%); el número de participantes por monitor fue suficiente (61.1%); los módulos que desarrollaron más competencias académicas fueron Cultura digital (80.6%) y Leo comprendo, escribo y aprendo (80.6%); el tutorial que mayor utilidad crítica tuvo fue Herramientas para desafíos (69.4%); el contenido de los módulos fue adecuado (97.2%); los desafíos permitieron alcanzar los objetivos planteados (94.3%); los criterios de evaluación fueron claros (86.1%). Para mejorar el PAI se sugiere mayor claridad en las tareas, que los foros sean por grupo, mejorar la interfaz y el funcionamiento de la barra de avance (Secretaría Académica, CUAED, 2017).

Conclusiones

Consideramos que el Programa de Apoyo al Ingreso mejoró significativamente el enfoque propedéutico, aumentó la calidad del programa y tuvo un impacto positivo en el rendimiento académico de los participantes, con las siguientes innovaciones: a) los monitores alentaron permanentemente la participación; b) los desafíos formulados fueron estimulantes; c) los participantes tuvieron un encuadre detallando las actividades que debían realizarse; d) el contenido de los módulos se articuló estrechamente con el perfil cognitivo del participante; e) la metodología MOOC estimuló la autogestión y autorregulación del aprendizaje.

Las tareas inmediatas son:

1. Determinar si existe una correlación entre el desempeño en el PAI, la aprobación del examen y el capital cultural (nivel educativo de la madre y logro educativo previo).
2. Hacer un seguimiento al término del primer semestre de los estudiantes seleccionados que aprobaron el PAI para determinar si hay algunas variables predictoras de éxito académico asociadas al Programa.
3. Evaluar el impacto del nuevo modelo pedagógico, comunicacional y tecnológico del PAI en el desarrollo y apropiación de las competencias académicas.
4. Evaluar el modelo operativo del Programa a fin de mejorar el perfil de los monitores académicos en el seguimiento de los participantes.
5. Es preciso avanzar en el proceso de alineamiento del perfil de egreso del bachillerato con el perfil de ingreso de la licenciatura, seleccionando el contenido nuclear necesario para la óptima comprensión del conocimiento del primer semestre. Esta tarea es de central importancia porque de acuerdo con Tricot y Sweller (2014) los estudiantes diseñan mejor sus estrategias de aprendizaje y regulan su esfuerzo (gestión de tiempo y metas) cuando lo hacen en el contexto de su disciplina científica, con problemas reales y un enfoque de evaluación auténtica.

Referencias

• Bernard, R. M., Borokhovski, E., Schmid, R. F., Tamim, R. M., y Abrami, P. C. (2014). A meta-analysis of blended learning and technology use in higher education: From the general to the applied. Journal of Computing in Higher Education, 26, 87–122. DOI: http://dx.doi.org/10.1007/s12528-013- 9077-3.
• Chi, M. T. H. (2009). Active-constructive-interactive: A conceptual frame-work for differentiating learning activities. Topics in Cognitive Science, 1, 73–105. DOI: http://dx.doi.org/10.1111/j.1756-8765.2008.01005.x.
• Ruiz-Primo, M. A., Briggs, D., Iverson, H., Talbot, R., & Shepard, L. A. (2011). Impact of undergraduate science course innovations on learning. Science, 331, 1269–1270. DOI: http://dx.doi.org/10.1126/science.1198976.
• Sánchez et al. (2018). Exámenes para el diagnóstico de conocimientos. Resultados de los alumnos que ingresan al nivel licenciatura 2018. México: UNAM.
• Sanne G. A. van Herpena, Marieke Meeuwisseb, W. H. Adriaan Hofmanc, Sabine E. Severiensb y Lidia R. Arends (2017). Early predictors of first-year academic success at university: pre-university effort, pre-university self-efficacy, and pre-university reasons for attending university. Educational Research and Evaluation, 23 (1–2), 52–72. DOI: https://doi.org/10.1080/13803611.2017.1301261.
• Schneider, M., y Preckel, F. (2017,). Variables Associated with Achievement in Higher Education: A Systematic Review of Meta-Analyses. Psychological Bulletin, 143 (6), 565-600. DOI: http://dx.doi.org/10.1037/bul0000098.
• Secretaría Académica (2017). Informe de Evaluación del Programa de Apoyo al Ingreso 2017. México: Coordinación de Universidad Abierta y Educación a Distancia, UNAM [documento de circulación interna].
• Tricot, A., y Sweller, J. (2014). Domain-specific knowledge and why teaching generic skills does not work. Educational Psychology Review, 26, 265–283. DOI: http://dx.doi.org/10.1007/s10648-013-9243-1.

Resumen

La evaluación de la competencia clínica es un elemento indispensable para garantizar que los recién egresados de la carrera de médico cirujano cuentan con los suficientes conocimientos, habilidades, destrezas, actitudes y valores para realizar su práctica diaria. Por este motivo, en los últimos años, el Examen Clínico Objetivo Estructurado (ECOE) se ha convertido en un reto y, al mismo tiempo, en una herramienta indispensable para evaluar el aprendizaje de los alumnos en la práctica clínica donde anteriormente se empleaba el examen oral y el examen ante paciente real. Este tipo de evaluación está considerada como la prueba de oro a nivel nacional e internacional y puede servir de modelo para otras disciplinas. En este artículo se describen sus características generales, al igual que las implicaciones tanto para la institución, como para los responsables de aplicarlo y para los alumnos que necesitan demostrar las competencias suficientes para superar este “reto” antes de ejercer la medicina.
Palabras clave: examen clínico objetivo, medicina, práctica clínica.

Objective Structured Clinical Examination. The challenge to overcome to practice medicine?

Abstract

The evaluation of the clinical competence is a key element to guarantee that the recent graduates of the medical curriculum have acquired the necessary knowledge, skills, attitudes and values to perform their daily practice. For this reason, in recent years, the Objective Structured Clinical Examination (OSCE) has become a challenge and at the same time, a useful tool for evaluating the learning of students in clinical practice where some years ago the oral examination was implemented. This type of evaluation is considered the gold standard at national and international level. This article describes general characteristics and the implications of the OSCE for the institution, for the authorities that are responsible for applying the exam as well as for students who have to show that they have the competence overcoming this “challenge” before medical practice.
Keywords: objective clinical examination, medicine, clinical practice.

Introducción

Cuando se concluye una carrera surgen muchas expectativas por parte de los estudiantes que se prepararon durante varios años, con el afán de ejercer en su área y contribuir así al bienestar de la sociedad. Sin embargo, antes de hacerlo es necesario que la institución que los formó cuente con los elementos suficientes para garantizar a la sociedad que el programa educativo cumplió con la formación de profesionales competentes. Es por esto que el examen profesional es una parte muy importante del proceso final de egreso para la mayoría de las instituciones educativas en las diferentes carreras que se ofrecen en México.

El propósito del artículo es ilustrar un proceso mediante el cual se pueden valorar habilidades y actitudes imposibles de apreciar con un examen escrito de opción múltiple, tomando como ejemplo un examen de tipo práctico que se realiza cada año para la titulación de los médicos generales en la Universidad Nacional Autónoma de México (UNAM). Esta estrategia de evaluación puede servir de modelo para otras disciplinas, ya que incluye actividades de simulación (cada vez más empleadas en diferentes áreas) y puede ser adaptado de acuerdo con las habilidades y competencias que se requieran por parte del estudiante, sin poner en riesgo la vida o la integridad de otras personas o seres vivos, por ejemplo, los pilotos de aeronaves, los abogados (con juicios orales), la odontología, la psicología, la enfermería, la medicina veterinaria, entre otros.

Cuando un alumno concluye sus estudios es necesario que la institución educativa tenga cierta certeza de que los recién egresados cuentan con las competencias profesionales necesarias. Es indispensable verificar, por ejemplo, que un médico recién egresado cuente con los conocimientos suficientes para cuidar de la salud de las personas o bien, restablecerla, según sea el caso. Para esto es indispensable contar con herramientas de evaluación cada vez más eficaces que permitan identificar a aquéllos estudiantes que tienen no solamente los conocimientos básicos, sino también las habilidades y las actitudes para ejercer como profesionales. De tal manera que el examen profesional tiene altas consecuencias para el sustentante y para la sociedad, ya que evalúa la aptitud y capacidad del estudiante de medicina para aplicar el dominio de los conocimientos aprendidos durante la licenciatura.

Es por esta razón que para otorgar el título de médico cirujano, al término del internado médico, a cada alumno se le realizan dos tipos de evaluaciones: una teórica y otra práctica. Lo anterior, en virtud de que un examen escrito como el de reactivos de opción múltiple no es suficiente para valorar las competencias alcanzadas por los alumnos, ya que solamente evalúa una dimensión de la competencia clínica que es el conocimiento, pero deja de lado otros aspectos que formarán parte de su trabajo diario como son las habilidades clínicas, su capacidad de comprensión, sus atributos interpersonales, la capacidad para la solución de problemas, su juicio clínico y sus habilidades técnicas, entre otros.

Para poder evaluar en la práctica a los futuros médicos es importante contar con herramientas altamente confiables y aceptadas tanto por los evaluadores, como por los que están siendo evaluados. Entre las herramientas más utilizadas actualmente para la evaluación de la práctica clínica ha destacado el Examen Clínico Objetivo Estructurado (ECOE), que contribuye a valorar dos dimensiones: la cognitiva (conocimientos) y la psicomotriz/actitudinal (habilidades/ actitudes), que es de la que hablaremos en este artículo.

Este examen se denomina objetivo porque su aplicación se basa en el conocimiento científico obtenido desde su creación. Las investigaciones sobre el tema han demostrado su superioridad frente a otros tipos de exámenes, por ejemplo, el tradicional “frente a paciente real”. También se denomina estructurado porque tiene cierta estructura, es decir, su aplicación intenta ser muy similar para todos los sustentantes, bajo ciertas reglas que todos los organizadores, aplicadores y evaluadores tienen en común.

El ECOE como instrumento de evaluación

A partir de que Harden (1975) propuso el ECOE como método de evaluación, éste ha logrado implementarse cada vez más en escuelas de medicina y es recomendada por sistemas de acreditación internacional. Desde entonces se han ido modificando algunas de sus características con la finalidad de mejorar la calidad con la que se evalúa a los alumnos. Esta herramienta de evaluación es capaz de explorar tres de los cuatro niveles de la pirámide que George Miller propuso en 1990 como un escenario para valorar la competencia clínica: saber (el nivel más bajo), saber cómo (el siguiente nivel) y demostrar cómo (en este nivel ya se incluye la interpretación y aplicación del conocimiento adquirido en un ambiente controlado in vitro como en el ECOE). El cuarto nivel que corresponde a hacer, es posible evaluarlo con otras herramientas utilizadas en el lugar del trabajo, en virtud de que se trata de la práctica clínica real (evaluación de 360; MiniCEX; entre otras).

El ECOE se puede aplicar desde las primeras fases, durante el proceso y al concluir el plan de estudios, con un propósito de aprendizaje, que permita al alumno observar sus progresos y al mismo tiempo, identificar de manera oportuna las áreas deficientes que puede mejorar.

Lo que se busca al realizar el ECOE es que el evaluador observe cómo interactúa el futuro médico con el paciente y su problema de salud, evaluándolo de la misma manera que a un profesional en su práctica diaria (con conocimientos, habilidades, destrezas, actitudes y valores), para el mejor cuidado del paciente.

En la Facultad de Medicina de la UNAM desde 1991 se modificó el examen profesional que, a partir de entonces, consiste en dos etapas: una teórica y otra práctica, de manera secuencial y en ese orden. La fase práctica la presentan únicamente los alumnos que resultan aprobados en el examen teórico, bajo el supuesto de que los resultados de la evaluación de un alumno tienen relación con el desempeño clínico que es capaz de mostrar.

El ECOE evalúa la competencia clínica, entendida como el conjunto de conocimientos, habilidades, actitudes y valores que –interrelacionados entre sí y con base en el razonamiento, la evidencia científica y el juicio crítico– permiten un desempeño profesional eficiente. Este examen consiste en una serie de cubículos o consultorios denominados “estaciones” por las que el alumno pasa, en donde se plantean situaciones clínicas “simuladas” para resolver de acuerdo con las instrucciones proporcionadas.

Las estaciones representan un circuito por el que los estudiantes son evaluados. En cada estación se plantea uno de los múltiples escenarios posibles que el futuro médico enfrentará en su práctica diaria. Existen dos tipos de estaciones, dinámicas y estáticas.

En las estaciones dinámicas se pueden evaluar diversas actividades como son: el interrogatorio, la exploración física, el diagnóstico o el tratamiento de un paciente. El término dinámico se refiere principalmente a que debe existir cierta interacción o relación entre el médico y el paciente.

En las estaciones estáticas no hay paciente, sino que están dirigidas a que el alumno demuestre otro tipo de habilidades como son la interpretación de radiografías o análisis de laboratorio, la búsqueda en bases de datos o un análisis de trabajos de investigación, entre otros.

Dentro de las estaciones siempre hay uno o dos evaluadores, quienes registrarán el desempeño del alumno. Además, dentro del módulo habilitado como consultorio puede estar o no un “paciente estandarizado”, es decir una persona que actuará o simulará tener algún problema de salud (en algunas estaciones se utiliza un maniquí).

Para llevarse a cabo es indispensable la inversión de tiempo, esfuerzo, recursos humanos y materiales, así como la dedicación por parte de la institución y de los responsables de la aplicación del examen. Para esto se planean varias etapas (véase figura 1).

Figura 1. Las etapas de un Examen Clínico Objetivo Estructurado.

Primero se integra un Comité de profesionales de la salud con reconocida experiencia en los conocimientos, habilidades y actitudes que se busca evaluar (tutores, docentes, etcétera) y lo ideal es que, además de ser expertos en su área, tengan formación en evaluación de la competencia clínica. Es conveniente que las personas encargadas de la organización, planeación y aplicación del examen reciban los cursos de capacitación necesarios antes de participar en el ECOE, con el propósito de que conozcan los objetivos, la utilidad y las características del examen que se aplicará.

Este Comité es el responsable de otorgar los resultados del examen y de garantizar su confidencialidad, así como de definir el número de estaciones que lo conformarán (que van de entre 8 a 18), con fundamento en las experiencias publicadas por otras instituciones que han aplicado esta prueba y en la propia institución.

Los conocimientos, habilidades y actitudes que se evaluarán en el ECOE deben ser congruentes con el perfil de egreso y con los programas académicos que se señalan en el plan de estudios vigente, para lo cual, es necesario elaborar un documento denominado tabla de especificaciones. Esta tabla contiene los temas a evaluar en el ECOE, así como los conocimientos, habilidades o actitudes que se esperan del alumno en cada tema.

Lo siguiente es elaborar los denominados casos que se van a plantear para cada estación, para esto es necesario contar con la participación de profesionales, de preferencia docentes, que propongan y elaboren los casos que servirán para evaluar a los alumnos. Con el objetivo de que los casos compartan ciertas características (forma de plantear la situación, la duración, las instrucciones que se le darán tanto a los evaluadores como a los sustentantes, así como los instrumentos de evaluación que se utilizarán) por lo general se maneja el mismo formato para todas las estaciones.

Existen dos criterios esenciales para elaborar los casos: deben partir de una situación real y deben permitir evaluar uno o varios atributos de la competencia clínica planteada en el perfil de egreso.

De Serdio Romero (2002) menciona más criterios para seleccionar los casos: deben ser problemas de salud frecuentes en la población, o bien situaciones en las que una intervención correcta influya de manera significativa en la salud, además, que el caso contribuya a evaluar varias habilidades, conocimientos o actitudes y que los recursos materiales y humanos sean suficientes para realizar el caso.

Lo más frecuente es que a partir de la situación clínica planteada se elabore un caso, mismo que se utilizará en una sola estación. La idea es que todos los casos que forman parte de un ECOE se complementen de tal manera que se pueda evaluar una muestra representativa de las competencias clínicas planteadas en el plan de estudios.

El material básico que se utiliza para cada caso es el siguiente:

• Formato del estudiante. En este documento se encuentran las instrucciones que debe seguir el estudiante para resolver el caso.
• Formato del evaluador. Contiene el instrumento de evaluación que puede ser una rúbrica o una lista de cotejo. La rúbrica por lo regular es un documento en el que se definen ciertos aspectos a evaluar en el alumno (no hay un número establecido) y puede haber tres o cinco opciones para evaluar al alumno que van desde un desempeño inadecuado del alumno hasta un desempeño excelente, con rangos intermedios. En la lista de cotejo se describen las actividades que, según el criterio de los evaluadores, debe haber realizado el alumno. Por ello, es importante que los instrumentos hayan sido revisados por expertos y probados en un pequeño grupo de estudiantes similares a los que serán evaluados.
• Material para el paciente. Es un guion o libreto en el que se explica a la persona que simulará ser el paciente, el padecimiento que debe manifestar, así como los signos y síntomas, además de algunas características personales. Todo esto con la finalidad de que el caso que se presenta sea muy parecido para cada sustentante y evitar que las diferencias en los resultados se deban a las diferencias de cómo se desempeña el paciente.

En las estaciones estáticas solamente se necesitan dos formatos, el del estudiante y el del evaluador, aunque en algunos casos se pueden necesitar materiales de apoyo como radiografías, resultados de laboratorio o de gabinete.

Una vez que ya se cuenta con todos los casos y el material necesario para realizar el ECOE, antes de poder aplicarlo hay que probarlo, así que por lo general se aplica a un grupo de estudiantes lo más parecido al grupo al que va dirigido. Esto se hace con la finalidad de identificar problemas de congruencia dentro del caso, así como preguntas que estén mal redactadas, mal planteadas o sean confusas. Hecho esto, y con las modificaciones pertinentes, el instrumento de evaluación ya podrá aplicarse a los alumnos y se registran los resultados en una base de datos para analizarla posteriormente.

Los resultados de la prueba se analizan por el cuerpo de profesores o bien, por los integrantes del comité de evaluación, para que posteriormente se den a conocer los resultados a los alumnos y a las autoridades correspondientes.

Es muy importante la realimentación que se da a los alumnos, ya les permite identificar sus áreas de oportunidad y le brinda la posibilidad de corregir los errores y mejorar su práctica profesional.

En ocasiones, se elabora un reporte donde el alumno puede revisar su desempeño en el examen. Cuando se trata de un ECOE que no tiene como finalidad la titulación del alumno, la obtención de un grado o algo similar (no es de altas consecuencias) es conveniente que después de realizar el examen, el profesor tenga una sesión con sus alumnos en donde se comenten los resultados y se den las conclusiones acerca del ejercicio realizado.

Uno de los aspectos que hace diferente al ECOE en comparación con otras pruebas es que no se trata solamente de llegar al diagnóstico o de dar el tratamiento adecuado, sino de valorar cómo llegaron al diagnóstico; es decir, evaluar el razonamiento clínico utilizado para resolver el problema, con lo que se tiene evidencia del grado de desarrollo de las competencias clínicas evaluables propuestas en el plan de estudios.

Dependiendo de la institución que realice el ECOE es el tipo de situaciones a las que se debe enfrentar el estudiante de medicina, de tal manera que no solamente se evalúan cuestiones técnicas, sino que se plantean casos que requieren demostrar la calidad de las relaciones médico-paciente o la relación del médico con su equipo de trabajo, además de aspectos éticos y legales.

Como el lector se podrá imaginar, los casos planteados en el ECOE se deben revisar, actualizar y modificar de manera frecuente para ir perfeccionando el proceso. Además, sería importante tomar más en cuenta la opinión de los evaluados respecto a este examen para poder modificar aquellas características que no favorecen su desempeño, su aprendizaje o ambos.

Conclusiones

El ECOE es una herramienta que evalúa lo que el estudiante es capaz de hacer, además se ha demostrado que se trata de un método confiable que permite evaluar múltiples habilidades. Se considera un estándar de oro en la evaluación de la competencia clínica en estudiantes de medicina de pre y posgrado, aunque su utilización se puede extender a cualquier otra área de conocimiento que requiera evaluar las habilidades de un estudiante sin poner en riesgo la vida de personas o seres vivos. Así, es conveniente ampliar la utilización de este tipo de actividades de simulación a otras disciplinas, a fin de mejorar la calidad de los recursos humanos que egresan como profesionales al servicio de la sociedad. Resultaría muy útil, por ejemplo, cuando un estudiante tiene que participar en un juicio oral por primera vez, o bien, atender a una persona con un problema psicológico o dental sin experiencia previa.

No cabe duda que el ECOE o cualquier examen en el que se utilice la simulación para la evaluación de competencias, implica grandes retos y exige grandes esfuerzos tanto para la institución, como para los evaluadores y, por supuesto, para los estudiantes. A cambio, se puede tener un alto nivel de certeza al afirmar que los alumnos que han aprobado este tipo de examen poseen las competencias necesarias en el ámbito profesional, lo que contribuirá a mejorar la calidad de los servicios que se brindan a la población.

Con la finalidad de conocer más acerca del ECOE los invitamos a consultar los siguientes materiales:

• Examen Clínico Objetivo Estructurado. Presentación del Dr. Adrián Martínez González y video de la realización de un ECOE: https://www.codeic.unam.mx/index.php/examenclinico/.
• Pruebas ECOE (Evaluación Técnica Objetiva Estructurada), en la Facultad de Medicina y Ciencias de la Salud de la UIC (Universidad de Córdoba): https://www.youtube.com/watch?v=ewjMioXPNbE.

Referencias

• De Serdio Romero, E. (2002). ECOE: Evaluación Clínica Objetiva Estructurada. Medicina de Familia, 2, 127-132.
• Durante M., Irene et al. (2012). Instrumentos de Evaluación y su relación con el aprendizaje a evaluar. Evaluación de competencias en ciencias de la salud. México: Edit. Médica Panamericana, 24-26.
• García-Puig, J., Vara-Pinedo, F. y Vargas-Núñez, J. A. (2018). Implantación del Examen Clínico Objetivo y Estructurado en la Facultad de Medicina de la Universidad Autónoma de Madrid. Educt Med, 19, 178-187.
• Guerrero Ávila, J.J. et al. (2015). Evaluación de medicina en México; CULCyT, 238, 238-243.
• Hernández, G. L. R., Trejo, J. A. y Marín, C. Y. (2017). Diseño de un ECOE para evaluar habilidades clínicas en neurología en estudiantes del quinto año. Inv Ed Med, 24, 248-254.
• López-Bárcena, J. et al. (2015). Evaluación integral de competencias en la formación de médicos en México. Estudio interinstitucional. FEM, 18, 55-61.
• Martínez-González, A. et al. (2017). Evaluación diagnóstica y formativa de competencias en estudiantes de medicina a su ingreso al internado médico de pregrado. Gac Med Mex, 153, 6-15.
• Martínez González, A., et al. (2016). Grado de competencia clínica de siete generaciones de estudiantes al término del internado médico de pregrado. Gac Med Mex, 152, 679-687.
• Neufeld, V. R. y Norman G. R. (eds.) (1985). Historical Perspectives on clinical competence. Assessing Clinical Competence. Nueva York: Springer Publishing Company, 3-14.
• Ponce de León-Castañeda, M. E. et al. (2006). Fase práctica del examen profesional: validación de un cuestionario de opinión de alumnos. Archivos en Medicina Familiar, 8, 183-189.
• Ticse R. (2017). El Examen Clínico Objetivo Estructurado (ECOE) en la evaluación de competencias de comunicación y profesionalismo en los programas de especialización en Medicina. Rev Med Hered, 28, 192-199.
• Trejo-Mejía, J. A., Blee-Sánchez, G. y Peña-Balderas, J. (2014). Elaboración de estaciones para el examen clínico objetivo estructurado (ECOE). Investigación en Educación Médica, 3, 56-59.
• Trejo Mejía, J. A., et al. (2014). Evaluación de la competencia clínica con el examen objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de México. Gaceta Médica de México, 150, 8-17.
• Trejo-Mejía, J. A. et al. (2016). Reliability analysis of the objective structured clinical examination using generalizability theory. Med Educ Online. 21(1). Recuperado de: http://dx.doi.org/10.3402/meo.v21.31650.

Introducción

Hablar de evaluación del y para el aprendizaje involucra hacer una clara distinción en cuanto a los propósitos, usos y beneficios que proporciona el llevarlas a cabo en los escenarios educativos. Asimismo, constituye un reto para los profesores porque implica transformar la enseñanza y la evaluación clásicas para dar oportunidad a mejorar la práctica docente mediante la incorporación de innovaciones en la evaluación del aprendizaje de los alumnos.

De acuerdo con la investigación realizada en las últimas dos décadas, cuando se llevan a cabo la evaluación del y para el aprendizaje tienen el potencial de provocar cambios en el proceso educativo, específicamente en la enseñanza y en la forma en que se obtienen las evidencias para valorar si los alumnos adquirieron los aprendizajes esperados.