Author Archive

Vol. 19, núm. 6 noviembre-diciembre 2018

Evaluación del y para el aprendizaje:
la transformación de dos conceptos

Nancy Sofía Contreras Michel, María del Carmen Martínez Rodríguez, Cinthya Trejo Rojas, Casandra González Mejía, María Elena Pérez Rivera Cita

Introducción

Hablar de evaluación del y para el aprendizaje involucra hacer una clara distinción en cuanto a los propósitos, usos y beneficios que proporciona el llevarlas a cabo en los escenarios educativos. Asimismo, constituye un reto para los profesores porque implica transformar la enseñanza y la evaluación clásicas para dar oportunidad a mejorar la práctica docente mediante la incorporación de innovaciones en la evaluación del aprendizaje de los alumnos.

De acuerdo con la investigación realizada en las últimas dos décadas, cuando se llevan a cabo la evaluación del y para el aprendizaje tienen el potencial de provocar cambios en el proceso educativo, específicamente en la enseñanza y en la forma en que se obtienen las evidencias para valorar si los alumnos adquirieron los aprendizajes esperados.



Vol. 19, núm. 6 noviembre-diciembre 2018

Examen Clínico Objetivo Estructurado.
¿El reto a vencer para ejercer la medicina?

Adrián Martínez-González y Guadalupe Soto-Estrada Cita

Resumen

La evaluación de la competencia clínica es un elemento indispensable para garantizar que los recién egresados de la carrera de médico cirujano cuentan con los suficientes conocimientos, habilidades, destrezas, actitudes y valores para realizar su práctica diaria. Por este motivo, en los últimos años, el Examen Clínico Objetivo Estructurado (ECOE) se ha convertido en un reto y, al mismo tiempo, en una herramienta indispensable para evaluar el aprendizaje de los alumnos en la práctica clínica donde anteriormente se empleaba el examen oral y el examen ante paciente real. Este tipo de evaluación está considerada como la prueba de oro a nivel nacional e internacional y puede servir de modelo para otras disciplinas. En este artículo se describen sus características generales, al igual que las implicaciones tanto para la institución, como para los responsables de aplicarlo y para los alumnos que necesitan demostrar las competencias suficientes para superar este “reto” antes de ejercer la medicina.
Palabras clave: examen clínico objetivo, medicina, práctica clínica.

Objective Structured Clinical Examination. The challenge to overcome to practice medicine?

Abstract

The evaluation of the clinical competence is a key element to guarantee that the recent graduates of the medical curriculum have acquired the necessary knowledge, skills, attitudes and values to perform their daily practice. For this reason, in recent years, the Objective Structured Clinical Examination (OSCE) has become a challenge and at the same time, a useful tool for evaluating the learning of students in clinical practice where some years ago the oral examination was implemented. This type of evaluation is considered the gold standard at national and international level. This article describes general characteristics and the implications of the OSCE for the institution, for the authorities that are responsible for applying the exam as well as for students who have to show that they have the competence overcoming this “challenge” before medical practice.
Keywords: objective clinical examination, medicine, clinical practice.

Introducción

Cuando se concluye una carrera surgen muchas expectativas por parte de los estudiantes que se prepararon durante varios años, con el afán de ejercer en su área y contribuir así al bienestar de la sociedad. Sin embargo, antes de hacerlo es necesario que la institución que los formó cuente con los elementos suficientes para garantizar a la sociedad que el programa educativo cumplió con la formación de profesionales competentes. Es por esto que el examen profesional es una parte muy importante del proceso final de egreso para la mayoría de las instituciones educativas en las diferentes carreras que se ofrecen en México.

El propósito del artículo es ilustrar un proceso mediante el cual se pueden valorar habilidades y actitudes imposibles de apreciar con un examen escrito de opción múltiple, tomando como ejemplo un examen de tipo práctico que se realiza cada año para la titulación de los médicos generales en la Universidad Nacional Autónoma de México (UNAM). Esta estrategia de evaluación puede servir de modelo para otras disciplinas, ya que incluye actividades de simulación (cada vez más empleadas en diferentes áreas) y puede ser adaptado de acuerdo con las habilidades y competencias que se requieran por parte del estudiante, sin poner en riesgo la vida o la integridad de otras personas o seres vivos, por ejemplo, los pilotos de aeronaves, los abogados (con juicios orales), la odontología, la psicología, la enfermería, la medicina veterinaria, entre otros.

Cuando un alumno concluye sus estudios es necesario que la institución educativa tenga cierta certeza de que los recién egresados cuentan con las competencias profesionales necesarias. Es indispensable verificar, por ejemplo, que un médico recién egresado cuente con los conocimientos suficientes para cuidar de la salud de las personas o bien, restablecerla, según sea el caso. Para esto es indispensable contar con herramientas de evaluación cada vez más eficaces que permitan identificar a aquéllos estudiantes que tienen no solamente los conocimientos básicos, sino también las habilidades y las actitudes para ejercer como profesionales. De tal manera que el examen profesional tiene altas consecuencias para el sustentante y para la sociedad, ya que evalúa la aptitud y capacidad del estudiante de medicina para aplicar el dominio de los conocimientos aprendidos durante la licenciatura.

Es por esta razón que para otorgar el título de médico cirujano, al término del internado médico, a cada alumno se le realizan dos tipos de evaluaciones: una teórica y otra práctica. Lo anterior, en virtud de que un examen escrito como el de reactivos de opción múltiple no es suficiente para valorar las competencias alcanzadas por los alumnos, ya que solamente evalúa una dimensión de la competencia clínica que es el conocimiento, pero deja de lado otros aspectos que formarán parte de su trabajo diario como son las habilidades clínicas, su capacidad de comprensión, sus atributos interpersonales, la capacidad para la solución de problemas, su juicio clínico y sus habilidades técnicas, entre otros.

Para poder evaluar en la práctica a los futuros médicos es importante contar con herramientas altamente confiables y aceptadas tanto por los evaluadores, como por los que están siendo evaluados. Entre las herramientas más utilizadas actualmente para la evaluación de la práctica clínica ha destacado el Examen Clínico Objetivo Estructurado (ECOE), que contribuye a valorar dos dimensiones: la cognitiva (conocimientos) y la psicomotriz/actitudinal (habilidades/ actitudes), que es de la que hablaremos en este artículo.

Este examen se denomina objetivo porque su aplicación se basa en el conocimiento científico obtenido desde su creación. Las investigaciones sobre el tema han demostrado su superioridad frente a otros tipos de exámenes, por ejemplo, el tradicional “frente a paciente real”. También se denomina estructurado porque tiene cierta estructura, es decir, su aplicación intenta ser muy similar para todos los sustentantes, bajo ciertas reglas que todos los organizadores, aplicadores y evaluadores tienen en común.

El ECOE como instrumento de evaluación

A partir de que Harden (1975) propuso el ECOE como método de evaluación, éste ha logrado implementarse cada vez más en escuelas de medicina y es recomendada por sistemas de acreditación internacional. Desde entonces se han ido modificando algunas de sus características con la finalidad de mejorar la calidad con la que se evalúa a los alumnos. Esta herramienta de evaluación es capaz de explorar tres de los cuatro niveles de la pirámide que George Miller propuso en 1990 como un escenario para valorar la competencia clínica: saber (el nivel más bajo), saber cómo (el siguiente nivel) y demostrar cómo (en este nivel ya se incluye la interpretación y aplicación del conocimiento adquirido en un ambiente controlado in vitro como en el ECOE). El cuarto nivel que corresponde a hacer, es posible evaluarlo con otras herramientas utilizadas en el lugar del trabajo, en virtud de que se trata de la práctica clínica real (evaluación de 360; MiniCEX; entre otras).

El ECOE se puede aplicar desde las primeras fases, durante el proceso y al concluir el plan de estudios, con un propósito de aprendizaje, que permita al alumno observar sus progresos y al mismo tiempo, identificar de manera oportuna las áreas deficientes que puede mejorar.

Lo que se busca al realizar el ECOE es que el evaluador observe cómo interactúa el futuro médico con el paciente y su problema de salud, evaluándolo de la misma manera que a un profesional en su práctica diaria (con conocimientos, habilidades, destrezas, actitudes y valores), para el mejor cuidado del paciente.

En la Facultad de Medicina de la UNAM desde 1991 se modificó el examen profesional que, a partir de entonces, consiste en dos etapas: una teórica y otra práctica, de manera secuencial y en ese orden. La fase práctica la presentan únicamente los alumnos que resultan aprobados en el examen teórico, bajo el supuesto de que los resultados de la evaluación de un alumno tienen relación con el desempeño clínico que es capaz de mostrar.

El ECOE evalúa la competencia clínica, entendida como el conjunto de conocimientos, habilidades, actitudes y valores que –interrelacionados entre sí y con base en el razonamiento, la evidencia científica y el juicio crítico– permiten un desempeño profesional eficiente. Este examen consiste en una serie de cubículos o consultorios denominados “estaciones” por las que el alumno pasa, en donde se plantean situaciones clínicas “simuladas” para resolver de acuerdo con las instrucciones proporcionadas.

Las estaciones representan un circuito por el que los estudiantes son evaluados. En cada estación se plantea uno de los múltiples escenarios posibles que el futuro médico enfrentará en su práctica diaria. Existen dos tipos de estaciones, dinámicas y estáticas.

En las estaciones dinámicas se pueden evaluar diversas actividades como son: el interrogatorio, la exploración física, el diagnóstico o el tratamiento de un paciente. El término dinámico se refiere principalmente a que debe existir cierta interacción o relación entre el médico y el paciente.

En las estaciones estáticas no hay paciente, sino que están dirigidas a que el alumno demuestre otro tipo de habilidades como son la interpretación de radiografías o análisis de laboratorio, la búsqueda en bases de datos o un análisis de trabajos de investigación, entre otros.

Dentro de las estaciones siempre hay uno o dos evaluadores, quienes registrarán el desempeño del alumno. Además, dentro del módulo habilitado como consultorio puede estar o no un “paciente estandarizado”, es decir una persona que actuará o simulará tener algún problema de salud (en algunas estaciones se utiliza un maniquí).

Para llevarse a cabo es indispensable la inversión de tiempo, esfuerzo, recursos humanos y materiales, así como la dedicación por parte de la institución y de los responsables de la aplicación del examen. Para esto se planean varias etapas (véase figura 1).



Figura 1. Las etapas de un Examen Clínico Objetivo Estructurado.

Primero se integra un Comité de profesionales de la salud con reconocida experiencia en los conocimientos, habilidades y actitudes que se busca evaluar (tutores, docentes, etcétera) y lo ideal es que, además de ser expertos en su área, tengan formación en evaluación de la competencia clínica. Es conveniente que las personas encargadas de la organización, planeación y aplicación del examen reciban los cursos de capacitación necesarios antes de participar en el ECOE, con el propósito de que conozcan los objetivos, la utilidad y las características del examen que se aplicará.

Este Comité es el responsable de otorgar los resultados del examen y de garantizar su confidencialidad, así como de definir el número de estaciones que lo conformarán (que van de entre 8 a 18), con fundamento en las experiencias publicadas por otras instituciones que han aplicado esta prueba y en la propia institución.

Los conocimientos, habilidades y actitudes que se evaluarán en el ECOE deben ser congruentes con el perfil de egreso y con los programas académicos que se señalan en el plan de estudios vigente, para lo cual, es necesario elaborar un documento denominado tabla de especificaciones. Esta tabla contiene los temas a evaluar en el ECOE, así como los conocimientos, habilidades o actitudes que se esperan del alumno en cada tema.

Lo siguiente es elaborar los denominados casos que se van a plantear para cada estación, para esto es necesario contar con la participación de profesionales, de preferencia docentes, que propongan y elaboren los casos que servirán para evaluar a los alumnos. Con el objetivo de que los casos compartan ciertas características (forma de plantear la situación, la duración, las instrucciones que se le darán tanto a los evaluadores como a los sustentantes, así como los instrumentos de evaluación que se utilizarán) por lo general se maneja el mismo formato para todas las estaciones.

Existen dos criterios esenciales para elaborar los casos: deben partir de una situación real y deben permitir evaluar uno o varios atributos de la competencia clínica planteada en el perfil de egreso.

De Serdio Romero (2002) menciona más criterios para seleccionar los casos: deben ser problemas de salud frecuentes en la población, o bien situaciones en las que una intervención correcta influya de manera significativa en la salud, además, que el caso contribuya a evaluar varias habilidades, conocimientos o actitudes y que los recursos materiales y humanos sean suficientes para realizar el caso.

Lo más frecuente es que a partir de la situación clínica planteada se elabore un caso, mismo que se utilizará en una sola estación. La idea es que todos los casos que forman parte de un ECOE se complementen de tal manera que se pueda evaluar una muestra representativa de las competencias clínicas planteadas en el plan de estudios.

El material básico que se utiliza para cada caso es el siguiente:

  • Formato del estudiante. En este documento se encuentran las instrucciones que debe seguir el estudiante para resolver el caso.
  • Formato del evaluador. Contiene el instrumento de evaluación que puede ser una rúbrica o una lista de cotejo. La rúbrica por lo regular es un documento en el que se definen ciertos aspectos a evaluar en el alumno (no hay un número establecido) y puede haber tres o cinco opciones para evaluar al alumno que van desde un desempeño inadecuado del alumno hasta un desempeño excelente, con rangos intermedios. En la lista de cotejo se describen las actividades que, según el criterio de los evaluadores, debe haber realizado el alumno. Por ello, es importante que los instrumentos hayan sido revisados por expertos y probados en un pequeño grupo de estudiantes similares a los que serán evaluados.
  • Material para el paciente. Es un guion o libreto en el que se explica a la persona que simulará ser el paciente, el padecimiento que debe manifestar, así como los signos y síntomas, además de algunas características personales. Todo esto con la finalidad de que el caso que se presenta sea muy parecido para cada sustentante y evitar que las diferencias en los resultados se deban a las diferencias de cómo se desempeña el paciente.

En las estaciones estáticas solamente se necesitan dos formatos, el del estudiante y el del evaluador, aunque en algunos casos se pueden necesitar materiales de apoyo como radiografías, resultados de laboratorio o de gabinete.

Una vez que ya se cuenta con todos los casos y el material necesario para realizar el ECOE, antes de poder aplicarlo hay que probarlo, así que por lo general se aplica a un grupo de estudiantes lo más parecido al grupo al que va dirigido. Esto se hace con la finalidad de identificar problemas de congruencia dentro del caso, así como preguntas que estén mal redactadas, mal planteadas o sean confusas. Hecho esto, y con las modificaciones pertinentes, el instrumento de evaluación ya podrá aplicarse a los alumnos y se registran los resultados en una base de datos para analizarla posteriormente.

Los resultados de la prueba se analizan por el cuerpo de profesores o bien, por los integrantes del comité de evaluación, para que posteriormente se den a conocer los resultados a los alumnos y a las autoridades correspondientes.

Es muy importante la realimentación que se da a los alumnos, ya les permite identificar sus áreas de oportunidad y le brinda la posibilidad de corregir los errores y mejorar su práctica profesional.

En ocasiones, se elabora un reporte donde el alumno puede revisar su desempeño en el examen. Cuando se trata de un ECOE que no tiene como finalidad la titulación del alumno, la obtención de un grado o algo similar (no es de altas consecuencias) es conveniente que después de realizar el examen, el profesor tenga una sesión con sus alumnos en donde se comenten los resultados y se den las conclusiones acerca del ejercicio realizado.

Uno de los aspectos que hace diferente al ECOE en comparación con otras pruebas es que no se trata solamente de llegar al diagnóstico o de dar el tratamiento adecuado, sino de valorar cómo llegaron al diagnóstico; es decir, evaluar el razonamiento clínico utilizado para resolver el problema, con lo que se tiene evidencia del grado de desarrollo de las competencias clínicas evaluables propuestas en el plan de estudios.

Dependiendo de la institución que realice el ECOE es el tipo de situaciones a las que se debe enfrentar el estudiante de medicina, de tal manera que no solamente se evalúan cuestiones técnicas, sino que se plantean casos que requieren demostrar la calidad de las relaciones médico-paciente o la relación del médico con su equipo de trabajo, además de aspectos éticos y legales.

Como el lector se podrá imaginar, los casos planteados en el ECOE se deben revisar, actualizar y modificar de manera frecuente para ir perfeccionando el proceso. Además, sería importante tomar más en cuenta la opinión de los evaluados respecto a este examen para poder modificar aquellas características que no favorecen su desempeño, su aprendizaje o ambos.

Conclusiones

El ECOE es una herramienta que evalúa lo que el estudiante es capaz de hacer, además se ha demostrado que se trata de un método confiable que permite evaluar múltiples habilidades. Se considera un estándar de oro en la evaluación de la competencia clínica en estudiantes de medicina de pre y posgrado, aunque su utilización se puede extender a cualquier otra área de conocimiento que requiera evaluar las habilidades de un estudiante sin poner en riesgo la vida de personas o seres vivos. Así, es conveniente ampliar la utilización de este tipo de actividades de simulación a otras disciplinas, a fin de mejorar la calidad de los recursos humanos que egresan como profesionales al servicio de la sociedad. Resultaría muy útil, por ejemplo, cuando un estudiante tiene que participar en un juicio oral por primera vez, o bien, atender a una persona con un problema psicológico o dental sin experiencia previa.

No cabe duda que el ECOE o cualquier examen en el que se utilice la simulación para la evaluación de competencias, implica grandes retos y exige grandes esfuerzos tanto para la institución, como para los evaluadores y, por supuesto, para los estudiantes. A cambio, se puede tener un alto nivel de certeza al afirmar que los alumnos que han aprobado este tipo de examen poseen las competencias necesarias en el ámbito profesional, lo que contribuirá a mejorar la calidad de los servicios que se brindan a la población.

Con la finalidad de conocer más acerca del ECOE los invitamos a consultar los siguientes materiales:

Referencias

  • De Serdio Romero, E. (2002). ECOE: Evaluación Clínica Objetiva Estructurada. Medicina de Familia, 2, 127-132.
  • Durante M., Irene et al. (2012). Instrumentos de Evaluación y su relación con el aprendizaje a evaluar. Evaluación de competencias en ciencias de la salud. México: Edit. Médica Panamericana, 24-26.
  • García-Puig, J., Vara-Pinedo, F. y Vargas-Núñez, J. A. (2018). Implantación del Examen Clínico Objetivo y Estructurado en la Facultad de Medicina de la Universidad Autónoma de Madrid. Educt Med, 19, 178-187.
  • Guerrero Ávila, J.J. et al. (2015). Evaluación de medicina en México; CULCyT, 238, 238-243.
  • Hernández, G. L. R., Trejo, J. A. y Marín, C. Y. (2017). Diseño de un ECOE para evaluar habilidades clínicas en neurología en estudiantes del quinto año. Inv Ed Med, 24, 248-254.
  • López-Bárcena, J. et al. (2015). Evaluación integral de competencias en la formación de médicos en México. Estudio interinstitucional. FEM, 18, 55-61.
  • Martínez-González, A. et al. (2017). Evaluación diagnóstica y formativa de competencias en estudiantes de medicina a su ingreso al internado médico de pregrado. Gac Med Mex, 153, 6-15.
  • Martínez González, A., et al. (2016). Grado de competencia clínica de siete generaciones de estudiantes al término del internado médico de pregrado. Gac Med Mex, 152, 679-687.
  • Neufeld, V. R. y Norman G. R. (eds.) (1985). Historical Perspectives on clinical competence. Assessing Clinical Competence. Nueva York: Springer Publishing Company, 3-14.
  • Ponce de León-Castañeda, M. E. et al. (2006). Fase práctica del examen profesional: validación de un cuestionario de opinión de alumnos. Archivos en Medicina Familiar, 8, 183-189.
  • Ticse R. (2017). El Examen Clínico Objetivo Estructurado (ECOE) en la evaluación de competencias de comunicación y profesionalismo en los programas de especialización en Medicina. Rev Med Hered, 28, 192-199.
  • Trejo-Mejía, J. A., Blee-Sánchez, G. y Peña-Balderas, J. (2014). Elaboración de estaciones para el examen clínico objetivo estructurado (ECOE). Investigación en Educación Médica, 3, 56-59.
  • Trejo Mejía, J. A., et al. (2014). Evaluación de la competencia clínica con el examen objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de México. Gaceta Médica de México, 150, 8-17.
  • Trejo-Mejía, J. A. et al. (2016). Reliability analysis of the objective structured clinical examination using generalizability theory. Med Educ Online. 21(1). Recuperado de: http://dx.doi.org/10.3402/meo.v21.31650.

Vol. 19, núm. 6 noviembre-diciembre 2018

El Programa de Apoyo al Ingreso, estrategia coadyuvante del éxito académico en la UNAM

Alma Herrera Márquez, Francisco Cervantes Pérez, Margarita Pérez Durán Cita

Resumen

El propósito del Programa de Apoyo al Ingreso, del Sistema Universidad Abierta y Educación a Distancia (SUAyED) de la Universidad Nacional Autónoma de México (UNAM), es proporcionar una experiencia formativa pertinente e integral que apoye la inserción de los aspirantes a la modalidad abierta o a distancia mediante la apropiación de conocimientos, habilidades, herramientas y apoyos básicos necesarios en la vida universitaria. El artículo presenta las características del programa, así como los resultados preliminares de su aplicación en octubre-noviembre de 2017.
Palabras clave: éxito académico, ingreso escolar, educación superior abierta y a distancia.

The Admission Support Program, a coadjutant strategy for academic success in the National Autonomous University of Mexico

Abstract

The purpose of the “Programa de Apoyo al Ingreso del Sistema Universidad Abierta y Educación a Distancia” (SUAyED) from the National Autonomous University of Mexico (UNAM) is to provide a full and proper formative experience that supports the insertion of applicants to the open or distance education mode through the appropriation of knowledge, skills, tools and basic supports that are necessary in university life. This article presents the characteristics of the program, as well as the preliminary results of its appliance in September-October 2017.
Keywords: academic success, admission, open and distance higher education.

Introducción1

Desde hace poco más de dos décadas, la Universidad Nacional Autónoma de México (UNAM) aplica un examen diagnóstico2 de conocimientos a los estudiantes que ingresan a la licenciatura. Los propósitos de este examen son determinar su nivel de conocimientos y aportar información para el diseño de estrategias que fortalezcan su perfil de ingreso. Los resultados obtenidos del diagnóstico anual han conducido a las diferentes entidades académicas a poner en marcha programas propedéuticos que atienden las problemáticas académicas de los estudiantes.

Para ilustrar la importancia que tiene este ejercicio de evaluación se pueden consultar los resultados de los exámenes diagnósticos que la Dirección de Evaluación Educativa, que la Coordinación de Desarrollo Educativo e Innovación Curricular (CODEIC) de la UNAM aplicó para el año lectivo 2018 (Sánchez et al., 2018). En ellos, se aprecia que la media del porcentaje de respuestas correctas por área de conocimiento y sistema (escolarizado, abierto y a distancia) fue de 48.2%. El sistema abierto es el que mejor desempeño tuvo en el área de Ciencias Sociales (51.1%), y en Humanidades y Artes (57.3%). En los tres sistemas, el área de Humanidades y Artes tuvo el mejor desempeño con porcentajes arriba del 50%. Lo más preocupante es que el promedio de respuestas correctas en los exámenes diagnóstico es inferior a 6. Cabe destacar que esta situación no es privativa de la UNAM, pues, como Sanne y sus colaboradores plantean (2017), la transición de la educación secundaria a la educación terciaria suele ser difícil para los estudiantes, y ello se refleja en tasas de retención relativamente bajas en el primer año de la licenciatura. De acuerdo con los mismos autores, en los Países Bajos el 33% de los estudiantes universitarios abandona o cambia de carrera después del primer año; en Estados Unidos el 20% de los estudiantes de tiempo completo no regresa a la universidad en su segundo año; en Australia, Nueva Zelanda y el Reino Unido, aproximadamente del 7% al 19% de los estudiantes de licenciatura abandona sus estudios después del primer año; en Francia y en Bélgica, aproximadamente del 21% al 24%; y en Alemania, 33% lo hace.

Un problema tan agudo y generalizado ha incrementado el interés por determinar las variables asociadas al logro académico en educación superior. Con este objetivo, Schneider y Preckel (2017), a partir de un meta-análisis, determinaron 11 categorías en las que se podían agrupar 105 variables; seis categorías están relacionadas con la enseñanza: interacción social, estimulación del aprendizaje significativo, evaluación, presentación (motivación que despierta el docente en el curso y su contenido), tecnología, y capacitación extracurricular; y el resto, con las características del estudiante: inteligencia y logro previo, estrategias, motivación, personalidad y contexto (p. 18). Si bien todas estas variables permean el diseño y operación del Programa de Apoyo al Ingreso (PAI) sólo se mencionarán las de mayor impacto.

En la categoría de interacción social, la variable que mejor impulsa el logro académico es interacción profesor-estudiante y estudiante-estudiante, tanto en los ambientes presenciales, como en línea (en actividades como foros). Es importante señalar que la interacción social requiere compromiso activo, argumentación favorable acerca del propio conocimiento, toma de posición y comparación de argumentos y contraargumentos (Chi, 2009).

Estimular procesos de aprendizaje significativo abarca la preparación y organización cuidadosa del curso, la claridad en la definición de objetivos y requisitos, vincular el curso con la realidad y con el plan de estudios, diseñar mapas conceptuales (o cualquier tipo de organizador previo), donde se visualicen las relaciones abstractas que existen entre conceptos clave, permite que los estudiantes puedan determinar la relevancia del nuevo contenido, identifiquen conceptos erróneos y transfieran el contenido a situaciones reales (Ruiz-Primo y et al., 2011).

La evaluación (diagnóstica, formativa, sumativa y auténtica) tiene la función de proporcionar retroalimentación a los alumnos y profesores y vincular el aprendizaje previo con las necesidades futuras de aprendizaje. En el PAI la importancia de procesos de coevaluación y autoevaluación en el logro de aprendizaje son procesos complementarios a la evaluación del docente.

La presentación del curso es particularmente importante porque depende de la claridad y comprensibilidad con que se explican ideas abstractas, sistemas simbólicos y teorías. La presentación, desafíos y preguntas despiertan la curiosidad; el uso de diagramas con explicaciones escritas, el uso de imágenes (infografías y fotografías) que no requieren explicaciones orales animan la participación y estimulan el involucramiento en el programa.

El PAI ha sido diseñado considerando que las tecnologías digitales han moldeado y expandido la literacidad3 más allá del texto. La multiliteracidad implica la convergencia de diversas formas de conocimiento y discernimiento apropiadas con el contexto social; de forma tal, que los estudiantes pueden navegar entre el papel y los medios electrónicos, deconstruyendo sus sistemas semióticos para que codifiquen, comuniquen y colaboren creando contenido a través de múltiples plataformas.

Respecto a las tecnologías, tiene que precisarse que los dispositivos móviles favorecen la aplicación de pedagogías críticas digitales centradas en el estudiante y en el aprendizaje, especialmente aquellas que contribuyen al desarrollo de procesos de razonamiento inductivo y creativo, esquemas de colaboración y metodologías innovadoras en la solución de problemas diseñados por el alumno.4

Con el objetivo de mejorar la formación propedéutica del SUAyED,5 la Coordinación de Universidad y Educación a Distancia (CUAED) evalúo los cursos propedéuticos que se habían aplicado a los estudiantes de primer ingreso y concluyó que había un importante conjunto de aspectos que tendrían que incluirse para programar el éxito académico en el primer año de la licenciatura y ofrecer oportunidades sustantivas de aprendizaje que aseguraran una buena trayectoria académica.

Programa de Apoyo al Ingreso

El PAI se dirige a fortalecer el desempeño académico del estudiante, por esta razón, abarca una amplia gama de aspectos, entre ellos, el desarrollo de habilidades de pensamiento, competencias académicas y estrategias metacognitivas que favorecen el reconocimiento y apropiación de procesos de autorregulación, gestión de la motivación y autoeficacia, y que se encuentran estrechamente relacionadas con el logro académico; sobre todo la autoeficacia tiene un efecto causal positivo en el rendimiento si se proporciona un contexto en el que se enmarquen tareas complejas, con tiempos definidos, objetivos claros y estándares explícitos para el éxito (Sanne et al., 2017; Schneider y Preckel, 2017).

El PAI articula un conjunto de acciones orientadas a facilitar la transición de los aspirantes de nivel licenciatura hacia las características del estudio en modalidades semipresenciales y no presenciales. Es preciso señalar que, si bien había una experiencia de más de una década diseñando cursos propedéuticos, era necesario un enfoque integral dirigido al fortalecimiento del desempeño académico y a la programación del éxito. Este enfoque comprende dos fases: la primera de ellas es la analítica cuyo objetivo es la determinación de perfiles, lenguajes y patrones de aprendizaje. La fase estratégica, por su parte, se encamina al desarrollo de habilidades de pensamiento, estrategias de automotivación, autorregulación de aprendizaje y competencias académicas a partir de seis módulos (figura 1).



Figura 1. Fases analítica y estratégica del PAI.
Fuente: elaboración propia.

Por otro lado, hacía falta la evaluación del perfil cognitivo de los estudiantes, a fin de que se pudieran diseñar diversas rutas de aprendizaje alineadas con él; por ello, se incorporó al módulo II del programa (Aprendizaje autogestivo) el sistema Perfiles Educativos Recurrentes para Sistemas de Enseñanza Optimizada (PERSEO),6 el cual mide procesos cognitivos y metacognitivos. A ellos se agregó la valoración del capital cultural estrechamente vinculado con factores contextuales asociados al éxito académico.

El diseño tecnopedagógico se centró en el desarrollo de estrategias de aprendizaje basadas en la formulación de desafíos para promover la apropiación de herramientas y habilidades cognitivas, conductuales y afectivas, necesarias para completar con éxito tareas, alcanzar objetivos y gestionar demandas académicas; estrategias de coaprendizaje y aprendizaje profundo (combinación de procesamiento de información compleja y especializada y una motivación propia –intrínseca– para aprender).

El PAI es un programa completamente en línea dirigido a la atención, de manera simultánea, de 5 000 participantes; por ello, los diseños pedagógico, comunicacional y tecnológico se adecuaron a la metodología que guía el desarrollo de los Massive Open Online Courses (MOOC). La interactividad y conectividad inherentes a esta metodología favorecen la creación de comunidades de aprendizaje entre pares.

La metodología MOOC fue la base para organizar grupos de 250 participantes bajo el modelo operativo que se puede ver en la figura 2.



Figura 2. PAI: modelo operativo.
Fuente: elaboración propia.

El PAI tiene como objetivo general proporcionar una experiencia formativa pertinente e integral que apoye la inserción de los aspirantes a la modalidad abierta o a distancia mediante la apropiación de conocimientos, habilidades, herramientas y apoyos básicos necesarios en la vida universitaria.

La estructura curricular del PAI está definida por competencias y se conforma por seis módulos (figura 3):

  • Módulo I. Cultura digital. Programado para cursarse en un máximo de 20 horas.
  • Módulo II. Autogestión del aprendizaje, en un máximo de 20 horas.
  • Módulo III. Leo y comprendo, en un máximo de 10 horas.
  • Módulo IV. Habilidades argumentativas, en un máximo de 10 horas.
  • Módulo V. Lenguaje algorítmico, en un máximo de 20 horas.
  • Módulo VI. Introducción a la tutoría entre pares, en un máximo de 10 horas.


Figura 3. Estructura curricular del Programa de Apoyo al Ingreso.
Fuente: https://pai.cuaed.unam.mx/.

Cada módulo se encuentra integrado por las siguientes secciones: bienvenida, propósitos, situación problema, desafíos (actividades autogestivas), referencias bibliográficas, tutoriales, materiales base para concretar los desafíos (videos temáticos, lecturas y vínculos), monitoreo bajo demanda, foros para aprendizaje colaborativo, y estrategias de retroalimentación de avance. El participante hace autogestión de su aprendizaje, pues decide su propia ruta, ya que, durante las nueve semanas de su duración, todos los módulos se encuentran abiertos.

Algunos resultados

En los ciclos escolares 2017 y 2018, el PAI incorporó a 19 118 participantes. Sin embargo, para ilustrar los logros alcanzados sólo se describirán algunos de los resultados obtenidos en la aplicación de noviembre de 2017, que corresponden casi al 40% de la población atendida. En primer lugar, debe precisarse que de los 7 201 aspirantes se registraron en octubre de 2017 en Dirección General de Administración Escolar (DGAE) de la UNAM (entre ellos 40 personas que cambiaron de sistema), sólo iniciaron el primer módulo (Cultura digital) 4 983, lo que equivale al 69.1%. Es decir, que 30% de registrados no inició el Programa.

Esta situación se mantiene en prácticamente todas las licenciaturas, pues del 26% al 42% de los estudiantes se registró, pero no inició el Programa. Las licenciaturas de Enseñanza de Alemán y Enseñanza de Italiano sólo tuvieron dos participantes registrados y en ambos casos uno de ellos aprobó el examen y el PAI. La tabla 1 muestra la distribución por licenciatura de los resultados del PAI, considerando la aprobación del Programa.

Tabla 1. Distribución por licenciatura de aspirantes que aprobaron el PAI.

Licenciatura Aspirantes que participaron
en el PAI
Aspirantes aprobados PAI %
Administración 806 266 33
Bibliotecología 32 21 66
Ciencias de la Comunicación 123 66 54
Ciencias Políticas y Administración Pública 155 107 69
Contaduría 553 190 34.3
Derecho 638 307 48.1
Diseño y Comunicación Visual 435 171 39.3
Economía 212 115 54.2
Enseñanza de Alemán 1 1 100
Enseñanza de Español 24 9 38
Enseñanza de Francés 7 0 0
Enseñanza de Inglés 85 33 39
Enseñanza de Italiano 1 1 100
Pedagogía 330 178 54
Psicología 1 142 543 48
Relaciones Internacionales 171 79 46
Sociología 53 39 74
Trabajo Social 215 92 43
Total 4 983 2 218 45

Hay diversos aspectos a destacar en la tabla 1:

  1. 45% de quienes iniciaron el programa lo culminó satisfactoriamente; esto quiere decir que alcanzó en su totalidad las competencias definidas en el perfil de egreso.
  2. 534 (10.7%) de los aspirantes concluyó el PAI dos semanas antes de la fecha de cierre del Programa.
  3. En la licenciatura en Sociología, 74% de quienes participaron en el PAI lo culminó satisfactoriamente.
  4. La licenciatura en Administración fue la que reportó un menor porcentaje de participantes aprobados, pues sólo 33% logró desarrollar todas las competencias establecidas en el perfil.
  5. En la licenciatura de Enseñanza de Francés se inscribieron siete personas al PAI, pero ninguna lo aprobó ni tampoco aprobó el examen de selección.
  6. La licenciatura en Psicología fue la que más estudiantes inscritos tuvo (1 142), de éstos el 48% resolvió satisfactoriamente todos los desafíos del PAI.
  7. En el caso de Bibliotecología, y Ciencias Políticas y Administración Pública se observó que casi 70% de quienes se inscribieron aprobaron satisfactoriamente el PAI, con 66% y 69%, respectivamente.

La tabla 2 muestra el porcentaje de aspirantes que aprobaron el examen de admisión, en relación con aquellos que no lo aprobaron, independientemente de su participación en el PAI. Los datos hacen patente la necesidad de emprender diversas iniciativas dirigidas al mejoramiento de la aprobación del examen de selección.

Tabla 2. Porcentaje de aspirantes que aprobó el examen de selección.

Licenciatura Aspirantes registrados DGAE Aspirantes que no aprobaron examen % Aspirantes que aprobaron examen %
Administración 1072 883 82.3 189 18
Bibliotecología 53 31 58.4 22 42
Ciencias de la Comunicación 189 84 44.4 105 56
Ciencias Políticas y Administración Pública 262 119 45.4 143 55
Contaduría 743 567 76.3 176 24
Derecho 945 491 52 454 48
Diseño y Comunicación Visual 606 483 78 124 20.4
Economía 327 177 54 150 46
Enseñanza de Alemán 2 1 50 1 50
Enseñanza de Español 33 19 58 14 42
Enseñanza de Francés 7 5 71.4 2 29
Enseñanza de Inglés 118 72 61 46 39
Enseñanza de Italiano 2 1 50 1 50
Pedagogía 508 402 79.1 106 21
Psicología 1 685 1 108 66 576 34.1
Relaciones Internacionales 250 142 57 108 43.2
Sociología 92 37 40 55 60
Trabajo Social 307 223 73 84 27.3
Total 7 201 4 845 67.2 2 356 32.7

En la tabla 2, que toma como base el total de registrados en la DGAE (7 201 aspirantes), se destaca lo siguiente:

  1. Los datos son preocupantes si se considera que 67% de quienes se registraron no pasó el examen de selección.
  2. Sólo 32.7% de quienes se registraron para el concurso de selección aprobó el examen.
  3. La licenciatura en Sociología es la que obtiene el más alto porcentaje de aprobación en el examen de selección, ya que 60% de quienes se registraron aprobó el examen.
  4. En la licenciatura en Administración el porcentaje de aprobación en el examen no alcanzó ni siquiera 20%.
  5. Menos de 50% de quienes se registraron en la DGAE aprobó el examen en las licenciaturas de Bibliotecología, Contaduría, Derecho, Diseño y Comunicación Visual, Economía, Enseñanza de Español, Enseñanza de Francés, Enseñanza de Inglés, Pedagogía, Psicología y Trabajo Social.
  6. Más de 50% de los registrados aprobó el examen de selección en las licenciaturas de Ciencias de la Comunicación, Ciencias Políticas y Administración Pública, Enseñanza de Alemán, Enseñanza de Italiano y Sociología.

Los datos expuestos son preocupantes si se considera que este 32.7% que aprobó el examen de selección obtiene menos de 50% de los aciertos del examen diagnóstico de primer ingreso, de acuerdo con los datos de la Dirección de Evaluación Educativa de la UNAM (Sánchez et al. 2018).

La tabla 3 muestra el porcentaje total de aspirantes que aprobó el examen de admisión, por un lado, sin haber aprobado el PAI y, por el otro, al aprobar el Programa.

  1. 62% de los aspirantes que aprobaron el PAI acreditó el examen de selección.
  2. El porcentaje de aprobados del Programa de Apoyo al Ingreso y del examen de selección en las licenciaturas de Enseñanza de Francés y de Administración es de 0% y 39%, respectivamente.
  3. En las licenciaturas de Diseño y Comunicación Visual y Pedagogía, aprobó el examen de selección menos de 50% de quienes aprobaron el PAI.
  4. Más de 60% de quienes aprobaron el PAI acreditó también el examen de selección en las licenciaturas de Bibliotecología, Ciencias de la Comunicación, Ciencias Políticas y Administración Pública, Derecho, Economía, Enseñanza de Alemán, Enseñanza de Español, Enseñanza de Inglés, Enseñanza de Italiano, Psicología, Relaciones Internacionales y Sociología.
  5. Los resultados preliminares indican que el Programa de Apoyo al Ingreso tiene un efecto positivo en la aprobación del examen de selección a la UNAM.

Tabla 3. Porcentaje de aspirantes que aprobaron el PAI y el examen de selección.

Licenciatura Aspirantes aprobados PAI Aspirantes aprobaron
examen + PAI
%
Administración 266 103 39
Bibliotecología 21 13 62
Ciencias de la Comunicación 66 55 83.3
Ciencias Políticas y Administración Pública 107 92 86
Contaduría 190 106 56
Derecho 307 234 76.2
Diseño y Comunicación Visual 171 80 47
Economía 115 88 77
Enseñanza de Alemán 1 1 100
Enseñanza de Español 9 9 100
Enseñanza de Francés 0 0 0
Enseñanza de Inglés 33 22 67
Enseñanza de Italiano 1 1 100
Pedagogía 178 74 42
Psicología 543 353 65
Relaciones Internacionales 79 58 73.4
Sociología 39 32 82
Trabajo Social 92 48 52.1
Total 2218 1369 62

Finalmente, la evaluación del PAI que hicieron participantes y monitores arroja, entre otros, los siguientes resultados: a) los objetivos son claros (89%); la duración fue suficiente (91%); las actividades formativas son apropiadas (72.2%); las actividades evaluativas son apropiadas (69.4%); los foros no son manejables (33.3%); el nivel de dificultad fue moderado (85.3%); el número de participantes por monitor fue suficiente (61.1%); los módulos que desarrollaron más competencias académicas fueron Cultura digital (80.6%) y Leo comprendo, escribo y aprendo (80.6%); el tutorial que mayor utilidad crítica tuvo fue Herramientas para desafíos (69.4%); el contenido de los módulos fue adecuado (97.2%); los desafíos permitieron alcanzar los objetivos planteados (94.3%); los criterios de evaluación fueron claros (86.1%). Para mejorar el PAI se sugiere mayor claridad en las tareas, que los foros sean por grupo, mejorar la interfaz y el funcionamiento de la barra de avance (Secretaría Académica, CUAED, 2017).

Conclusiones

Consideramos que el Programa de Apoyo al Ingreso mejoró significativamente el enfoque propedéutico, aumentó la calidad del programa y tuvo un impacto positivo en el rendimiento académico de los participantes, con las siguientes innovaciones: a) los monitores alentaron permanentemente la participación; b) los desafíos formulados fueron estimulantes; c) los participantes tuvieron un encuadre detallando las actividades que debían realizarse; d) el contenido de los módulos se articuló estrechamente con el perfil cognitivo del participante; e) la metodología MOOC estimuló la autogestión y autorregulación del aprendizaje.

Las tareas inmediatas son:

  1. Determinar si existe una correlación entre el desempeño en el PAI, la aprobación del examen y el capital cultural (nivel educativo de la madre y logro educativo previo).
  2. Hacer un seguimiento al término del primer semestre de los estudiantes seleccionados que aprobaron el PAI para determinar si hay algunas variables predictoras de éxito académico asociadas al Programa.
  3. Evaluar el impacto del nuevo modelo pedagógico, comunicacional y tecnológico del PAI en el desarrollo y apropiación de las competencias académicas.
  4. Evaluar el modelo operativo del Programa a fin de mejorar el perfil de los monitores académicos en el seguimiento de los participantes.
  5. Es preciso avanzar en el proceso de alineamiento del perfil de egreso del bachillerato con el perfil de ingreso de la licenciatura, seleccionando el contenido nuclear necesario para la óptima comprensión del conocimiento del primer semestre. Esta tarea es de central importancia porque de acuerdo con Tricot y Sweller (2014) los estudiantes diseñan mejor sus estrategias de aprendizaje y regulan su esfuerzo (gestión de tiempo y metas) cuando lo hacen en el contexto de su disciplina científica, con problemas reales y un enfoque de evaluación auténtica.

Referencias

  • Bernard, R. M., Borokhovski, E., Schmid, R. F., Tamim, R. M., y Abrami, P. C. (2014). A meta-analysis of blended learning and technology use in higher education: From the general to the applied. Journal of Computing in Higher Education, 26, 87–122. DOI: http://dx.doi.org/10.1007/s12528-013- 9077-3.
  • Chi, M. T. H. (2009). Active-constructive-interactive: A conceptual frame-work for differentiating learning activities. Topics in Cognitive Science, 1, 73–105. DOI: http://dx.doi.org/10.1111/j.1756-8765.2008.01005.x.
  • Ruiz-Primo, M. A., Briggs, D., Iverson, H., Talbot, R., & Shepard, L. A. (2011). Impact of undergraduate science course innovations on learning. Science, 331, 1269–1270. DOI: http://dx.doi.org/10.1126/science.1198976.
  • Sánchez et al. (2018). Exámenes para el diagnóstico de conocimientos. Resultados de los alumnos que ingresan al nivel licenciatura 2018. México: UNAM.
  • Sanne G. A. van Herpena, Marieke Meeuwisseb, W. H. Adriaan Hofmanc, Sabine E. Severiensb y Lidia R. Arends (2017). Early predictors of first-year academic success at university: pre-university effort, pre-university self-efficacy, and pre-university reasons for attending university. Educational Research and Evaluation, 23 (1–2), 52–72. DOI: https://doi.org/10.1080/13803611.2017.1301261.
  • Schneider, M., y Preckel, F. (2017,). Variables Associated with Achievement in Higher Education: A Systematic Review of Meta-Analyses. Psychological Bulletin, 143 (6), 565-600. DOI: http://dx.doi.org/10.1037/bul0000098.
  • Secretaría Académica (2017). Informe de Evaluación del Programa de Apoyo al Ingreso 2017. México: Coordinación de Universidad Abierta y Educación a Distancia, UNAM [documento de circulación interna].
  • Tricot, A., y Sweller, J. (2014). Domain-specific knowledge and why teaching generic skills does not work. Educational Psychology Review, 26, 265–283. DOI: http://dx.doi.org/10.1007/s10648-013-9243-1.

Show Buttons
Hide Buttons

Revista Digital Universitaria Publicación bimestral Vol. 18, Núm. 6julio-agosto 2017 ISSN: 1607 - 6079