Piloteando ando: ajustes a un cuestionario de investigación a partir del estudio piloto

Resumen

Este trabajo presenta el análisis de un estudio piloto para ajustar el cuestionario del proyecto “Transición de docentes y estudiantes de la unam a la educación remota durante la pandemia”. Realizado por la Coordinación de Universidad Abierta, Innovación Educativa y Educación a Distancia (cuaieed), involucra a profesores y estudiantes de bachillerato y licenciatura de la unam. El piloto, realizado en línea con LymeSurvey.com, incluyó a 396 participantes, con profesores (n=27) y estudiantes (n=369) invitados mediante la técnica de bola de nieve. Este artículo se centra en el análisis de respuestas de estudiantes, identificando mejoras en reactivos. El piloteo, al observar comportamientos del cuestionario y plataforma, calculó porcentajes por comportamiento y recuperó frases de respuestas. Estudiar las percepciones estudiantiles contribuye al entendimiento de procesos de enseñanza y formación docente. El análisis preliminar del estudio piloto señala su cumplimiento, identificando áreas de mejora y preparando el terreno para la investigación principal sobre la transición a la educación remota en la unam.
Palabras clave: estudio piloto, educación remota, transición educativa, estudiantes universitarios, percepciones estudiantiles, covid-19.

Piloting in progress: adjustments to a research questionnaire based on the pilot study

Abstract

This paper presents the analysis of a pilot study aimed at refining the questionnaire for the project “Transition of unam Teachers and Students to Remote Education during the Pandemic.” Conducted by the Coordination of Open University, Educational Innovation, and Distance Education (cuaieed), it involves professors and students from unam’s high school and undergraduate programs. The online pilot, conducted with LymeSurvey.com, included 396 participants, with 27 professors and 369 students invited through a snowball sampling technique. This article focuses on the analysis of student responses, identifying improvements in questionnaire items. The pilot study, through the observation of questionnaire and platform behaviors, calculated percentages by behavior and retrieved response phrases. Studying student perceptions contributes to understanding teaching processes and teacher training. The preliminary analysis of the pilot study indicates its fulfillment, identifying areas for improvement and laying the groundwork for the main research on the transition to remote education at unam.
Keywords: pilot study, remote education, educational transition, university students, student perceptions, covid-19.

Introducción

Los estudiantes universitarios tienen mucho que expresar sobre su formación académica. Estas contribuciones emergen de la intersección entre sus expectativas, creencias y experiencias, así como de su interacción en el entorno educativo mediado por contenidos, actores (docentes y compañeros), su propia subjetividad y las prácticas educativas. Esta amalgama nutre sus percepciones, las cuales son de gran valor en el estudio de la Educación Superior.

En este artículo, se presentan las adaptaciones realizadas al instrumento de una investigación sobre las percepciones de la comunidad de la unam, incluyendo a docentes y estudiantes de bachillerato y licenciatura. Estos ajustes son resultado de un estudio piloto llevado a cabo con una muestra representativa y aleatoria de participantes. En este texto, nos enfocaremos exclusivamente en los resultados y ajustes al cuestionario dirigido a estudiantes.

Es importante señalar que el instrumento utilizado en el piloteo formó parte de la primera investigación sobre las percepciones de los estudiantes realizada en la Universidad durante la pandemia. Esta contribución es relevante debido a la necesidad de recopilar información sobre las situaciones y problemáticas afrontadas durante la contingencia sanitaria, así como sobre la educación remota y digital que se implementó. Además, este trabajo es esencial para la toma de decisiones relacionadas con las modalidades abierta, a distancia, mixta o presencial. Esta iniciativa contribuye y se alinea con el compromiso de proporcionar una educación socialmente pertinente y responsable, en consonancia con las necesidades e intereses de aprendizaje de los estudiantes universitarios.

Desarrollo

Como parte de una investigación sobre la transición de docentes y estudiantes universitarios a la educación remota durante la pandemia, y con el objetivo de mantener el rigor metodológico, fue crucial llevar a cabo un estudio piloto del cuestionario diseñado para el estudio. La intención era revisar, ajustar y adaptar los ítems en términos de contenido y formato, con el fin de mejorar su claridad, validez y pertinencia (Bossolasco, et al., 2019).

Este piloteo consistió en la revisión del cuestionario, compuesto por preguntas cerradas y abiertas, diseñado para la investigación sobre percepciones de estudiantes, realizada en junio de 2021 durante la pandemia (de Agüero, et al., 2021). El cuestionario para este estudio consta de seis dimensiones y un total de 47 ítems. Para su aplicación, se solicitó a los estudiantes de la Universidad responderlo a través de la plataforma LimeSurvey. El piloteo permitió observar el comportamiento del cuestionario, de la plataforma y de cada ítem, con la participación de 369 estudiantes, de los cuales 282 completaron el cuestionario en su totalidad.

Se reconoció la influencia significativa de la percepción estudiantil en el diseño y desarrollo de las actividades de enseñanza y aprendizaje. La experiencia en las interacciones docente-estudiante enriquece las percepciones de ambos. La percepción estudiantil proporciona información sobre experiencias, conceptos, significados y creencias fundamentales para el acto educativo, influyendo en las prácticas de aprendizaje de diversas maneras.

La indagación sobre las percepciones de los estudiantes no solo se alinea con estudios contemporáneos sobre creencias, opiniones y significados (Rienties et al., 2013; Bahçıvan y Cobern, 2016; Williams et al., 2016 y Domović et al., 2016), sino que también responde a la práctica docente, especialmente en el nivel superior, que requiere una actualización constante para cumplir con las expectativas de los estudiantes (Morales et al., 2021).

Esta tendencia a comprender las opiniones de los estudiantes en estudios educativos a nivel superior es prometedora para entender “qué” piensan u opinan acerca de los procesos de enseñanza-aprendizaje. Investigaciones destacan la urgencia de incorporar las voces de los estudiantes para evitar sesgos en la investigación educativa y en las políticas públicas e institucionales. Otras resaltan la importancia de las interacciones docente-estudiante para el diseño de estrategias didácticas y una formación docente de calidad que reflexione y mejore continuamente (Kožuh y Maksimović, 2020 En relación con el piloteo, se informa que la edad promedio de los participantes fue de 19 años, con un rango de 16 a 54 años. En cuanto al género, el 56.37% fueron mujeres, el 37.67% hombres y el 1.36% se identificó como no binario.

Es importante destacar que, durante el diseño del cuestionario, el equipo de investigación revisó la pertinencia y relevancia de los ítems, la claridad de los reactivos, el nivel de usabilidad de la plataforma LimeSurvey y la arquitectura del cuestionario. Este primer piloteo involucró una revisión por parte de pares, seguida por un segundo piloteo con las poblaciones objetivo del estudio.

Dado que el propósito del piloto era obtener información sobre la pertinencia de los reactivos a partir de una muestra estratégica de informantes, se estableció una meta mínima de 25 profesores y 50 estudiantes. Para la selección de los participantes, se convocó a docentes que previamente habían participado en cursos con el equipo investigador. La convocatoria se realizó mediante correo electrónico, invitándolos a una junta virtual informativa donde se extendió la invitación a resolver el cuestionario y a compartirlo con sus estudiantes. Los docentes recibieron el enlace del cuestionario por correo electrónico y lo compartieron en el mismo formato.

Para recopilar observaciones, se incluyeron al final del cuestionario preguntas abiertas sobre el instrumento. Se firmaron cartas de confidencialidad y de otorgamiento de consentimiento para fines de investigación. El cuestionario estuvo disponible en la plataforma durante dos semanas. Para el análisis de las respuestas, se categorizaron y se determinó la frecuencia de respuesta de los encuestados, recuperando algunas frases significativas de las respuestas.

A continuación, se presentan los análisis de los resultados y propuestas de mejora para los reactivos del cuestionario para estudiantes, según la retroalimentación analizada.

Análisis de los resultados y propuestas de mejora

La primera pregunta se formuló de la siguiente manera: “¿Qué tan claras te parecieron las preguntas del cuestionario que acabas de contestar?”. Esta interrogante buscaba recopilar información general sobre la estructura y redacción de las preguntas. De las respuestas, 84 estudiantes no emitieron comentario alguno, dejando esta opción en blanco (23%). En contraste, 266 estudiantes expresaron comentarios favorables sobre la claridad de las preguntas (72%). La mayoría de estos comentarios fueron breves como: “Muy claras”, “Muy concretas y entendibles”, “Bastante claras”. Además, 17 estudiantes proporcionaron comentarios para mejorar los reactivos (5%), abordando aspectos relacionados con la confusión acerca de si las preguntas se referían al tiempo de estudio individual o a la toma de la clase, la sugerencia de mejorar la comprensibilidad de los términos y la pertinencia de colocar opciones de respuesta de mayor a menor, ya que algunos encontraron dificultades al asignar un orden de preferencia.

Algunos ejemplos de estas respuestas incluyen: “La mayoría fueron muy claras, algunas me causaron conflicto, puesto que no entendía si se refería a lo que yo aplico para mi clase y mi aprendizaje o si se refería a las herramientas usadas mientras tomo la clase”, “Algunas preguntas no estaban bien planteadas, porque tenían palabras que no iban con la redacción” y “Hubo algunas que no entendí del todo bien, podrían poner ejemplos o algo así.”

Basándonos en los comentarios sobre la formulación de las preguntas, se decidió considerar aquellos que se repetían en alguna sección o preguntas específicas. Muchos de los comentarios de mejora llevaron a la revisión del cuestionario para identificar planteamientos confusos y redacciones de preguntas. Esto también condujo a la revisión de la siguiente pregunta de retroalimentación.

La segunda pregunta fue: “¿Existió alguna pregunta que te haya sido más difícil contestar?, ¿cuál y por qué?”. Esta pregunta tenía como objetivo identificar los ítems específicos susceptibles de mejora. De los estudiantes que respondieron al piloto, 85 no contestaron esta pregunta de retroalimentación (23%), 257 estudiantes expresaron que no hubo ninguna pregunta difícil de contestar (70%), mientras que 25 hicieron comentarios sobre alguna pregunta que podría mejorarse.

Las respuestas construidas revelaron que algunos estudiantes tuvieron la oportunidad de reflexionar sobre sus propias prácticas a partir de los planteamientos de los reactivos. Además, hubo reactivos que los estudiantes consideraron sensibles, especialmente aquellos relacionados con cuestiones familiares y personales en la pandemia. Esto refleja la importancia de incluir la opción “prefiero, no contestar” para situaciones de este tipo.

Algunos comentarios sobre este aspecto fueron los siguientes: “Sí, las preguntas sobre la situación personal, nuestra relación con los familiares o personas cercanas que tuvieron covid. De forma general, las preguntas que conllevan un análisis personal y más emotivo que los que tienen que ver con los aspectos educativos”, “Tal vez algunas del principio por temas familiares, pero no fue difícil en términos de comprensión”, “Algunos temas familiares son muy sensibles y podrían parecer difíciles” y “No, solo las familiares fueron incómodas”.

La tercera pregunta fue: “¿Tienes alguna recomendación para mejorar la claridad de las preguntas o las instrucciones de llenado?”. Esta pregunta se centró en las sugerencias de los estudiantes para mejorar la redacción de preguntas e instrucciones de llenado. Del total de respuestas, 86 estudiantes no contestaron esta pregunta (23%), 248 respuestas indicaron que las preguntas estaban bien planteadas y no tenían recomendaciones (68%), y 33 estudiantes proporcionaron comentarios para mejorar la claridad de las preguntas (9%), que se analizarán para considerar mejoras en el cuestionario.

Las sugerencias planteadas incluyeron ampliar las opciones de respuesta, hacer más breves las preguntas y corregir la ortografía de algunas preguntas, entre otras. Las respuestas fueron muy específicas, identificando preguntas que, desde su perspectiva, necesitaban mejoras; muchas de estas sugerencias coincidieron en la pregunta 30, lo que implicaba ordenar las diferentes opciones de respuesta.

Finalmente, la última pregunta fue: “¿Cuánto tiempo te tomó llenar el cuestionario?”. Esta pregunta buscaba conocer el tiempo que les llevó a los estudiantes completar el cuestionario. De los estudiantes, 85 no contestaron (23%), mientras que 282 comentaron el tiempo en que habían completado el instrumento (77%). El rango de tiempo varió entre 7 minutos como mínimo y 45 minutos como máximo. La mayoría reportó haber terminado el cuestionario en un tiempo de entre 25 y 30 minutos, lo cual es adecuado dado el número de preguntas que lo conforman.

A partir del análisis de las respuestas de los estudiantes, se consideraron posibles mejoras en algunos de los reactivos que conforman el cuestionario (ver Tabla 1). En el caso del reactivo 15, se consideró respaldar la respuesta ofreciendo un listado de opciones en función de la sensibilidad de la respuesta al reactivo. En el caso del reactivo 30, se sugiere integrar una escala Likert que dosifique la afinidad de la respuesta. En el reactivo 33, se sugirió incorporar la temática de género en concordancia con la visibilización que se hace de la diversidad y del valor que los estudiantes dan a este tema. Además, se identificó un error tipográfico en el reactivo 37.

Tabla 1. Formas propuestas de mejora al reactivo. Crédito: elaboración propia.

En resumen, el análisis de las respuestas dadas a las preguntas y al cuestionario permitió reconocer errores y oportunidades de mejora en el instrumento. Por lo tanto, el piloteo cumplió con su finalidad, como lo mencionan Muñiz y Fonseca-Pedrero (2008):

Conclusiones

Para el estudio “Transición de docentes y estudiantes de la unam a la educación remota durante la pandemia”, resultó fundamental llevar a cabo un estudio piloto. Este piloteo consistió en la revisión del cuestionario de percepción de los estudiantes mediante su resolución, utilizando la plataforma LimeSurvey con un buen nivel de usabilidad.

Un aspecto destacado es que en el cuestionario se incluyeron preguntas sobre identificaciones no binarias, lo que permitió visibilizar a aquellos que se identifican de esta manera. Esto representa un avance importante al romper con las preguntas tradicionales de sexo dicotómico, que exaltan solo dos identidades de género.

El piloteo se llevó a cabo con la población objetivo, y para recopilar las observaciones de los estudiantes, quienes fueron invitados por algunos docentes, se incorporaron al final del cuestionario preguntas abiertas sobre el instrumento. Es relevante destacar que no todos los participantes respondieron todas las preguntas, lo que podría sugerir áreas específicas de interés o preocupación para los estudiantes.

A partir del análisis de las respuestas, se tuvieron en cuenta mejoras en algunos de los reactivos que conforman el cuestionario. Este análisis permitió reconocer errores e identificar oportunidades de mejora en el instrumento, abordando aspectos como la redacción, las opciones de respuesta y la tipografía. En este sentido, el piloto no solo fue un ejercicio para validar el cuestionario, sino también una herramienta valiosa para mejorar su calidad y efectividad.

Referencias

• Bahçıvan, E., y Cobern, W. W. (2016). Investigating coherence among Turkish elementary science teachers’ teaching belief systems, pedagogical content knowledge and practice. Australian Journal of Teacher Education, 41(10), 63-86. https://doi.org/10.14221/ajte.2016v41n10.5.
• Bossolasco, M., Chiecher, A. y Dos Santos, D. (2019). Diseño y validación de un instrumento para el análisis de trayectorias académicas en el primer año universitario. http://hdl.handle.net/11336/126392.
• De Agüero Servín, M., Del Carmen Carmona Lara, M., Patiño, A. M., y Sánchez‐Mendiola, M. (2021). Entre la desigualdad y la oportunidad: Seguimiento a los retos educativos para la docencia durante la pandemia en la UNAM. Entreciencias: Diálogos en la Sociedad del Conocimiento, 9(23). https://doi.org/10.22201/enesl.20078064e.2021.23.79212.
• Domović, V., Vlasta, V. V., y Bouillet, D. (2016, 14 de junio). Student teachers’ beliefs about the teacher’s role in inclusive education. European Journal of Special Needs Education, 32(2), 175-190. https://doi.org/10.1080/08856257.2016.1194571.
• Kožuh, A., y Maksimović, J. (2020). Ways to increase the quality of didactic interactions. World Journal on Educational Technology, 12(3), 179-191. https://doi.org/10.18844/wjet.v12i3.4999.
• Morales García, M. H., Balcázar Nájera, C. A., Priego Álvarez, H. R., y Flores Morales, J. (2021). El empoderamiento del alumno: una tendencia favorable en la educación superior. RIDE Revista Iberoamericana para la Investigación y el Desarrollo Educativo, 11(22). https://doi.org/10.23913/ride.v11i22.847.
• Muñiz, J. y Fonseca-Pedrero, E., (2008). Construcción de instrumentos de medida para la evaluación universitaria, Revista de Investigación en Educación, (5), 13-25. https://revistas.uvigo.es/index.php/reined/article/view/1816/1727.
• Rienties, B., Brouwer, N., y Lygo-Baker, S. (2013). The effects of online professional development on higher education teachers’ beliefs and intentions towards learning facilitation and technology. Teaching and Teacher Education, 29, 122-131. https://doi.org/10.1016/j.tate.2012.09.002.
• Williams, L., Nixon, S., Hennessy, C., Mahon, E., y Adams, G. (2016). Inspiring to Inspire: Developing teaching in higher education. Cogent Education, 3(1), 1154259. https://doi.org/10.1080/2331186x.2016.1154259.

Recepción: 20/04/2022. Aceptación: 01/11/2023.