RIDE. Revista Iberoamericana para la Investigación y el Desarrollo Educativo
Evaluación de proyectos académicos de investigación en el bachillerato: desarrollo de una rúbrica integral
Dec 31 2024
Resumen
Los proyectos académicos desempeñan un papel crucial en el bachillerato porque proporcionan a los estudiantes conocimientos para interpretar, discutir y presentar resultados, así como para fortalecer sus habilidades, destrezas y actitudes para diseñar, desarrollar e implementar investigaciones científicas. Con este objetivo en mente, se diseñó y validó una rúbrica, basada en instrumentos existentes, para evaluar proyectos académicos. Los expertos que revisaron y mejoraron la rúbrica realizaron sugerencias que demuestran que la mayoría de los ítems cuentan con valores de V de Aiken superiores a 0.80, por lo que se modificaron dos ítems que no alcanzaron el valor óptimo en cuanto a su pertinencia y redacción. Durante la aplicación de la prueba a estudiantes y profesores, se obtuvo coeficientes de confiabilidad alfa de Cronbach de 0.934 y de 0.927, respectivamente. En conclusión, los elementos que conforman la rúbrica son pertinentes para su utilización en la evaluación de proyectos de investigación. Su desarrollo y validación garantizan una herramienta eficaz para medir y evaluar el desempeño de los estudiantes en el ámbito académico del bachillerato.
Introducción
La Dirección General del Bachillerato de la Secretaría de Educación Pública (SEP) (2013) estableció en el ciclo escolar 2009-2010 los principios de la Reforma Integral de la Educación Media Superior (RIEMS), para lo cual consideró a la asignatura Metodología de la Investigación como eje para la construcción de un trabajo interdisciplinario. Posteriormente, en 2017, se determinaron cuatro ejes transversales para la misma asignatura: social, ambiental, salud y habilidades lectoras, que se aplican en todo el bachillerato.
La asignatura Metodología de la Investigación tiene como objetivo desarrollar en los estudiantes competencias genéricas y disciplinares básicas en ciencias sociales mediante el fomento de la reflexión, análisis e interpretación interdisciplinarios y transdisciplinarios de procesos históricos y problemáticas locales (SEP, 2017), aunque también se relaciona con todos los campos disciplinares debido a su enfoque holístico. Según los lineamientos de evaluación del aprendizaje de la Reforma Educativa (SEP, 2017), se debe desarrollar la investigación como un proceso en el que los estudiantes comprendan de manera crítica lo que está sucediendo en su contexto social y actúen para transformarlo. En otras palabras, deben ser conscientes de lo que desean investigar y cómo llevar a cabo la investigación.
En este contexto, surge el proyecto de investigación académica como un documento que, según Barber (2008), refleja un proceso creativo y organizado, lo cual representa una forma de planificar y sistematizar la investigación. El documento enfatiza la necesidad de que los estudiantes tengan un plan bien estructurado basado en un tema de estudio que cumpla con los protocolos de organización y estructura, así como con las pautas de ejecución. Por lo tanto, en el bachillerato, los estudiantes deben aplicar la investigación para lograr un aprendizaje significativo como una herramienta para aprender a aprender, así como presentar un enfoque ordenado y metódico para abordar un problema de investigación.
El proyecto de investigación es una expresión documental del proceso de investigación, el cual -según Barber (2008)- se define como la oportunidad de compartir ideas sobre un problema y utilizarlo como punto de partida para explorar el tema elegido, evaluando su relevancia, alcance, importancia y los recursos necesarios para su desarrollo. Los proyectos de investigación académica deben presentar problemáticas contextuales a los estudiantes, de modo que puedan identificar áreas de investigación e incertidumbre. A partir de ahí, se debe fomentar la búsqueda de nuevos conocimientos para facilitar el aprendizaje autónomo.
En el bachillerato, por ende, se debe fomentar que los estudiantes construyan nuevos conocimientos por sí mismos para que descubran sus propias capacidades y aptitudes para seleccionar un tema, recopilar información, evaluar su progreso y detectar áreas de mejora. De esa forma, el docente se convierte en un facilitador y motivador que facilita técnicas de investigación para mejorar el aprendizaje.
Ferrés et al. (2015) destacan el desafío de utilizar la investigación para desarrollar habilidades de indagación y resolución de problemas en los estudiantes dentro de un contexto académico. También abordan el tema de la evaluación confiable de proyectos y la necesidad de una evaluación formativa. Estos son problemas a los que los docentes se enfrentan al evaluar proyectos de investigación mediante rúbricas (López et al., 2016).
En este sentido, se han identificado algunos instrumentos para la evaluación de proyectos académicos en el bachillerato. Entre los más relevantes se encuentra la rúbrica “Practical Test Assessment Inventory” (NPTAI) propuesta por el sistema de bachillerato de la Universidad de Cataluña (Ferrés et al., 2015). Este instrumento tiene como objetivo evaluar las habilidades relacionadas con la comprensión en función de las competencias de indagación (NCI), lo que permite ubicar a los alumnos en cinco intervalos: 1) indagador, 2) indagador inseguro, 3) indagador incipiente, 4) pre científico y 5) acientífico. La rúbrica se enfoca en siete categorías de indagación: 1) identificación de problemas o formulación de preguntas, 2) formulación de hipótesis, 3) identificación de variables, 4) planificación de la investigación, 5) recopilación y procesamiento de datos, 6) análisis de datos y obtención de conclusiones argumentadas, y 7) meta reflexión. Sin embargo, este instrumento no aborda específicamente los proyectos de investigación académica en el bachillerato.
Por otra parte, Cortés et al. (2015) proponen una rúbrica para evaluar trabajos escritos que, aunque se centra en ensayos y trabajos, incluye elementos fundamentales para la elaboración de proyectos de investigación. No obstante, su propuesta no establece criterios específicos para evaluar los niveles de logro de los estudiantes, lo que genera falta de objetividad. La rúbrica evalúa cinco aspectos: a) estructura, b) contenido, c) organización, d) redacción y ortografía, y e) presentación, asignando puntuaciones de 10, 30, 30, 20 y 10 puntos, respectivamente.
Otra contribución es de Sáiz Manzanares y Bol Arreba (2014), quienes desarrollaron una rúbrica basada en la taxonomía de Bloom para medir niveles de rendimiento desde insuficiente (nivel 1) hasta excelente (nivel 4). Por otro lado, Raposo y Martínez (2014) realizaron un estudio cuasiexperimental para investigar las diferencias en la evaluación educativa al incluir la retroalimentación como guía para evaluar productos, considerando el proyecto de investigación como trabajo final con el objetivo de mejorar el proceso de enseñanza-aprendizaje. Aplicaron una rúbrica para medir niveles de rendimiento, para lo cual consideraron 0 como insuficiente y un máximo de 5 como excelente; además, tuvieron en cuenta las características del contexto del estudiante para medir los logros de desempeño. Sin embargo, su rúbrica carece de estudios de validez y confiabilidad para su aplicación en el bachillerato.
La rúbrica elaborada por Llanos y Luna (2017) para evaluar habilidades de investigación en el Bachillerato de Enfermería de la Universidad Nacional de Trujillo considera los siguientes aspectos: 1) título, 2) introducción, 3) objetivos, 4) revisión de literatura, 5) metodología, 6) resultados y 7) discusión. Estos aspectos se evalúan en cuatro niveles: insuficiente, básico, intermedio y avanzado. Sin embargo, esta rúbrica es específica para el campo de la enfermería y aborda todos los aspectos relevantes de la investigación académica en general.
En México, se identificaron las contribuciones más cercanas para evaluar proyectos académicos: Corral (2020) propone una evaluación de ensayo analítico; Ortega et al. (2014) se enfocan en proyectos de investigación a nivel superior; Kral (2013) presenta una evaluación para proyectos de investigación de tesis y la Universidad Autónoma del Estado de Hidalgo (UAEH) (2019) aborda la evaluación de la investigación documental.
Es relevante mencionar que las fuentes consultadas sobre la implementación de rúbricas en el bachillerato se centran más en la importancia y la elaboración de rúbricas en general que en propuestas validadas específicamente para el bachillerato. Además, algunas de las fuentes encontradas carecen del respaldo necesario al no estar respaldadas por instituciones educativas, autores o enfoques educativos.
Por tanto, surge la necesidad de proponer una herramienta que permita la evaluación del desarrollo de competencias en los estudiantes (Verano et al., 2016) de bachillerato mediante el diseño de “Rúbricas para evaluar proyectos de investigación académica”. Esta será un instrumento pertinente y práctico para valorar los proyectos elaborados por los alumnos de bachillerato.
Metas establecidas
- Diseñar un instrumento que permita evaluar proyectos de investigación académicos elaborados por alumnos de bachillerato en la asignatura Metodología de la Investigación, de acuerdo con el enfoque socioformativo contemplado en la reforma educativa.
- Validar el contenido de la rúbrica mediante el juicio de expertos, quienes determinarán la pertinencia y redacción de cada ítem considerando los 5 niveles de la taxonomía socioformativa.
- Analizar la validez y confiabilidad del instrumento mediante la aplicación del V de Aikeen.
Así pues, la evaluación de proyectos de investigación académica en el bachillerato es un desafío que requiere de instrumentos válidos y confiables. Aunque se han propuesto algunas rúbricas y criterios de evaluación, es necesario realizar más investigaciones para desarrollar instrumentos adecuados que evalúen de manera integral las competencias y habilidades de investigación de los estudiantes. Además, es importante considerar la retroalimentación como parte del proceso de evaluación para mejorar el aprendizaje y el desarrollo de habilidades de investigación en el bachillerato.
Metodología
Se llevó a cabo un estudio instrumental que engloba todos los estudios relacionados con el desarrollo de pruebas y aparatos, incluyendo su diseño, adaptación y análisis de sus propiedades psicométricas (Prieto y Delgado, 2010), basándose en la clasificación propuesta por Montero y León (2005). Para analizar la validez aparente y la confiabilidad del instrumento, se siguieron las siguientes etapas: 1) diseño del instrumento, 2) revisión por expertos, 3) aplicación de la prueba a un grupo piloto, y 4) juicio de expertos para realizar mejoras al instrumento y comenzar el análisis de confiabilidad.
El diseño del instrumento se realizó mediante una rúbrica analítica, siguiendo la propuesta de Tobón et al. (2010) desde el enfoque socioformativo. La adopción de este enfoque se basa en su capacidad para integrar los principios rectores de la transformación educativa, involucrando a estudiantes y docentes. La rúbrica fue diseñada con el propósito de evaluar los productos del proyecto, utilizando indicadores para medir los niveles de dominio y determinar el logro de competencias en los alumnos.
Bartolomé et al. (2014) y Cano (2015) sostienen que las rúbricas favorecen una evaluación sistematizada y contribuyen a una mejor comprensión del proceso de aprendizaje, mediante la autoevaluación y la evaluación entre pares, prácticas comunes en la educación media superior que implican la participación activa de los estudiantes en la medición objetiva del desempeño y fomentan la mejora continua.
La rúbrica consta de 12 ítems que evaluaron los siguientes aspectos: registro documental, portada, introducción, marco teórico, fases del proyecto, recursos, resultados, conclusiones, fuentes, anexos y normas APA. Además, se consideran cinco niveles de desempeño: preformal, receptivo, resolutivo, autónomo y estratégico, que representaban los niveles de dominio desde muy bajo hasta muy alto. Al igual que Escobar y Cuervo (2008), tres expertos participan en la revisión de la coherencia, redacción y pertinencia de cada ítem, y las observaciones son consideradas para mejorar el instrumento.
Para caracterizar a los participantes, se utilizó el Cuestionario de Factores Sociodemográficos (CIFE) (2015). La prueba se aplicó a un grupo piloto compuesto por 7 estudiantes y 6 profesores de la preparatoria Ciudad Azteca. Los alumnos habían elaborado proyectos de investigación académica en la asignatura de Metodología de la Investigación durante el primer semestre, mientras que algunos profesores cuentan con experiencia en la investigación a nivel licenciatura.
Para la caracterización de estudiantes y docentes, se utilizó el cuestionario de factores sociodemográficos CIFE (2015). La validez de contenido se evaluó mediante la participación de 10 jueces expertos en revisión, diseño y/o validación de instrumentos de investigación. Se aplicó el índice de relevancia de la V de Aiken (Penfield y Giacobbi, 2004) para determinar si la magnitud del coeficiente era mayor que el umbral mínimo aceptable para concluir sobre la validez de contenido de los ítems. La función de los expertos fue proporcionar sugerencias para mejorar el instrumento, las cuales se presentan en la tabla 1, principalmente en relación con la redacción de los ítems.
Posteriormente, se realizó una segunda aplicación del instrumento a un grupo piloto compuesto por 7 alumnos y 6 profesores para evaluar la comprensión de las instrucciones, ítems y descriptores. Estos aspectos se evaluaron mediante el cuestionario de satisfacción con el instrumento (CIFE, 2018). Para estimar la confiabilidad, se utilizó el coeficiente alfa de Cronbach, según Cervantes (2005) y Quero (2010). En el caso del grupo de alumnos, el coeficiente fue de 0.934, mientras que para los profesores fue de 0.927.
En este estudio, se llevó a cabo una evaluación con el objetivo de mejorar la redacción del instrumento, sustituyendo términos complejos por otros más sencillos que fueran comprensibles para estudiantes y profesores. Asimismo, se buscó reorientar las dimensiones del instrumento hacia el proyecto de investigación académica en el bachillerato, siguiendo las sugerencias recibidas. La revisión realizada por los jueces expertos fue fundamental para mejorar el instrumento, especialmente en cuanto a la pertinencia y redacción de cada uno de los ítems.
En relación con la pertinencia, se realizaron mejoras en el segundo y noveno ítem. El ítem dos se enfocó en la elaboración de la portada de acuerdo con las normas APA, y se definieron los niveles relacionados con la portada como parte del proceso de investigación. En el ítem nueve, se mejoró la descripción cambiando “Referencias” por “Fuentes” y se aseguró el uso correcto del formato APA 6.ª edición.
En términos de redacción, los expertos consideraron que se debían hacer mejoras en la mayoría de los ítems, como se muestra en la tabla. Por ejemplo, en el ítem uno se hizo referencia de manera más clara a las fuentes consultadas. En los ítems tres y cuatro se mejoraron los descriptores y el uso de verbos de la taxonomía socioformativa en cada uno de los niveles. En el ítem cinco, se cambió “Metodología” por “Fases del proyecto” y se clasificó la dimensión que se pretendía evaluar, de modo que los descriptores reflejaran las características del texto. En el ítem seis, se remplazó “Administración” por “Recursos” para precisar la evidencia que se pretendía evaluar en cada uno de los descriptores. En los ítems siete y ocho se mejoraron los descriptores. En el ítem diez se mejora la congruencia de los descriptores. En el ítem once, se cambió “Anexos” por “Redacción y ortografía”, y se revisó la congruencia de los descriptores y verbos utilizados. En el ítem 12, se modificaron los porcentajes para los niveles y se mejoraron la redacción y el manejo de los verbos en los descriptores.
La validez de contenido de la rúbrica analítica se evaluó mediante la prueba V de Aiken. El análisis de la evaluación en términos de pertinencia y redacción permitió verificar la validez de contenido para la mayoría de los ítems y descriptores propuestos (V de Aiken > 0.80). Sin embargo, se observó que el ítem dos (Portada) y el ítem nueve (Referencias) no alcanzaron valores adecuados en la V de Aiken. En este sentido, los jueces expertos realizaron las siguientes observaciones para el ítem dos: mayor pertinencia en la relación de la portada con la investigación y dirigir su elaboración de acuerdo con las normas de redacción del estilo APA. En cuanto al ítem nueve, se sugirió revisar la congruencia de los descriptores y el uso correcto de los verbos, además de considerar el nivel muy alto como el 100 % al utilizar el formato APA 6.ª edición.
Después del proceso de revisión de expertos, aplicación de la prueba piloto y juicio de expertos, se presentó la versión final del instrumento denominado “Rúbrica para evaluar proyectos de investigación académica”.
Resultados
El estudio tuvo como objetivo desarrollar un instrumento de evaluación para proyectos de investigación académica en el nivel medio superior (bachillerato). A partir de la revisión de expertos (Tabla 2), la aplicación de una prueba piloto y el juicio de expertos (Tabla 3), se generó una rúbrica analítica para evaluar (Tabla 4) el desempeño de los estudiantes en proyectos de investigación.
Como ya se mencionó con anterioridad, los expertos que revisaron la rúbrica propusieron ajustes, evidenciando (Cuadro 3) que la mayoría de los elementos poseen valores de V de Aiken superiores a 0.80. Se modificaron dos elementos para mejorar su pertinencia y redacción. Al aplicar la prueba a estudiantes y profesores, se obtuvieron altos coeficientes de confiabilidad alfa de Cronbach: 0.934 y 0.927, respectivamente. En resumen, los componentes de la rúbrica son pertinentes para evaluar proyectos de investigación. Su desarrollo y validación aseguran una herramienta efectiva para medir y valorar el rendimiento académico de los estudiantes en el nivel de bachillerato.
Esto implicó una evaluación integral que validara el saber conocer, saber hacer, saber convivir y saber ser.
En este sentido, la elaboración de rúbricas (Tabla 4) fue propuesta como una innovación pedagógica que permitía a los estudiantes medir sus desempeños y mejorar la forma en que elaboran proyectos de investigación académica.
En la educación mexicana, se plantea la necesidad de dar mayor relevancia a los proyectos de investigación en el nivel medio superior (bachillerato) y no quedarse solo en el conocimiento teórico, sino fomentar la práctica investigativa. En cuanto a la confiabilidad del instrumento, se utilizó el coeficiente alfa de Cronbach como medida de consistencia interna.
Discusión
Es importante mencionar que Parra et al. (2015) determinaron la importancia de promover el desarrollo de competencias sustentables en los alumnos, profesores y directivos para resolver problemas en contextos sociales y generar alternativas de solución mediante proyectos de innovación e investigación. En tal sentido, la rúbrica se plantea como una herramienta para establecer las condiciones que deben cumplir las tareas y las normas de puntuación de forma clara, lo cual sirve para unificar los criterios de evaluación de los trabajos de los estudiantes tal como Sánchez et al. (2016) lo mencionaran en su momento. Además, se buscó medir el nivel de desempeño y competencias alcanzados por los alumnos en el desarrollo de proyectos de investigación académica, lo que coindice con lo señalado por Gatica Lara y Uribarren-Berrueta (2012).
La evaluación se considera fundamental para obtener evidencias sobre los aprendizajes (Martínez, 2016). Por ende, la rúbrica analítica diseñada en el estudio permite valorar el desempeño de los alumnos de manera integral e identificar el nivel y la forma en que pueden mejorar su dominio en diferentes aspectos del proyecto de investigación. También se destaca lo que atinadamente mencionan Gatica Lara y Uribarren-Berrueta (2012) sobre la importancia de que los propios estudiantes realicen una autoevaluación para reconocer sus fortalezas y debilidades y mejorar sus desempeños
Al respecto, se encuentran similitudes con Arenas y Gómez (2013) sobre la evaluación, ya que esta debería centrarse en supervisar el desempeño de los estudiantes frente a metas planteadas, las cuales tendrían que estar relacionadas con problemáticas del contexto en el que viven para poner a prueba conocimientos, habilidades, destrezas y valores.
Por otra parte, se seleccionaron expertos con experiencia y trayectoria en el área para asegurar la pertinencia del instrumento y realizar modificaciones necesarias (Garrote y Del Carmen, 2015), estrategia adecuada para evaluar materiales de enseñanza y garantizar la calidad de contenido (Barroso y Cabero, 2013). En tal sentido, se establece que un valor igual o superior a 0.80 indica un buen grado de consistencia interna en el instrumento (Ledesma, 2004), por lo que se puede afirmar que el instrumento desarrollado es pertinente para evaluar proyectos de investigación realizados por alumnos de bachillerato y diagnosticar el nivel de logro alcanzado en la asignatura de metodología de la investigación. Sin embargo, se destaca la importancia de revisar y mejorar las preguntas y opciones de respuesta para lograr una alta validez y confiabilidad en los instrumentos de evaluación (Sáiz Manzanares y Bol Arreba, 2014).
Conclusión
El presente estudio permitió desarrollar una rúbrica analítica para evaluar proyectos de investigación académica en el nivel medio superior. Además, se diseñó un instrumento para valorar proyectos de investigación académicos elaborados por alumnos de bachillerato en la asignatura de Metodología de la Investigación, de acuerdo con el enfoque socioformativo contemplado en la reforma educativa, lo cual sirve para promover competencias sustentables, realizar evaluaciones integrales y proporcionar retroalimentación a los estudiantes. Asimismo, se destaca la necesidad de dar mayor relevancia a los proyectos de investigación en el bachillerato y la importancia de contar con instrumentos confiables y válidos para evaluarlos.
Futuras líneas de investigación
Las líneas futuras en la evaluación de proyectos académicos de investigación en el bachillerato, con un enfoque en el desarrollo de una rúbrica integral, puede abordar una serie de áreas importantes desde la validación y mejora de rúbricas. Esto permitirá facilitar la recopilación de datos empíricos sobre la efectividad de las rúbricas en la evaluación de proyectos y la identificación de áreas de oportunidad en las que puedan mejorarse.
Aunado a ello, se puede indagar en un nuevo desarrollo de rúbricas personalizadas que se adapten a las necesidades y objetivos específicos de cada proyecto de investigación. Esto puede implicar el desarrollo de herramientas y enfoques que permitan a los educadores crear rúbricas a medida para sus estudiantes.
Por otro lado, esta investigación permite desarrollar y establecer indicadores para evaluar competencias transversales, como el pensamiento crítico, la comunicación efectiva, la resolución de problemas y la creatividad, las cuales son cada vez más importantes en la educación actual. Por ello, se puede incluir la tecnología para facilitar la exploración y la evaluación de proyectos académicos de investigación en el bachillerato y el desarrollo de aplicaciones o plataformas en línea que permiten a los estudiantes presentar sus proyectos a los evaluadores utilizando rúbricas de manera más eficiente.
Al abordar la evaluación de proyectos académicos de investigación en el bachillerato se impactará en el éxito académico y profesional de los estudiantes a largo plazo. Esto, de hecho, puede incluir el seguimiento de egresados para medir su desempeño en la educación superior y en sus carreras. Por lo tanto, se pueden diseñar de manera inclusiva para acomodar diferentes estilos de aprendizaje, habilidades y antecedentes de los estudiantes, lo que también puede promover la equidad y la calidad en la evaluación.
Resumen
Introducción
Metas establecidas
Metodología
Resultados
Discusión
Conclusión
Futuras líneas de investigación