Resultados relativos a la validación del procedimiento de evaluación.
Estructuras conceptuales
Como se mencionó en el aparado de .Instrumentos., la evaluación de las estructuras de conocimiento se realiza mediante el Pathfinder, un procedimiento relativamente nuevo, y muy utilizado para la medida de la organización del conocimiento, desarrollado por Schvaneveldt (1990), que calcula principalmente 2 índices sobre la estructura conceptual y organización conceptual, la medida de coherencia (COH) y la de similitud (SIM) conceptual con el experto, en dos ocasiones distintas, antes y después de la tarea de aprendizaje.
Se emplearon dos acercamientos distintos a la validación de estas medidas; el cálculo de la diferencia entre los valores de cada uno de los índices antes y después del proceso de enseñanza-aprendizaje, por una parte. Y por otra, la correlación entre los índices, y de éstos con el rendimiento final obtenido en la prueba de conocimientos, antes y después del aprendizaje.
Podemos ver los estadísticos descriptivos y los resultados de la prueba t de diferencia de medias para grupos dependientes o correlacionados, para cada una de las medidas de coherencia y similitud, antes y después del proceso de enseñanza-aprendizaje.
Estadísticos descriptivos y resultados de la prueba t, relativos a las medidas de coherencia y similitud, antes y después del proceso de enseñanza-aprendizaje.
COHERENCIA SIMILITUD
Como podemos ver, la medida de coherencia de la estructura conceptual cambia ligeramente desde el inicio al final de la instrucción. Este cambio, que llega a ser estadísticamente significativo, va en el sentido contrario al esperado, ya que el valor del índice de coherencia disminuye ligeramente desde el inicio al final de la instrucción, siendo esperable que experimentase un aumento conforme mejora la organización del conocimiento adquirido. En la explicación de este hecho, hay que tener en cuenta que el índice de coherencia es una medida cuantitativa del grado de consistencia con que se evalúa la relación entre conceptos, más que del grado de adecuación de las relaciones establecidas entre estos conceptos. El valor medio del índice de coherencia antes de comenzar la instrucción es considerablemente más alto de lo esperado, .49, lo que indica que los participantes en el estudio imponen, incluso antes de comenzar la instrucción, un elevado grado de coherencia a las relaciones entre conceptos; sin embargo falta por ver si esta coherencia es la adecuada o no. El análisis de las relaciones entre el índice de coherencia antes y después de la instrucción con otros índices y con el criterio puede aclarar, al menos en parte, los resultados encontrados.
En cuanto al índice de similitud de la estructura conceptual de cada uno de los participantes con el profesor (experto), los resultados ponen de manifiesto que se produce un cambio altamente significativo (t(109) = -6.71, p = .000) desde el inicio al final de la instrucción, hacia valores más altos.
Los resultados del análisis de correlación lineal entre los índices de coherencia y similitud, estimados antes y después del proceso de enseñanza-aprendizaje, así como la relación de estos índices con el criterio de rendimiento.
Como podemos observar, el índice de coherencia antes de la instrucción (COHER1) muestra relaciones bajas con el índice de similitud, tanto antes como después de la instrucción, con el criterio de rendimiento (NOTATOT), y con el propio índice de coherencia después de la instrucción (COHER2). Sin embargo, el índice de coherencia estimado después de la instrucción muestra relaciones significativas con la nota obtenida al final del proceso de enseñanza-aprendizaje (r = .2916).
ORGANIZACIÓN
Estos resultados vienen a apoyar la idea de que una mayor coherencia no es garantía de una organización más adecuada de las estructuras conceptuales, y que por tanto, el índice de coherencia aunque indicativo de una mayor organización no garantiza que esta organización sea la más adecuada. En nuestros datos, un índice de coherencia ligeramente menor, obtenido después del proceso de enseñanza-aprendizaje está más relacionado con el resultado final de aprendizaje y con la similitud entre las estructuras conceptuales del experto y de cada uno de los estudiantes, que un índice mayor obtenido antes de la instrucción. Se puede ser coherente en el establecimiento de las relaciones entre conceptos, lo cual indica, a lo sumo, que se está realizando la tarea de forma fiable, pero esto no indica que se establezcan las relaciones adecuadas o al menos aquellas relaciones que son similares a las del experto, y que son además las que muestran mayores relaciones con el criterio del rendimiento al final del proceso instruccional.
Los resultados relativos a la validación del procedimiento de evaluación se refieren a la evidencia recopilada para demostrar que el proceso de evaluación utilizado es válido y confiable para medir lo que se supone que debe medir. La validación de un procedimiento de evaluación es un aspecto crítico en la investigación y la toma de decisiones basadas en datos. Aquí hay algunos elementos clave que se deben considerar en la validación de un procedimiento de evaluación:
- Validación de Contenido: Se refiere a la evaluación de si el procedimiento de evaluación abarca adecuadamente los aspectos que se pretende medir. Esto implica revisar y evaluar el contenido del procedimiento, ya sea un cuestionario, una prueba, una encuesta u otro instrumento, para asegurarse de que sea representativo y completo en relación con el constructo que se está midiendo. Se pueden utilizar expertos en el campo para evaluar el contenido.
- Confiabilidad: La confiabilidad se refiere a la consistencia y estabilidad de las medidas obtenidas a través del procedimiento de evaluación. Se utilizan estadísticas como el coeficiente alfa de Cronbach o el coeficiente de correlación intraclase para evaluar la confiabilidad. Un procedimiento confiable produce resultados consistentes cuando se aplica repetidamente a la misma población o grupo de sujetos.
- Validez de Criterio: La validez de criterio se refiere a la evaluación de si el procedimiento de evaluación se correlaciona adecuadamente con un criterio externo considerado válido. Esto implica comparar los resultados del procedimiento con alguna medida o indicador externo que se considere una medida válida del constructo que se está evaluando.
- Validez de Constructo: La validez de constructo se refiere a la evidencia de que el procedimiento de evaluación está midiendo el constructo teórico que se supone que debe medir. Se puede evaluar mediante técnicas como el análisis factorial y la comparación con teorías existentes.
- Validez de Contenido Concurrente: La validez de contenido concurrente se refiere a la evaluación de si el procedimiento de evaluación se correlaciona adecuadamente con otras medidas que miden el mismo constructo. Esto implica comparar los resultados del procedimiento con otras medidas similares para verificar si están relacionados de manera consistente.
- Validez de Contenido Predictiva: La validez de contenido predictiva se refiere a la capacidad del procedimiento de evaluación para predecir resultados futuros en relación con el constructo evaluado. Por ejemplo, si se utiliza un examen de admisión para predecir el rendimiento académico futuro de los estudiantes.
- Validez Ecológica: La validez ecológica se refiere a la relevancia y aplicabilidad del procedimiento de evaluación en situaciones del mundo real. Se evalúa si las medidas obtenidas tienen relevancia y utilidad en el contexto en el que se utilizarán.
- Análisis de Sesgo y Equidad: Es importante analizar si el procedimiento de evaluación es justo y equitativo para todos los grupos de personas que serán evaluadas. Esto implica verificar si existe sesgo en las preguntas o en la forma en que se administra la evaluación.
Los resultados de la validación del procedimiento de evaluación proporcionan evidencia de que el instrumento es adecuado y apropiado para su propósito previsto. Estos resultados respaldan la confiabilidad y validez del procedimiento, lo que aumenta la confianza en las conclusiones que se derivan de las mediciones realizadas.
Editorial Luis Bonilla. Expertos en enseñanza, formación a distancia, tutores cualificados y con variedad de cursos online.