Estado de la cuestión
Estudios
En este apartado se recogen un conjunto de estudios (Shachar & Neumann, 2010; U.S. Department of Education, 2010; Mentzer, Cryan & Teclehaimanot, 2007; Carey, 2001; Cabero, 2008) realizados entre 1990 y 2009 que de alguna forma están relacionados con el que aquí se describe porque tratan de comparar los resultados obtenidos en la formación presencial y online, y, por tanto, facilitan la contextualización del mismo y de las conclusiones que de él se derivan. Introducción a la técnica del meta-análisis En los estudios seleccionados se utilizan técnicas estadísticas y más concretamente, varios de ellos, técnicas de meta-análisis. El meta-análisis es un conjunto de procedimientos estadísticos diseñados para acumular, sintetizar e integrar resultados experimentales y descriptivos procedentes de estudios independientes que abordan cuestiones de investigación relacionadas.
Esto permite una comparación de los resultados obtenidos en los diferentes estudios y, finalmente, su integración cuantitativa. El término meta-análisis lo acuña Glass (1977) con el objetivo de mejorar las técnicas de síntesis de investigación anteriores. Para este autor (Glass ,1977, p3) “el meta-análisis se refiere al análisis de análisis….. el análisis procedente de un conjunto de resultados derivados de estudios individuales con el propósito de integrarlos”. Otro término relacionado es la magnitud del efecto que es “el grado en el cual el fenómeno está presente en la población, o el grado en el cual la hipótesis nula es falsa”. (Cohen, 1988, pp.9-10). “ “ Se recoge un conjunto de estudios realizados entre 1990 y 2009 22 Para realizar un meta-análisis es necesario determinar cuál es la magnitud del efecto en cada uno de los estudios, promediarlo y establecer si la variabilidad existente entre las magnitudes del efecto de los diferentes estudios puede explicarse en términos de covariabilidad con las características de estos.
Magnitud
La magnitud del efecto “proporciona una medida estándar, un índice que hace directamente comparables los resultados de estudios diferentes” (Vázquez, 1990, p.268). Para calcular la magnitud del efecto existen muchas técnicas. Una de las más utilizadas es el denominado Índice de Cohen, que es la diferencia existente entre las medias estandarizadas del grupo de tratamiento y el grupo de control. Se calcula dividiendo la diferencia de las medias de los dos grupos por la desviación típica media o bien entre la desviación típica del grupo de control. Para realizar un meta-análisis se desarrolla un trabajo en tres etapas:
1. Búsqueda de estudios previos sobre el tema objeto de la investigación. Se deben establecer criterios para decidir si se incluye el estudio o no. Los estudios seleccionados para el meta-análisis se convierten en la base de datos para el posterior análisis.
2. Cálculo de la magnitud del efecto individual para cada estudio.
3. Promedio de las magnitudes del efecto de todos los estudios con los que se ha trabajado. Este promedio indica la magnitud de la diferencia.
Como señala Vázquez (1990, p.279) “el meta-análisis permite establecer hechos procedentes de numerosas investigaciones heterogéneas. Una de sus principales ventajas es favorecer la acumulación de conocimientos empíricos, paso imprescindible para construir teorías. Esta técnica permite determinar la existencia o no de un efecto determinado, o la coherencia (o falta de ella) de los resultados acumulados en una línea de investigación. Por tanto, se trata de una técnica importante para el desarrollo científico y la construcción de teorías, o bien la modificación de teorías existentes”. Según este autor (Vázquez, 1990, p.281) “la investigación meta-analítica es un modo legítimo de avance científico y no menos relevante que la investigación tradicional”. 23 2.2 Análisis de estudios relacionados a Twenty Years of Research on the Academic Performance Differences between Traditional and Distance Learning: Summative Meta-Analysis and Trend Examination (Shachar y Neumann, 2010) Durante la última década del siglo XX y la primera del siglo XXI han acontecido cambios drásticos en todos los aspectos de la vida debido a la proliferación de las telecomunicaciones, pero especialmente a Internet.
Aplicaciones
De ahí que hayan surgido métodos innovadores con aplicaciones docentes, lo que produce una sustitución, a veces, o un complemento de la clase tradicional o clase presencial (Face-to-Face, FTF) con nuevos métodos y plataformas que facilitan la Educación a Distancia (ED) gracias a la tecnología, es decir, eLearning. Existen muchas mediciones realizadas sobre ambos métodos (FTF y ED), pero ninguna de ellas permite extraer conclusiones sobre la efectividad o no de los mismos, a excepción de las técnicas estadísticas de meta-análisis. Así, este estudio se basa, mediante técnicas de meta-análisis, en los estudios previos (Shachar, 2002; Shachar & Newmann, 2003; Bernard et al., 2004; U.S. Department of Education Report, 2010). En este estudio se plantean los siguientes objetivos:
• Analizar las diferencias en cuanto al rendimiento académico de ambas modalidades formativas durante los 20 años del periodo de análisis.
• Identifi car distintos periodos en las dos décadas de análisis.
• Examinar la tendencia, durante diferentes periodos educacionales, en el rendimiento académico, que es para el presente estudio la variable dependiente.
Asimismo, se obtienen las siguientes conclusiones de la investigación:
• Los estudios concluyen que la ED no solo es comparable con la FTF, sino que además puede ofrecer mejores resultados.
• Se identifi can cuatro periodos en las dos décadas del análisis: » Período I: de 1991 a 1998. » Período II: de 1999 a 2000. 24 » Período III: de 2001 a 2002. » Período IV: de 2003 a 2009.
• El porcentaje de estudios con un valor positivo de la magnitud del efecto respecto al total de estudios por período, demuestra un continuo crecimiento, pasando del 63% en el período I al 84% en el período IV.
• Se trata de un estudio muy robusto (con un gran tamaño de la muestra).
• Al representar en una gráfi ca las magnitudes del efecto en los cuatro períodos, se obtiene una curva en forma de U con un punto de peor resultado en el período 1999–2000, período que constituye el punto de infl exión, tal y como puede observarse en la Figura 2: Figura 2. Tendencia de la magnitud del efecto (g) a través de los diferentes períodos (Leyenda: Período 1: 1991-1998; Periodo 2: 1999-2000; Período 3: 2001-2002; Período 4: 2003-2009) (Shachar y Neumann, 2010).
Factores
Este hecho requiere un análisis de los posibles factores pedagógicos y educacionales que afectan a este período. Uno de estos factores es que en el primer y segundo período los libros de texto tradicionales simplemente se transforman en CDs o en contenidos en web, mientras que en el tercer y cuarto período surgen aplicaciones software mejoradas que además requieren la interacción del estudiante. La evolución de los contenidos supone una mejora en los resultados.
• Los programas formativos tradicionales sufren daños irreparables durante los períodos de recesión económica.
• A través de este estudio queda demostrado que la probabilidad experimental de obtener mejores resultados en el rendimiento académico es mayor en un entorno online que en un entorno FTF tradicional. Esta probabilidad aumenta a lo largo del tiempo.
Como líneas futuras de investigación, sería interesante examinar, por un lado, la infl uencia de las decisiones de políticos y agencias reguladoras en relación con la ED, y por otro, la investigación de la ED a través de medios temáticos y de diferentes métodos (síncronos / asíncronos / blended).
• El paradigma de la superioridad de la modalidad FTF tradicional respecto a la alternativa ED ha sido negado con éxito.
Sin embargo, la ED no es aún tratada como una modalidad formativa de calidad en educación superior. b A Meta-analysis and review of on-line learning studies (U.S. Department of Education, 2010) Este estudio reúne un conjunto de 150 estudios empíricos sobre enseñanza online realizados entre 1996 y 2008 que fueron seleccionados de una muestra de más de 1.000 al cumplir que:
• Comparan metodología online con metodología Face-to-Face.
• Miden los resultados académicos de los estudiantes.
• Utilizan un método de investigación riguroso.
• Proporcionan información adecuada para calcular la magnitud del efecto.
Como principales conclusiones de este estudio se pueden citar: • Aquellos estudiantes que reciben todas o parte de sus clases con metodología online obtienen mejores resultados académicos que quienes reciben el mismo curso íntegramente a través de clases presenciales (FTF).
Clases
Los resultados de 26 los discentes de los cursos online son superiores a los de clases FTF con una magnitud del efecto de +0.24. La diferencia media entre los resultados obtenidos mediante ambas metodologías es estadísticamente signifi cativa al nivel p<.011 .
• Tanto la metodología blended (combinación online-FTF) como la metodología online pura proporcionan mejores resultados que la metodología FTF. Si se comparan los datos obtenidos, el estudio revela que la metodología blended es más efi caz que la metodología online pura. Prueba de ello es que en el primer caso (comparación metodología blended con FTF) la magnitud de efecto es +0.35, p<.001 y en el segundo caso (comparación metodología online pura con FTF) la magnitud de efecto es +0.14, p<.05.
• Existen muy pocos estudios rigurosos publicados sobre la efectividad de la metodología online para los estudiantes de educación primaria y secundaria. Tras una búsqueda sistemática, solo se encuentran cinco estudios experimentales o cuasi-experimentales que compararan los efectos de la metodología online respecto al FTF en estudiantes de dichos niveles formativos.
Por tanto, no es posible generalizar para este tipo de estudiantes. c A comparison of Face-To-Face and Web-based Classrooms (Mentzer, Cryan, &Teclehaimanot, 2007) Este estudio compara los resultados académicos y la satisfacción de los participantes en un curso online y otro FTF. Utiliza un método cuasi-experimental, de forma que los estudiantes se designan aleatoriamente y las dos versiones del curso son impartidas por el mismo instructor. La comparación de los resultados académicos se realiza a través de sus califi caciones fi nales. Para medir la satisfacción y la percepción de los participantes en cuanto a su interacción con el profesor, los estudiantes de ambos grupos son evaluados con idénticos métodos al fi nal de cada semestre.
Dato imparcial
Además, para proporcionar un dato imparcial, se utiliza un instrumento de análisis basado en la técnica de N. Flanders (Flanders’ Interaction Analysis System – FIAS-, 1970)2 . 1 El nivel p representa la probabilidad de que un efecto de esta magnitud o superior sea obtenida por casualidad si las dos poblaciones comparadas no difi eren. Es decir, un nivel de p menor que .05 indica que existe menos de una posibilidad entre 20 de encontrar una diferencia en la magnitud observada para muestras obtenidas de poblaciones que no difi eren. 2 Técnica de Flanders (1970) o Flanders’ Interaction Analysis System (FIAS), consiste en la aplicación de un instrumento de análisis en la interacción profesor-alumno. Este instrumento recoge dicha interacción en torno a diez categorías de comportamiento (siete sobre la conducta del docente, dos sobre el alumno y una neutra sobre momentos de silencio o confusión durante la enseñanza).
Se trata de expresar los posibles acontecimientos que suceden en el aula durante el desarrollo de una sesión de clase. 27 Los resultados de este estudio muestran diferencias en cuanto a la percepción y satisfacción de los estudiantes, entre otras cuestiones, porque la interacción del profesor con los discentes es menor en el curso online que en el FTF. Sin embargo, las calificaciones finales, basadas en las puntuaciones obtenidas en los exámenes, pueden considerarse similares en ambos grupos. Las valoraciones realizadas por los estudiantes sobre el curso y el instructor también son diferentes. Los participantes del curso online lo valoran peor que los del curso FTF, a pesar de que las calificaciones de los dos grupos están por encima del aprobado. La principal limitación de esta investigación es que la muestra es muy pequeña y la diferencia más notable, respecto a estudios anteriores, que la designación de participantes a uno u otro grupo se realiza de manera aleatoria. d Effective Student Outcomes: A Comparison of Online and Face-to-Face Delivery Modes (Carey, 2001)
Estudios
Un gran número de estudios han concluido que no existen diferencias significativas en cuanto a resultados entre la formación online y FTF (Face-to-Face) (Russell, 1999; Barry and Runyan, 1995; Cheng, Lehman, and Armstrong, 1991; Martin and Rainey, 1993; Moore et al., 1990). En abril de 1999, el Institute for Higher Education Policy presenta a la Federación Americana de Maestros y a la Asociación Nacional de Educación, un informe sobre la eficacia de la enseñanza a distancia en Educación Superior (IHEP, 1999). Para comparar los resultados académicos de la formación online y la FTF, en este estudio se realiza, durante dos semestres, un test de conocimientos previos y otro de conocimientos posteriores, idénticos en ambas modalidades. A continuación, se analiza la puntuación de mejora (diferencia entre el test inicial y el final) que en un rango de 0 a 13 puntos, es +4,84 puntos en la versión online y +6,47 puntos en la versión FTF. Esta diferencia no es significativa estadísticamente (p = 0,271).
En cuanto a la calificación del test de conocimientos posteriores, la calificación media en el curso online es 8,02 y en la versión FTF 7,78. Estas calificaciones no difieren estadísticamente (p = 0,803). También se realiza un test de satisfacción en ambos grupos, cuyo rango de puntuación está definido entre 1 (muy insatisfecho) y 5 (muy satisfecho). La media de la puntuación en el curso online es de 4.0 y la del FTF es 4.39, de lo que se deduce que los estudiantes de la metodología FTF están más satisfechos. Esta diferencia no es significativa estadísticamente (p = 0,893). 28 Respecto al estilo de aprendizaje, se detecta que los estudiantes con el estilo de experimentación activa (Kolb, 1984) que se basa en la puesta en práctica de las implicaciones de los conceptos en situaciones nuevas y aprender haciendo, obtienen mejores resultados académicos tanto en la modalidad online como en la FTF.
Tasa de abandono
Otro aspecto importante de este estudio es que analiza la tasa de abandono. Para ello, un mismo instructor imparte el mismo curso siete veces en la modalidad online y otras siete en la modalidad FTF, entre 1996 y 1999. En la versión online se producen 44 abandonos de 594 participantes (un 7,4%) y en la versión FTF 7 abandonos de 252 participantes (un 2,8%). Los estudiantes de la modalidad FTF desarrollan una relación más personal con el instructor, lo que unido a una mayor preocupación por parte del docente, puede explicar la menor tasa de abandono en la modalidad FTF. Como principales conclusiones de este estudio se pueden citar:
• De los cientos de artículos escritos sobre la educación a distancia, solo un pequeño porcentaje contienen datos cuantitativos sobre la investigación en la que se basan.
• La mayor parte de los estudios cuantitativos concluyen que no hay diferencias significativas entre la formación online y convencional respecto a los resultados de aprendizaje.
• La mayoría de estos estudios son metodológicamente defectuosos en uno o más de los siguientes aspectos: » No hay ningún intento de controlar las variables extrañas, lo que limita la capacidad de demostrar la causa y el efecto. »
Los estudiantes no son seleccionados al azar, por tanto, la capacidad de generalizar a partir de estos estudios se ve comprometida. » La validez y fiabilidad de los instrumentos utilizados para medir los resultados de los estudiantes y sus actitudes son cuestionables. » Los efectos reactivos (sentimientos de estudiantes y profesores) no se controlan. » Los resultados académicos en los que se basa el informe son válidos para cursos individuales, pero no para programas. » Las diferencias entre los estudiantes no son tenidas en cuenta. » La tasa de abandono de los cursos online no se analiza ni se toma en consideración. 29 » No se tienen en cuenta los diferentes estilos de aprendizaje de los estudiantes en relación con la tecnología. » No hay marcos teóricos o conceptuales defi nidos.
• Es necesaria una investigación posterior para demostrar la relación entre la metodología y el contenido y la relación entre la modalidad de impartición y las características del alumnado. e eLearning: Meta-análisis de investigaciones y resultados alcanzados (Cabero, 2008) Mediante este estudio se persiguen los siguientes objetivos: • Realizar un meta-análisis de aquellas investigaciones, comunicaciones y ponencias, presentadas en congresos sobre tecnología educativa celebrados en España durante los diez años anteriores a este estudio, que han analizado el rendimiento y otras variables de acciones formativas eLearning en el contexto universitario.
• Crear un sistema de análisis categorial para estudiar si existen diferencias entre las investigaciones realizadas durante los diez años anteriores a este estudio, que han analizado el rendimiento y otras variables de acciones formativas eLearning en el contexto universitario. Como principales resultados de este estudio cabe destacar: • Se dispone de un bajo volumen de documentos publicados en lo que se refi ere a la temática de este estudio. La gran mayoría son una refl exión teórica/ conceptual sin llegar a la recogida de información y formulación de hipótesis.
• La falta de investigaciones en esta temática es más signifi cativa en el contexto científi co español.
• La mayoría de los documentos sobre la problemática estudiada se desarrollan en el ámbito universitario. Hay pocas investigaciones en el ámbito empresarial.
• La mayoría de las investigaciones presentan resultados satisfactorios respecto a la incorporación de acciones formativas en la modalidad eLearning.
• Los estudiantes valoran positivamente su participación en acciones formativas online.
• Es necesario potenciar la investigación sobre las consecuencias del eLearning en el rendimiento académico.