Seleccionando Modelos
Análisis de Modelos de Evaluación de RED
Contenidos Educativos Virtuales y su Evaluación en Educación
Los contenidos educativos virtuales actuales no necesariamente están diseñados para una materia específica. En otras palabras, pueden desarrollarse como recursos educativos digitales independientes.
Prueba de ello son los objetos virtuales de aprendizaje (VLO) y recientemente, las cápsulas de contenidos.
Ambos recursos tienen características que los hacen flexibles y autónomos.
Esta independencia nos permite encontrar variedad de repositorios con contenidos multidisciplinares, temáticos o especializados.
Sin embargo, tras una inspección más cercana 🧐 de muchos de estos recursos educativos digitales independientes ubicados en la web, observamos que no siempre están listos para ser utilizados en el aula.
Por eso, quiero invitarte a explorar métodos y herramientas que puedan ayudarte a evaluar su calidad.
Esto es para garantizar que cumplan con los objetivos de aprendizaje que se ha propuesto lograr en un contexto educativo técnico.
MODELOS SELECCIONADOS
MODELO FURPS
Modelo de calidad propuesto por Robert Grady y Hewlett Packard en 1987 la cual desarrolla 5 factores de calidad: Functionality (funcionalidad), Usability (usabilidad), Reliability (confiabilidad), Performance (prestación), Supportability (soporte), de los cuales se deriva su nombre,
Criterios de evaluación.
Requisitos de instalación
Adaptabilidad
Eficacia
Uso de recursos
Productividad
Precisión
Tiempos de respuesta
Métrica o escala de valoración.
Compatibilidad
Capacidad de configuración
Capacidad de prueba
Facilidad de mantenimiento
Grado de previsión
Capacidad de recuperación de fallos
Frecuencia de las fallas
Consistencia de la interfaz- Documentación
Factores estéticos
Factores humanos
Seguridad del sistema
Generalidad de las funciones
Características y capacidades
Metodología.
El modelo FURPS ha sido utilizado para el diseño y validación de interfaces para usuarios finales, evaluando su funcionalidad, usabilidad, confiabilidad, desempeño y soporte, para tener como salida final un producto que cumpla las reglas del negocio (Eeles, 2005), es así que se ha utilizado como un clasificador de requisitos, ayudando a la asignación correcta de requisitos, implementación, y diseño de interfaces; aunque se ha identificado que implica un amplio número de métricas para su desarrollo, concluyendo de esta manera que se debe estimar el tiempo necesario para su implementación (Cifuentes, 2015).
Modelos de calidad Boehm
Es un modelo incremental, dividido en regiones de tareas y estas a su vez en conjuntos de tareas, las cuales se ajustan a la cantidad de iteraciones que el equipo defina, y cada iteración se divide en cuatro sectores: planeación, análisis de riesgo, ingeniería y evaluación (Velazco, 2016).
Criterios de evaluación.
1. Características y sub características de calidad cubiertas.
2. Estructura de los modelos.
3. Propósito del modelo.
4. Separación de elementos internos y externos.
5. Relaciones entre características de calidad.
6. Relación de las métricas con las características de calidad.
7. Clasificación del modelo de calidad (fijo, medida y mixto).
8. Tipo de proyecto al que se aplica.
9. Tipo de calidad que evalúa. (Alena González Reyes, 2015)
Métrica o escala de valoración.
Características de Alto Nivel: representa requerimientos generales de uso.
Según Montagud, Gregori (2009), las características de alto nivel direccionan tres principales preguntas:
-Utilidad: ¿Cómo de bien (facilidad, fiabilidad, eficiencia) puedo utilizarlo?
-Mantenimiento: ¿Cómo de fácil es entender, modificar y probarlo?
-Portabilidad: ¿puedo seguir utilizándolo si cambio de ambiente? (Montagud Gregori, 2009, pág. 47)
Características de Nivel Intermedio: representan los factores de calidad o atributos externos del modelo de Boehm. Entre ellos encontramos: portabilidad, eficiencia, fiabilidad, usabilidad, capacidad de prueba o testeabilidad, comprensibilidad, flexibilidad.
Características Primitivas: es el nivel mas bajo de la jerarquía de las características del modelo, se refiere a características que, asociadas a una o dos métricas de calidad, utiliza indicadores como: independencia, completitud, exactitud, consistencia, eficiencia, accesibilidad, comunicatividad, estructuración, autodescriptividad, concisión, legibilidad, expansividad.
Metodología.
Consiste en evaluar los criterios del proceso de la ingeniería de software para la evaluación de costos (Solemon, 2013), identificando cada uno de los objetivos que se deben cumplir para una aplicación acorde, con el diseño del sistema, siendo útil para la evaluación en los costos del software y viéndose reflejado en las buenas, práctica de estimación.
MODELO ECOBA
ECOBA significa Evaluación de Calidad en los Objetos de Aprendizaje.
Este instrumento fue desarrollado por Ruiz González en el 2007.
Se trata de un sistema de evaluación que permite cotejar el nivel alcanzado por un objeto dentro de una escala, a través de la pertinencia de los contenidos, el diseño estético, funcional e instruccional de los objetos, y el aseguramiento de competencias a través de actividades de evaluación y retroalimentación.
Este método es iterativo, es decir que progresivamente va calculando aproximaciones a la solución de un problema.
Por lo tanto, los Recursos educativos digitales pueden evaluarse y rediseñarse.
Criterios de evaluación.
Formato ECOBA significa Evaluación de Calidad en los Objetos de Aprendizaje. Este instrumento fue desarrollado por Ruiz González en el 2007. Se trata de un sistema de evaluación que permite cotejar el nivel alcanzado por un objeto dentro de una escala, a través de la pertinencia de los contenidos, el diseño estético, funcional e instruccional de los objetos, y el aseguramiento de competencias a través de actividades de evaluación y retroalimentación. Este método es iterativo, es decir, que progresivamente va calculando aproximaciones a la solución de un problema. Por lo tanto, los Recursos educativos digitales pueden evaluarse y rediseñarse .
Métrica o escala de valoración.
se usa valoración 1 a 3, siendo uno el más bajo y tres el puntaje mayor
Metodología.
Este se debe tener en cuenta, aspectos como:
Participación
La herramienta permite alojar los objetos diseñados en un sitio web, para compartirlos con otros usuarios.
La herramienta facilita el trabajo colaborativo.
Es posible compartir los conocimientos adquiridos entre los usuarios que utilizan el Recurso Educativo Digital.
La herramienta permite la participación en comunidades de aprendizaje.
Creación de contenido
es importante considerar aspectos tales como:
Facilita la creación de recursos en los que se puede comparar información, colaborar con otros y evaluar diversas fuentes.
Apoya la generación de materiales haciendo uso de una variedad de fuentes de información.
Posibilita que el usuario cree contenido accesible para todas las personas, incluyendo aquellas con necesidades educativas especiales."
Modelo Lori
Entre las metodologías y rúbricas más citadas se tiene el Instrumento Learning Object Review Instrument (LORI) desarrollado en el año 2002 por académicos investigadores de la Universidad Canadiense Simon Fraser (Nesbit, Belfer y Archambault, 2002) y el instrumento mexicano para la Evaluación de la Calidad de los Objetos de Aprendizaje a través del aseguramiento de competencias educativas ECOBA. (Ruiz, Muñoz y Álvarez, 2007)
LORI-AD puede ser utilizado para revisar un Recurso Educativo antes de liberarlo a un Repositorio o ser compartido con la comunidad académica.
LORI-AD permite a los desarrolladores de RED, considerar los criterios bajo los que serán evaluados para tenerlos en cuenta a la hora de diseñar el recurso.
Trabajar con una asignación de valores 1 y 0 facilita al evaluador indicar si se cumple o no el ítem, y enriquece el resultado.
Se ha aplicado a recursos en preproducción y postproducción, y se han obtenido resultados favorables para el tomador de decisión de hacer correcciones o mejorar un RED previo a ser liberado a un Repositorio Digital de Recursos Educativos.
LORI-AD ha si utilizada por alumnos de educación y profesores, y se han obtenido resultados congruentes en la evaluación del RED.
Criterios de evaluación.
Las nueve dimensiones evaluadas por este instrumento son:
- Calidad de Contenido
- Adecuación de los objetivos de aprendizaje
- Retroalimentación y adaptación
- Motivación
- Diseño de Presentación
- Usabilidad en la interacción
- Accesibilidad
- Reusabilidad
- Cumplimiento de Estándares
Métrica o escala de valoración.
Valoración de 1 a 5 siendo uno el menor puntaje y cinco el mayor Si la variable no es relevante para la evaluación del objeto de aprendizaje o si el evaluador no se siente capacitado para juzgar una variable concreta, entonces puede marcar NA (No Aplica)
Metodología
La herramienta LORI puede utilizarse
individualmente o a través de paneles de
revisión. Si se opta por esto último,
recomendamos el "modelo convergente de
participación para la evaluación colaborativa"
(Nesbit, Belfer y Vargo, 2002). Siguiendo este
modelo hay dos formas de presentar los
resultados: 1) un valor para cada variable, 2)
la media del conjunto de variables
Modelo McCall
Uno de los modelos pioneros en la evaluación de la calidad de software, tiene tres etapas definidas: factores, criterios y métricas. Los once criterios base, son: Exactitud, confiabilidad, eficiencia, integridad, usabilidad, mantenibilidad, testeabilidad, flexibilidad, portabilidad, reusabilidad e interoperabilidad (Khosravi, 2004).
Criterios de evaluación.
OPERACIÓN DEL PRODUCTO Facilidad de uso CRITERIOS
Facilidad de operación: Atributos del software que determinan la facilidad de operación del software.
Facilidad de comunicación: Atributos del software que proporcionan entradas y salidas fácilmente asimilables.
Facilidad de aprendizaje: Atributos del software que facilitan la familiarización inicial del usuario con el software y la transición del modo actual de operación.
Formación: El grado en que el software ayuda para permitir que nuevos usuarios apliquen el sistema.
FACTOR Integridad CRITERIOS :
Control de accesos. Atributos del software que proporcionan control de acceso al software y los datos que maneja.
Facilidad de auditoría: Atributos del software que facilitan la auditoría de los accesos al software.
Seguridad: La disponibilidad de mecanismos que controlen o protejan los programas o los datos.
FACTOR Corrección CRITERIOS:
Completitud: Atributos del software que proporcionan la implementación completa de todas las funciones requeridas.
Consistencia: Atributos del software que proporcionan uniformidad en las técnicas y notaciones de diseño e implementación.
Trazabilidad o rastreabilidad: Atributos del software que proporcionan una traza desde los requisitos a la implementación con respecto a un entorno operativo concreto.
2° EJE OPERACIÓN DEL PRODUCTO.
FACTOR Fiabilidad CRITERIOS :
Precisión: Atributos del software que proporcionan el grado de precisión requerido en los cálculos y los resultados.
Consistencia.
Tolerancia a fallos: Atributos del software que posibilitan la continuidad del funcionamiento bajo condiciones no usuales.
Modularidad: Atributos del software que proporcionan una estructura de módulos altamente independientes.
Simplicidad: Atributos del software que posibilitan la implementación de funciones de la forma más comprensible posible.
Exactitud: La precisión de los cálculos y del control.
FACTOR : EFICIENCIA CRITERIOS:
Eficiencia en ejecución: Atributos del software que minimizan el tiempo de procesamiento.
Eficiencia en almacenamiento: Atributos del software que minimizan el espacio de almacenamiento necesario.
EJE REVISIÓN DEL
PRODUCTO FACTOR : Facilidad de mantenimiento CRITERIOS :
Modularidad.
Simplicidad.
Consistencia.
Concisión: Atributos del software que posibilitan la implementación de una función con la menor cantidad de códigos posible.
Auto descripción: Atributos del software que proporcionan explicaciones sobre la implementación de las funciones.
FACTOR : Facilidad de prueba CRITERIOS :
Modularidad.
Simplicidad.
Auto descripción.
Instrumentación: Atributos del software que posibilitan la observación del comportamiento del software durante su ejecución para facilitar las
mediciones del uso o la identificación de errores
ACTOR: Flexibilidad CRITERIOS: Auto descripción.
Capacidad de expansión: Atributos del software que posibilitan la expansión del software en cuanto a capacidades funcionales y datos.
Generalidad: Atributos del software que proporcionan amplitud a las funciones implementadas.
Modularidad
FACTOR : Reusabilidad CRITERIOS : Auto descripción.
Generalidad.
Modularidad.
Independencia entre sistema y software: Atributos del software que determinan su dependencia del entorno operativo.
Independencia del hardware: Atributos del software que determinan su dependencia del hardware
FACTOR : Interoperabilidad Modularidad.
Compatibilidad de comunicaciones: Atributos del software que posibilitan el uso de protocolos de comunicación e interfaces estándar.
Compatibilidad de datos: Atributos del software que posibilitan el uso representaciones de datos estándar.
Estandarización en los datos: El uso de estructuras de datos y de tipos estándar a lo largo de todo el programa
FACTOR: Portabilidad CRITERIOS Auto descripción.
Modularidad.
Independencia entre sistema y software.
Independencia del hardware
Métrica o escala de valoración.
Metodología.
Modelo Coda
Descripción.
Herramienta COdA COdA, significa Calidad de Objetos de Aprendizaje. Fue desarrollado por Fernández Pampillón, Domínguez Romero y Arma Ranero en el 2012. Consiste en un formulario con diez criterios de calidad, los cuales sirven de guía para la creación y puntuación de recursos educativos digitales.
Está destinado a la valoración y efectividad tanto tecnológica como didáctica. COdA se puede utilizar para guiar la creación de los recursos digitales, también para valorar la efectividad tecnológica y didáctica potencial de los recursos educativos digitales.
Criterios de evaluación.
Carácter Didáctico
- Objetivos y coherencia didáctica
- Calidad de los contenidos
- Capacidad de generar reflexión, crítica e innovación
- Interactividad y adaptabilidad
- Motivación
Carácter Tecnológico
- Formato y Diseño
- Usabilidad
- Accesibilidad
- Reusabilidad
- Interoperabilidad
Está destinado a la valoración y efectividad tanto tecnológica como didáctica. COdA se puede utilizar para guiar la creación de los recursos digitales, también para valorar la efectividad tecnológica y didáctica potencial de los recursos educativos digitales. Los puntajes de los criterios de calidad van desde 1 (mínimo) a 5 (máximo) y una guía de buenas prácticas para orientar la puntuación. Con este modelo de evaluación, tanto el autor del objeto de aprendizaje como los usuarios y posibles revisores externos pueden valorar los recursos educativos digitales. Los cinco primeros criterios son de carácter didáctico, mientras que los otros cinco son tecnológicos, de manera que ambos aspectos tienen el mismo peso. Carácter Didáctico Objetivos y coherencia didáctica Calidad de los contenidos Capacidad de generar reflexión, crítica e innovación Interactividad y adaptabilidad Motivación Carácter Tecnológico Formato y Diseño Usabilidad Accesibilidad.
Métrica o escala de valoración.
Los puntajes de los criterios de calidad van desde 1 (mínimo) a 5 (máximo) y una guía de buenas prácticas para orientar la puntuación.
Reusabilidad Interoperabilidad Cada criterio, a su vez, se desglosa en una serie de sub criterios de cuyo cumplimiento depende la puntuación total obtenida en el mismo. De esta manera se obtiene una evaluación extremadamente precisa que no deja ningún apartado abierto a la interpretación del evaluador.
