Presentación
La pestaña Evaluación define cómo la IA evalúa el desempeño del alumno en un juego de roles con IA. De forma predeterminada, todos los juegos de roles utilizan una rúbrica cualitativa basada en criterios generales de comunicación. Puede sustituirla por una rúbrica personalizada que refleje sus propios estándares.
En este artículo se explica cómo elegir un tipo de rúbrica, configurar una rúbrica cualitativa o cuantitativa, generar criterios con IA, sustituir una rúbrica, asignar revisores y redactar criterios eficaces. También se describe la estructura del informe generado por la IA para cada tipo de rúbrica. Para consultar las demás pestañas, visite Creación y gestión de juegos de roles con IA.
Requisitos y limitaciones
- La IA evalúa únicamente la transcripción de la conversación. Evalúa lo que se ha dicho o escrito, no cómo sonaba o lo que parecía.
- Una rúbrica personalizada puede tener hasta 5 criterios.
- Una rúbrica se activa cuando se publica el juego de roles.
- El panel de configuración solo está disponible en inglés.
- Los revisores solo pueden ver los envíos si la página del juego de roles con IA se añade a su menú de usuario. Consulte la sección Asignación de revisores.
Elección de un tipo de rúbrica
| Tipo de rúbrica | Criterios y resultado | Ideal para |
| Rúbrica predeterminada | Criterios generales de comunicación fijos. El informe muestra comentarios generales, el tono de voz y citas clave. | Comenzar rápidamente y practicar de forma general |
| Rúbrica cualitativa | Hasta 5 criterios propios, cada uno calificado como Bueno o En desarrollo. El informe muestra el resultado de cada criterio, con comentarios escritos y citas. | Coaching y prácticas, cuando los comentarios prácticos importan más que una puntuación |
| Rúbrica cuantitativa | Hasta 5 criterios propios, cada uno puntuado del 1 al 5, con ponderaciones opcionales y una puntuación mínima para aprobar. El informe muestra una puntuación por criterio y una puntuación general, con una etiqueta opcional de Aprobado o No aprobado. | Certificación, control de acceso o cualquier caso que requiera un resultado medible |
Utilice una rúbrica cualitativa cuando el alumno necesite saber en qué debe trabajar. Utilice una rúbrica cuantitativa con una puntuación mínima para aprobar cuando el resultado determine algo, como la preparación para una certificación o el acceso al siguiente paso.
Configuración de la rúbrica
En primer lugar, abra el juego de roles y acceda a la pestaña Evaluación. En la sección de rúbricas, la rúbrica aparece como Predeterminada hasta que la personalice. Haga clic en Crear rúbrica personalizada y, a continuación, elija Rúbrica cualitativa o Rúbrica cuantitativa. Defina sus criterios o haga clic en Generar criterios para que la IA los redacte. Por último, haga clic en Guardar cambios.
La rúbrica se guarda como parte del juego de roles y se activa cuando se publica el juego de roles.
Rúbrica cualitativa
Defina hasta 5 criterios. Cada criterio tiene cuatro campos:
- Nombre del criterio: un nombre breve y específico para la habilidad o el comportamiento, como «Escucha activa» o «Gestión de objeciones».
- Descripción: una o dos frases sobre lo que abarca el criterio. Redáctela como si estuviera dando instrucciones a un revisor nuevo.
- Qué se considera Bueno: comportamientos concretos y observables que indican un desempeño sólido. Puede incluir frases de ejemplo, acciones o elementos obligatorios.
- Qué se considera En desarrollo: comportamientos concretos y observables que indican áreas de mejora.
Para añadir un criterio, haga clic en Añadir criterio en la parte inferior de la lista. Para eliminar uno, haga clic en el icono de puntos suspensivos de la tarjeta del criterio y seleccione Eliminar. Debe quedar al menos un criterio.
Rúbrica cuantitativa
Defina hasta 5 criterios. Cada criterio se puntúa del 1 al 5. Para cada criterio, proporcione un nombre, una descripción y los siguientes tres niveles:
- 5 - Alto: cómo se demuestra el criterio de forma eficaz.
- 3 - Medio: cómo se cumple parcialmente el criterio.
- 1 - Bajo: cómo no se cumple el criterio.
La sección Puntuación tiene dos configuraciones opcionales:
- Usar ponderaciones: cada criterio muestra un campo de ponderación. Las ponderaciones determinan cuánto contribuye cada criterio a la puntuación general. Sin ponderaciones, todos los criterios cuentan por igual.
- Establecer puntuación mínima para aprobar: seleccione la puntuación general mínima, del 1 al 5, que el alumno debe alcanzar para aprobar. El informe del alumno muestra entonces una etiqueta de Aprobado o No aprobado junto a la puntuación general.
Generación de criterios con IA
Ambos tipos de rúbricas admiten criterios generados por IA.
En primer lugar, en la rúbrica, haga clic en Generar criterios. A continuación, en el campo de texto, describa lo que desea que evalúe la rúbrica; por ejemplo: «Evalúe si el alumno gestiona las objeciones sobre el precio reconociendo la inquietud antes de presentar el valor». Si lo desea, suba hasta 3 documentos de referencia, como un manual de ventas, una guía de coaching o un marco de competencias. Cada documento puede ser un archivo PDF o DOCX de hasta 100 MB. No se procesan las imágenes de los documentos. A continuación, haga clic en Continuar. Si la IA necesita más contexto, formulará entre una y tres preguntas aclaratorias. Seleccione una respuesta sugerida o escriba la suya y, a continuación, haga clic en Generar. Por último, revise y edite los criterios generados y haga clic en Guardar cambios.
A tener en cuenta: La descripción, el objetivo, el rol del avatar y el rol del alumno del juego de roles se utilizan como contexto para la generación. Complételos antes de generar los criterios. Los criterios generados sustituyen los existentes y aparece un mensaje de confirmación antes de sobrescribirlos. Los documentos cargados se utilizan únicamente para generar los criterios. No se utilizan posteriormente para evaluar a los alumnos.
Si la IA no puede generar criterios a partir de lo que ha escrito, un mensaje de error explicará el motivo. Modifique la descripción e inténtelo de nuevo, o bien escriba los criterios manualmente. Para obtener consejos sobre cómo redactar la descripción, consulte la sección sobre cómo redactar indicaciones para los criterios generados por IA que aparece más abajo.
Sustitución de una rúbrica
En primer lugar, en el panel de rúbricas, haga clic en Sustituir rúbrica. A continuación, en la ventana, seleccione el otro tipo de rúbrica personalizada (Cualitativa o Cuantitativa) o Restablecer a la predeterminada para utilizar los criterios de evaluación predeterminados. Después, haga clic en Sustituir para confirmar.
A tener en cuenta: Al sustituir una rúbrica se eliminan todos los criterios existentes. Esta acción no se puede deshacer.
Asignación de revisores
Los revisores son usuarios que revisan los envíos de los alumnos y validan la evaluación generada por la IA. De forma predeterminada, no hay revisores asignados.
En la pestaña Configuración, acceda a Envío y revisor y seleccione Asignar revisor. A continuación, elija el tipo de revisor: Grupo, Rama, Usuario o Superior, y seleccione los elementos correspondientes. Puede seleccionar más de un elemento, hasta un máximo de 20.
A tener en cuenta: Cuando se asigna al menos un revisor, el envío pasa a ser obligatorio. Los alumnos deben completar y enviar el juego de roles para que pueda revisarse, y el envío es obligatorio para completar la formación.
Antes de que los revisores puedan ver los envíos, debe añadir la página integrada del juego de roles con IA al menú de usuario que utilizan. Para hacerlo, abra Personalización (icono de formas) en el menú de navegación, haga clic en Menús y añada la página del juego de roles con IA al menú. La página solo es visible para los usuarios que son revisores de al menos un juego de roles. Más información sobre cómo mostrar las páginas y los menús a los usuarios. Si la notificación correspondiente está activa, los revisores recibirán una notificación cuando haya un nuevo envío disponible.
Para consultar la experiencia de los revisores, visite Revisión de envíos de juegos de roles con IA.
El informe generado por la IA
Al final de cada simulación, la IA analiza la transcripción completa, ya sea hablada o escrita, y genera un informe estructurado. La estructura depende del tipo de rúbrica. Para saber qué ven los alumnos y cómo envían un informe, consulte Practicar con juegos de roles con IA y leer su informe.
El informe de la rúbrica predeterminada incluye lo siguiente:
- Comentarios generales con puntos fuertes y áreas de mejora.
- Tono de voz, es decir, el estilo de comunicación inferido de la transcripción: claridad, confianza y energía.
- Citas clave que destacan momentos positivos y negativos.
El informe de la rúbrica cualitativa muestra lo siguiente para cada criterio:
- El resultado: Bueno o En desarrollo.
- Los comportamientos observables en los que se basan los comentarios.
- Citas directas de la conversación como evidencia.
El informe de la rúbrica cuantitativa incluye lo siguiente:
- Una puntuación para cada criterio, como 4 de 5, con una justificación basada en la conversación.
- Una puntuación general: el promedio ponderado de las puntuaciones de los criterios, o un promedio simple si no se utilizan ponderaciones.
- Una etiqueta de Aprobado o No aprobado si se ha establecido una puntuación mínima para aprobar.
- Una explicación de cómo se calculó la puntuación general, incluida la ponderación de cada criterio.
Si la conversación no contiene evidencia suficiente para un criterio, la IA asigna la puntuación mínima (1) y marca la justificación como evidencia insuficiente.
Redacción de criterios de rúbrica eficaces
La calidad de sus criterios determina la calidad de los comentarios. Los criterios precisos producen comentarios específicos y prácticos. Los criterios imprecisos producen comentarios genéricos. En esta sección se resumen las principales recomendaciones. Para consultar el conjunto completo de ejemplos, visite Prácticas recomendadas para las rúbricas personalizadas en los juegos de roles con IA.
La regla de solo la transcripción
La IA lee lo que se dijo, no cómo se dijo. Antes de guardar un criterio, pregúntese: «¿Podría evaluarlo leyendo únicamente la transcripción?». Si la respuesta es sí, el criterio funciona. Si tuviera que escuchar un audio o ver una grabación, no funcionaría.
| Funciona | No funciona |
| Comportamientos específicos, como hacer una pregunta aclaratoria | Forma de hablar: tono de voz, ritmo, pronunciación, volumen |
| Elección de palabras, como un lenguaje de responsabilidad («Me aseguraré de que esto se resuelva») | Lenguaje corporal y presencia: postura, contacto visual, expresiones |
| Listas de comprobación breves de 3 a 5 pasos observables | Recuentos precisos, como el número de interrupciones o la frecuencia de palabras clave |
| Habilidades básicas definidas mediante comportamientos observables, como la escucha activa o la concisión | Proporciones, como el tiempo de intervención o la latencia de respuesta; coincidencia exacta de frases o listas de comprobación con más de 10 elementos; intención oculta, es decir, lo que alguien quiso decir pero no dijo |
Buen ejemplo: «Utiliza un lenguaje de responsabilidad y establece un siguiente paso claro».
Mal ejemplo: «Suena amable y seguro». (No es observable en una transcripción).
Utilice entre 3 y 5 criterios específicos
Utilice la menor cantidad de criterios necesaria para abarcar las habilidades importantes y no más de 5. Los criterios específicos y en menor cantidad funcionan mejor por los siguientes motivos:
- Cada criterio obtiene evidencia más clara en una conversación breve. Con muchos criterios, es posible que la conversación no contenga evidencia suficiente para cada uno.
- Los criterios que se superponen puntúan dos veces el mismo comportamiento, lo que infla o distorsiona el resultado general.
- El alumno puede actuar sobre tres puntos claros. Una lista larga es difícil de priorizar.
Combine los criterios que se superponen. Por ejemplo, «Escucha», «Empatía» y «Reconocimiento de inquietudes» suelen evaluar los mismos comportamientos. Combínelos en un único criterio, «Escucha activa», descrito como «parafrasea, hace preguntas aclaratorias y responde directamente a las inquietudes expresadas». Si tiene un marco extenso, divídalo en 2 o 3 criterios que abarquen cada uno una parte significativa, en lugar de crear un criterio por cada paso.
Describa comportamientos observables
Buen ejemplo: «Nombra el comportamiento observable, describe su impacto y propone un cambio específico».
Mal ejemplo: «Da buenos comentarios». (No indica qué comportamiento se debe buscar).
En los niveles de desempeño, describa qué está presente y qué falta. «Algo bueno» no ayuda a la IA a calibrar la evaluación.
Lenguaje regulado u obligatorio
Si los alumnos deben utilizar o evitar un lenguaje específico, conviértalo en un criterio observable.
Buen ejemplo: Criterio «Divulgación obligatoria». Cómo es un buen desempeño: «Indica que la llamada se está grabando y que el asesoramiento no es una garantía antes de hablar sobre los resultados». Cómo es un desempeño en desarrollo: «Habla sobre los resultados sin hacer la divulgación o promete un resultado».
Mal ejemplo: «Cumple las normativas». (No indica cuál es el lenguaje que cumple las normas).
Incluya también los datos relevantes del ámbito en el Contexto adicional del juego de roles, para que el avatar reaccione correctamente. Obtenga más información en Prácticas recomendadas para redactar juegos de roles con IA.
Elija el tipo de rúbrica según el objetivo
- Cualitativa para coaching y prácticas: el alumno recibe comentarios sobre comportamientos específicos, con citas.
- Cuantitativa con una puntuación mínima para aprobar para certificaciones o controles de acceso: el alumno recibe una puntuación y un resultado de Aprobado o No aprobado. Establezca una puntuación mínima lo suficientemente alta como para reflejar el estándar requerido y utilice ponderaciones si algunos criterios son más importantes que otros.
- Si utiliza una puntuación mínima para aprobar para controlar el progreso, asigne revisores para que una persona pueda validar el resultado.
Redactar indicaciones para criterios generados por IA
- Describa el comportamiento, no solo el tema. Buen ejemplo: «Evalúa si el alumno gestiona las objeciones sobre el precio reconociendo la inquietud antes de explicar el valor». Mal ejemplo: «Habilidades de ventas».
- Priorice. La IA genera hasta 5 criterios. Si su solicitud o sus documentos abarcan más habilidades, indique las 5 más importantes. Buen ejemplo: «Genera criterios basados en nuestro manual de ventas. Céntrate en la identificación de necesidades, la gestión de objeciones, la comunicación del valor, la escucha activa y el cierre».
- Solicite únicamente criterios compatibles. Evite la forma de hablar o el lenguaje corporal.
- Indique a la IA cómo utilizar un documento. Por ejemplo: «Usa nuestros estándares de atención al cliente como base para los criterios». Mantenga los documentos centrados. Si los documentos son extensos, resuma los puntos relevantes en el campo de texto.