Bewertungen, Rubriken und Prüfer in KI-Rollenspielen konfigurieren

Einführung

Auf der Registerkarte Bewertung wird festgelegt, wie die KI die Leistung der Lernenden in einem KI-Rollenspiel bewertet. Standardmäßig verwendet jedes Rollenspiel eine qualitative Rubrik auf Grundlage allgemeiner Kommunikationskriterien. Sie können es durch eine benutzerdefinierte Rubrik ersetzen, das Ihren eigenen Standards entspricht.

In diesem Artikel wird erklärt, wie Sie einen Rubriktyp auswählen, eine qualitative oder quantitative Rubrik konfigurieren, Kriterien mit KI generieren, eine Rubrik ersetzen, Prüfer zuweisen und effektive Kriterien formulieren. Außerdem wird beschrieben, wie der von der KI generierte Bericht für jeden Rubriktyp strukturiert ist. Informationen zu den anderen Registerkarten finden Sie unter Erstellen und Verwalten von KI-Rollenspielen.

Anforderungen und Einschränkungen

• Die KI bewertet nur das Gesprächstranskript. Sie bewertet, was gesagt oder geschrieben wurde, nicht wie es klang oder aussah.
• Eine benutzerdefinierte Rubrik kann bis zu 5 Kriterien enthalten.
• Eine Rubrik wird erst aktiv, wenn Sie das Rollenspiel veröffentlichen.
• Das Konfigurationsfenster ist nur auf Englisch verfügbar.
• Prüfer können eingereichte KI-Rollenspiele nur sehen, wenn die Seite des KI-Rollenspiels zu ihrem Benutzermenü hinzugefügt wurde. Siehe den Abschnitt Prüfer zuweisen.

Einen Rubriktyp auswählen

Verwenden Sie eine qualitative Rubrik, wenn die Lernenden wissen müssen, woran sie arbeiten sollen. Verwenden Sie eine quantitative Rubrik mit einer Mindestpunktzahl zum Bestehen, wenn das Ergebnis über etwas entscheidet, beispielsweise die Zertifizierungsbereitschaft oder den Zugang zum nächsten Schritt.

Die Rubrik konfigurieren

Öffnen Sie zunächst das Rollenspiel und wechseln Sie zur Registerkarte Bewertung. Im Abschnitt zur Rubrik wird Standard angezeigt, bis Sie sie anpassen. Klicken Sie auf Benutzerdefinierte Rubrik erstellen und wählen Sie anschließend Qualitative Rubrik oder Quantitative Rubrik aus. Definieren Sie Ihre Kriterien oder klicken Sie auf Kriterien generieren, damit die KI Entwürfe erstellt. Klicken Sie abschließend auf Änderungen speichern.

Die Rubrik wird als Teil des Rollenspiels gespeichert und wird aktiv, wenn Sie das Rollenspiel veröffentlichen.

Qualitative Rubrik

Definieren Sie bis zu 5 Kriterien. Jedes Kriterium verfügt über vier Felder:

• Kriterienname: ein kurzer, spezifischer Name für die Fähigkeit oder das Verhalten, beispielsweise „Aktives Zuhören“ oder „Umgang mit Einwänden“.
• Beschreibung: ein oder zwei Sätze dazu, was das Kriterium umfasst. Formulieren Sie die Beschreibung so, als würden Sie einen neuen Prüfer einweisen.
• Was als Gut verstanden wird: konkrete, beobachtbare Verhaltensweisen, die auf eine starke Leistung hinweisen. Sie können beispielhafte Formulierungen, Handlungen oder erforderliche Elemente aufnehmen.
• Was als In Entwicklung verstanden wird: konkrete, beobachtbare Verhaltensweisen, die auf Verbesserungsbereiche hinweisen.

Um ein Kriterium hinzuzufügen, klicken Sie am Ende der Liste auf Kriterium hinzufügen. Um ein Kriterium zu löschen, klicken Sie auf das Ellipsenmenü auf der Kriterienkarte und wählen Sie Löschen. Mindestens ein Kriterium muss bestehen bleiben.

Quantitative Rubrik

Definieren Sie bis zu 5 Kriterien. Jedes Kriterium wird mit 1 bis 5 bewertet. Geben Sie für jedes Kriterium einen Kriteriennamen, eine Beschreibung und die folgenden drei Stufen an:

• 5 – Hoch: wie das Kriterium effektiv erfüllt wird.
• 3 – Mittel: wie das Kriterium teilweise erfüllt wird.
• 1 – Niedrig: wie das Kriterium nicht erfüllt wird.

Der Abschnitt Bewertung enthält zwei optionale Einstellungen:

• Gewichtungen verwenden: Für jedes Kriterium wird ein Gewichtungsfeld angezeigt. Gewichtungen bestimmen, wie stark jedes Kriterium zur Gesamtpunktzahl beiträgt. Ohne Gewichtungen zählen alle Kriterien gleich.
• Mindestpunktzahl zum Bestehen festlegen: Wählen Sie die minimale Gesamtpunktzahl zwischen 1 und 5 aus, die ein Lernender erreichen muss, um zu bestehen. Im Bericht des Lernenden wird dann neben der Gesamtpunktzahl die Kennzeichnung Bestanden oder Nicht bestanden angezeigt.

Kriterien mit KI generieren

Beide Rubriktypen unterstützen KI-generierte Kriterien.

Klicken Sie zunächst in der Rubrik auf Kriterien generieren. Beschreiben Sie anschließend im Textfeld, was die Rubrik bewerten soll, beispielsweise: „Bewerte, ob der Lernende mit Einwänden zur Preisgestaltung umgeht, indem er das Anliegen anerkennt, bevor er den Mehrwert erläutert.“ Optional können Sie bis zu 3 Referenzdokumente hochladen, beispielsweise ein Verkaufshandbuch, einen Coaching-Leitfaden oder ein Kompetenzmodell. Jedes Dokument kann eine PDF- oder DOCX-Datei mit einer Größe von bis zu 100 MB sein. Bilder in den Dokumenten werden nicht verarbeitet. Klicken Sie anschließend auf Weiter. Wenn die KI mehr Kontext benötigt, stellt sie ein bis drei klärende Fragen. Wählen Sie eine vorgeschlagene Antwort aus oder geben Sie eine eigene ein und klicken Sie anschließend auf Generieren. Prüfen und bearbeiten Sie abschließend die generierten Kriterien und klicken Sie auf Änderungen speichern.

Bitte beachten: Die Beschreibung, das Ziel, die Avatar-Rolle und die Rolle des Lernenden im Rollenspiel werden als Kontext für die Generierung verwendet. Füllen Sie diese Angaben aus, bevor Sie Kriterien generieren. Generierte Kriterien ersetzen alle vorhandenen Kriterien. Bevor vorhandene Kriterien überschrieben werden, wird eine Bestätigungsaufforderung angezeigt. Hochgeladene Dokumente werden nur zur Generierung der Kriterien verwendet. Sie werden später nicht zur Bewertung von Lernenden verwendet.

Wenn die KI aus Ihren Eingaben keine Kriterien generieren kann, wird in einer Fehlermeldung der Grund erläutert. Überarbeiten Sie Ihre Beschreibung und versuchen Sie es erneut oder formulieren Sie die Kriterien manuell. Tipps zum Verfassen der Beschreibung finden Sie weiter unten im Abschnitt zum Schreiben von Prompts für KI-generierte Kriterien.

Eine Rubrik ersetzen

Klicken Sie zunächst im Bedienfeld der Rubrik auf Rubrik ersetzen. Wählen Sie anschließend im Bedienfeld den anderen benutzerdefinierten Rubriktyp (Qualitativ oder Quantitativ) oder Auf Standard zurücksetzen, um die standardmäßigen Bewertungskriterien zu verwenden. Klicken Sie anschließend zur Bestätigung auf Ersetzen.

Bitte beachten: Beim Ersetzen einer Rubrik werden alle vorhandenen Kriterien gelöscht. Diese Aktion kann nicht rückgängig gemacht werden.

Prüfer zuweisen

Prüfer sind Benutzer, die Einreichungen von Lernenden überprüfen und die von der KI generierte Bewertung validieren. Standardmäßig sind keine Prüfer zugewiesen.

Wechseln Sie auf der Registerkarte Einstellungen zu Einreichung und Prüfer und wählen Sie Prüfer zuweisen aus. Wählen Sie anschließend den Prüfertyp aus: Gruppe, Zweig, Benutzer oder Manager, und wählen Sie die entsprechenden Elemente aus. Sie können mehr als ein Element auswählen, bis zu 20.

Bitte beachten: Sobald mindestens ein Prüfer zugewiesen wurde, ist eine Einreichung erforderlich. Lernende müssen das Rollenspiel abschließen und einreichen, damit es überprüft werden kann. Eine Einreichung ist erforderlich, um die Schulung abzuschließen.

Bevor Prüfer Einreichungen sehen können, müssen Sie die integrierte Seite KI-Rollenspiele zum Benutzermenü hinzufügen, das Ihre Prüfer verwenden. Öffnen Sie dazu im Navigationsmenü Personalisierung (Formen-Symbol), klicken Sie auf Menüs und fügen Sie die Seite des KI-Rollenspiels zum Menü hinzu. Die Seite ist nur für Benutzer sichtbar, die für mindestens ein Rollenspiel als Prüfer eingesetzt sind. Weitere Informationen dazu, wie Seiten und Menüs für Benutzer sichtbar gemacht werden. Wenn die entsprechende Benachrichtigung aktiviert ist, werden Prüfer benachrichtigt, sobald eine neue Einreichung verfügbar ist.

Informationen zur Prüferansicht finden Sie unter Eingereichte KI-Rollenspiele überprüfen.

Der von der KI generierte Bericht

Am Ende jeder Simulation analysiert die KI das vollständige Transkript, unabhängig davon, ob es gesprochen oder geschrieben wurde, und erstellt einen strukturierten Bericht. Die Struktur hängt vom Rubriktyp ab. Informationen dazu, was Lernende sehen und wie sie einen Bericht einreichen, finden Sie unter Mit KI-Rollenspielen üben und den eigenen Bericht lesen.

Der Bericht der Standard-Rubrik enthält Folgendes:

• Eine Gesamtbewertung mit Stärken und Verbesserungsbereichen.
• Den Tonfall, also den aus dem Transkript abgeleiteten Kommunikationsstil: Klarheit, Selbstsicherheit und Energie.
• Wichtige Zitate, die starke und schwache Momente hervorheben.

Der Bericht der qualitativen Rubrik zeigt für jedes Kriterium Folgendes:

• Das Ergebnis: Gut oder In Entwicklung.
• Die beobachtbaren Verhaltensweisen, auf denen das Feedback basiert.
• Direkte Zitate aus dem Gespräch als Belege.

Der Bericht der quantitativen Rubrik enthält Folgendes:

• Eine Punktzahl für jedes Kriterium, beispielsweise 4 von 5, mit einer auf dem Gespräch basierenden Begründung.
• Eine Gesamtpunktzahl: der gewichtete Durchschnitt der Kriterienpunktzahlen oder ein einfacher Durchschnitt, wenn keine Gewichtungen verwendet werden.
• Die Kennzeichnung Bestanden oder Nicht bestanden, wenn eine Mindestpunktzahl zum Bestehen festgelegt wurde.
• Eine Erklärung, wie die Gesamtpunktzahl berechnet wurde, einschließlich der Gewichtung jedes Kriteriums.

Wenn das Gespräch nicht genügend Belege für ein Kriterium enthält, weist die KI die Mindestpunktzahl (1) zu und kennzeichnet die Begründung als unzureichend.

Effektive Kriterien für Rubriken formulieren

Die Qualität Ihrer Kriterien bestimmt die Qualität des Feedbacks. Präzise Kriterien führen zu spezifischem, umsetzbarem Feedback. Vage Kriterien führen zu allgemeinerem Feedback. In diesem Abschnitt werden die wichtigsten Hinweise zusammengefasst. Eine vollständige Sammlung von Beispielen finden Sie unter Bewährte Verfahren für benutzerdefinierte Rubriken in KI-Rollenspielen.

Die Nur-Transkript-Regel

Die KI liest, was gesagt wurde, nicht wie es gesagt wurde. Fragen Sie sich vor dem Speichern eines Kriteriums: „Könnte ich dies allein durch das Lesen des Transkripts bewerten?“ Wenn ja, ist das Kriterium geeignet. Wenn Sie Audio anhören oder eine Aufzeichnung ansehen müssten, ist es nicht geeignet.

Gutes Beispiel: „Verwendet Formulierungen, die Verantwortungsübernahme ausdrücken, und nennt einen klaren nächsten Schritt.“

Schlechtes Beispiel: „Klingt freundlich und selbstsicher.“ (In einem Transkript nicht beobachtbar.)

3 bis 5 fokussierte Kriterien verwenden

Verwenden Sie so wenige Kriterien wie nötig, um die wichtigen Fähigkeiten abzudecken, und nicht mehr als 5. Weniger, fokussierte Kriterien funktionieren aus folgenden Gründen besser:

• Jedes Kriterium erhält in einem kurzen Gespräch klarere Belege. Bei vielen Kriterien enthält das Gespräch möglicherweise nicht genügend Belege für jedes einzelne.
• Überlappende Kriterien bewerten dasselbe Verhalten zweimal, wodurch das Gesamtergebnis erhöht oder verzerrt wird.
• Der Lernende kann drei klare Punkte umsetzen. Eine lange Liste lässt sich nur schwer priorisieren.

Führen Sie überlappende Kriterien zusammen. Beispielsweise bewerten „Zuhören“, „Empathie“ und „Anliegen anerkennen“ oft dieselben Verhaltensweisen. Fassen Sie sie zu einem Kriterium „Aktives Zuhören“ zusammen und beschreiben Sie es als „paraphrasiert, stellt klärende Fragen und geht direkt auf geäußerte Anliegen ein“. Wenn Sie über ein umfangreiches Modell verfügen, teilen Sie es in 2 oder 3 Kriterien auf, die jeweils einen sinnvollen Teil davon abdecken, anstatt für jeden Schritt ein eigenes Kriterium zu verwenden.

Beobachtbare Verhaltensweisen beschreiben

Gutes Beispiel: „Benennt das beobachtbare Verhalten, beschreibt dessen Auswirkungen und schlägt eine konkrete Änderung vor.“

Schlechtes Beispiel: „Gibt gutes Feedback.“ (Kein Verhalten, nach dem gesucht werden kann.)

Beschreiben Sie in den Leistungsstufen, was vorhanden ist und was fehlt. „Einigermaßen gut“ hilft der KI nicht bei der Kalibrierung.

Vorgeschriebene oder erforderliche Formulierungen

Wenn Lernende bestimmte Formulierungen verwenden oder vermeiden müssen, machen Sie dies zu einem beobachtbaren Kriterium.

Gutes Beispiel: Kriterium „Erforderlicher Hinweis“. Was als Gut verstanden wird: „Gibt vor der Besprechung von Ergebnissen an, dass der Anruf aufgezeichnet wird und dass die Beratung keine Garantie darstellt.“ Was als In Entwicklung verstanden wird: „Bespricht Ergebnisse ohne den Hinweis oder verspricht ein Ergebnis.“

Schlechtes Beispiel: „Hält Vorschriften ein.“ (Gibt nicht an, welche Formulierungen regelkonform sind.)

Nehmen Sie außerdem die relevanten Fachinformationen in den Zusätzlichen Kontext des Rollenspiels auf, damit der Avatar korrekt reagiert. Weitere Informationen finden Sie unter Bewährte Verfahren zum Verfassen von KI-Rollenspielen.

Den Rubriktyp passend zum Zweck auswählen

• Qualitativ für Coaching und Üben: Der Lernende erhält Feedback zu spezifischen Verhaltensweisen mit Zitaten.
• Quantitativ mit einer Mindestpunktzahl zum Bestehen für Zertifizierungen oder Zugangsbeschränkungen: Der Lernende erhält eine Punktzahl sowie das Ergebnis „Bestanden“ oder „Nicht bestanden“. Legen Sie die Mindestpunktzahl zum Bestehen hoch genug fest, um den erforderlichen Standard widerzuspiegeln, und verwenden Sie Gewichtungen, wenn manche Kriterien wichtiger sind als andere.
• Wenn Sie eine Mindestpunktzahl zum Bestehen verwenden, um den Fortschritt zu beschränken, weisen Sie Prüfer zu, damit eine Person das Ergebnis validieren kann.

Prompts für KI-generierte Kriterien schreiben

• Beschreiben Sie das Verhalten, nicht nur das Thema. Gutes Beispiel: „Bewerte, ob der Lernende mit Einwänden zur Preisgestaltung umgeht, indem sie das Anliegen anerkennt, bevor sie den Mehrwert erläutert.“ Schlechtes Beispiel: „Verkaufsfähigkeiten“.
• Priorisieren Sie. Die KI generiert bis zu 5 Kriterien. Wenn Ihre Anfrage oder Ihre Dokumente mehr Fähigkeiten abdecken, nennen Sie die 5 wichtigsten. Gutes Beispiel: „Generiere Kriterien auf Grundlage unseres Verkaufshandbuchs. Konzentriere dich auf Bedarfsermittlung, Umgang mit Einwänden, Vermittlung des Mehrwerts, aktives Zuhören und Abschluss.“
• Fordern Sie nur unterstützte Kriterien an. Vermeiden Sie stimmliche Gestaltung oder Körpersprache.
• Erklären Sie der KI, wie sie ein Dokument verwenden soll. Beispiel: „Verwende unsere Kundenservicestandards als Grundlage für die Kriterien.“ Halten Sie Dokumente fokussiert. Fassen Sie bei langen Dokumenten die relevanten Punkte stattdessen im Textfeld zusammen.

Verwandte Artikel

• Erstellen und Verwalten von KI-Rollenspielen
• Bewährte Verfahren zum Verfassen von KI-Rollenspielen
• Mit KI-Rollenspielen üben und den eigenen Bericht lesen
• Eingereichte KI-Rollenspiele überprüfen
• Bewährte Verfahren für benutzerdefinierte Rubriken in KI-Rollenspielen