Introduzione
Quando si configura una griglia di valutazione personalizzata per uno scenario di gioco di ruolo IA, la qualità dei criteri determina direttamente la qualità del feedback dell'IA. Una griglia ben redatta produce un feedback preciso e fruibile. Una griglia vaga produce un feedback generico e difficile da mettere in pratica.
Questo articolo fornisce linee guida per scrivere criteri efficaci e include esempi che è possibile adattare al proprio contesto.
Se si preferisce, è possibile chiedere all'IA di generare i criteri come punto di partenza per poi perfezionarli.
Per istruzioni passo dopo passo sulla configurazione di una griglia di valutazione, consultare l'articolo Using AI roleplay in Creator.
L'unica regola importante
L'IA genera feedback basandosi esclusivamente sulla trascrizione della conversazione — legge ciò che è stato detto, non come è stato detto. Prima di salvare un criterio, è utile chiedersi: "Sarei in grado di valutarlo leggendo solo la trascrizione?". Se la risposta è sì, il criterio è valido. Se fosse necessario ascoltare l'audio o guardare una registrazione, non lo è.
Criteri validi
- Qualità comportamentale: lo studente ha fatto qualcosa di specifico e quanto bene lo ha fatto?
- Competenze comunicative di base fondate su comportamenti osservabili, come chiarezza, ascolto attivo o concisione
- Tono e impostazione riflessi nella scelta delle parole (ad esempio, "usa un linguaggio di presa di responsabilità" è osservabile nel testo; "suona cordiale" non lo è)
- Brevi checklist comportamentali con 3 o 5 passaggi osservabili (ad esempio, "Ha aperto con la dichiarazione di un problema? Ha quantificato l'impatto? Ha chiuso con una richiesta chiara?")
Criteri non validi
- Esecuzione vocale: tono della voce, ritmo, pronuncia, volume
- Linguaggio del corpo o presenza sulla schermata: postura, contatto visivo, espressioni facciali
- Conteggio preciso: numero di interruzioni, frequenza delle parole chiave
- Rapporti matematici: tempo di conversazione, latenza di risposta
- Corrispondenza esatta delle frasi o checklist predefinite con più di 10 elementi — maggiori sono i passaggi, maggiore è la probabilità che l'IA ne perda o confonda qualcuno. Se si dispone di una struttura lunga, è consigliabile suddividerla in 2-3 criteri, ciascuno dei quali copre una parte significativa
- Deduzione delle intenzioni nascoste: ciò che qualcuno intendeva ma non ha detto
Compilare ciascun campo
I nomi dei campi differiscono leggermente a seconda del tipo di griglia di valutazione (qualitativa o quantitativa), ma gli stessi principi si applicano a entrambe.
Nome del criterio
Fornire un nome chiaro e specifico per il criterio.
Esempio corretto: "Ascolto attivo", "Gestione delle obiezioni", "Risposta empatica"
Esempio errato: "Ascoltare bene", "Comunicazione", "Soft skill" (troppo vago e non abbastanza specifico)
Descrizione
Scrivere una o due frasi che spieghino cosa copre il criterio. Scriverlo come se si stesse istruendo un nuovo revisore.
Esempio corretto: "Questo criterio valuta se lo studente dimostra comprensione parafrasando, ponendo domande di chiarimento e rispondendo direttamente alle preoccupazioni espresse."
Esempio errato: "Come comunica lo studente." (Troppo ampio: l'IA non saprà cosa cercare.)
Esempio errato: testo segnaposto come "Lorem ipsum" o caratteri ripetuti. I segnaposto privi di significato influiscono negativamente sulla qualità del feedback.
Cosa significa Buono / Punteggio alto (5)
Definire in cosa consiste una performance eccellente. È possibile includere frasi di esempio, comportamenti, azioni o elementi richiesti.
Esempio corretto: "Riflette sui punti chiave sollevati dall'interlocutore, pone pertinenti domande di follow-up e risponde direttamente alle preoccupazioni espresse. Usa la parafrasi e il chiarimento per confermare la comprensione."
Esempio errato: "Mantiene un tono calmo, un volume appropriato, un ritmo costante e un'intonazione variegata per segnalare interesse autentico ed empatia." (L'esecuzione vocale non può essere valutata dalla trascrizione.)
Punteggio medio (3 - solo griglia di valutazione quantitativa)
Definire l'aspetto di una performance parziale: lo studente dimostra in una certa misura la competenza, ma con evidenti lacune. Descrivere cosa è presente e cosa manca rispetto a una prestazione eccellente.
Esempio corretto: "Pone domande pertinenti ma non dà un follow-up alle risposte del potenziale cliente. Copre le necessità superficiali senza esplorare le priorità di fondo."
Esempio errato: "Abbastanza buono." (Non è una descrizione di un comportamento — l'IA non può usarla per calibrare un punteggio.)
Cosa significa In Sviluppo / Punteggio basso (1)
Definire in cosa consiste una performance più debole. Includere indicatori concreti e osservabili.
Esempio corretto: "Va avanti senza riconoscere le preoccupazioni dell'interlocutore. Ignora i punti chiave o risponde con informazioni non correlate."
Esempio errato: "L'ascoltatore appare disinteressato e non riesce a dimostrare comprensione né attraverso il contenuto né attraverso l'esecuzione vocale." (Include dimensioni non supportate come il tono e il ritmo.)
Esempi da cui prendere spunto
Vendite — Gestione di un'obiezione sul prezzo
- Titolo del criterio: Riconoscimento dell'obiezione
- Descrizione: Valuta se lo studente convalida la preoccupazione del potenziale cliente riguardo al prezzo prima di difendere il valore del prodotto.
- Cosa significa Buono: Nomina esplicitamente la preoccupazione ("Capisco che il costo sia una reale considerazione in questo caso"), evita di passare immediatamente alla giustificazione e invita il potenziale cliente a condividere un contesto maggiore prima di rispondere.
- Cosa significa In Sviluppo: Passa direttamente alla giustificazione del valore o all'offerta di uno sconto senza riconoscere la preoccupazione di fondo. Può fare riferimento al prezzo in modo indiretto ma non si confronta con quanto effettivamente detto dal potenziale cliente.
Servizio clienti — Risoluzione di un reclamo
- Titolo del criterio: Assunzione di responsabilità
- Descrizione: Valuta se lo studente si assume una chiara responsabilità per il problema anziché deviarla, anche quando la colpa è di terzi o di un processo.
- Cosa significa Buono: Usa un linguaggio di presa di responsabilità in prima persona ("Mi assicurerò che venga risolto"). Evita costruzioni passive o espressioni di biasimo. Stabilisce un chiaro passaggio successivo.
- Cosa significa In Sviluppo: Usa un linguaggio che devia la responsabilità ("Questo è gestito da un team diverso", "Il sistema non consente..."). Può esprimere comprensione ma non si impegna ad assumersi la responsabilità o a indicare un chiaro percorso da seguire.
Leadership — Fornire feedback difficili
- Titolo del criterio: Specificità del feedback
- Descrizione: Valuta se il feedback dello studente fa riferimento a comportamenti concreti e osservabili anziché a impressioni generali o a tratti della personalità.
- Cosa significa Buono: Descrive una situazione specifica, nomina il comportamento osservabile e lo collega a un impatto ("Nella riunione di martedì scorso, l'avere interrotto Sarah due volte ha interrotto la conversazione prima che il suo punto venisse colto").
- Cosa significa In Sviluppo: Il feedback rimane a livello di impressione generale ("È necessario essere più professionali" oppure "A volte si risulta sprezzanti"). Non viene fatto riferimento ad alcuna situazione o comportamento specifico.
Scrivere prompt efficaci per criteri generati dall'IA
Invece di scrivere i criteri manualmente, è possibile chiedere all'IA di generarli. Le seguenti linee guida aiutano a ottenere risultati migliori dalla generazione.
Descrivere il comportamento, non solo l'argomento
Invece di nominare una competenza generica, descrivere il comportamento osservabile che si desidera che lo studente dimostri. L'IA genera fino a 5 criteri in base alla richiesta. Se si desidera valutare più di 5 competenze, specificare quali sono le 5 con la priorità più alta.
Esempio corretto: "Valutare se lo studente gestisce le obiezioni sul prezzo riconoscendo la preoccupazione del potenziale cliente prima di spiegare il valore del prodotto."
Esempio errato: "Competenze di vendita"
Dare priorità alle competenze più importanti
Se la richiesta o i documenti di supporto coprono più di 5 competenze comunicative, indicare all'IA quali competenze sono le più importanti.
Esempio corretto: "Generare criteri basati sul nostro manuale di vendita. Concentrarsi su queste 5 competenze: scoperta delle necessità, gestione delle obiezioni, comunicazione del valore, ascolto attivo e chiusura della conversazione."
Esempio errato: "Generare criteri dal nostro manuale di vendita." (Il manuale copre dozzine di competenze, quindi l'IA non ha alcuna guida su quali dare priorità.)
Richiedere solo criteri supportati
Evitare di richiedere criteri che non possono essere valutati dalla trascrizione di una conversazione. Per l'elenco completo dei criteri non validi, consultare la sezione Criteri non validi in alto.
Esempio corretto: "Valutare se lo studente ascolta attivamente riconoscendo le preoccupazioni, ponendo domande di chiarimento e rispondendo direttamente a ciò che dice il cliente."
Esempio errato: "Valutare se lo studente mantiene un tono di voce sicuro, un ritmo di conversazione appropriato, un buon contatto visivo e un linguaggio del corpo positivo." (Questi comportamenti non possono essere valutati dalla trascrizione di una conversazione.)
Usare strategicamente i documenti di supporto
Caricare documenti che siano direttamente pertinenti alla griglia di valutazione che si desidera generare, come manuali di vendita, guide di coaching, framework di competenze o standard di comunicazione. Indicare all'IA come utilizzare il documento. Ad esempio:
- "Generare criteri in base ai nostri standard di servizio clienti."
- "Dare priorità alle competenze descritte nella sezione di onboarding."
- "Usare la nostra metodologia di vendita come base per i criteri."
Mantenere i documenti concisi e focalizzati. Se un documento è lungo o copre molti argomenti, riassumere i punti più pertinenti nel campo di testo.
Attenzione!
- I documenti caricati vengono utilizzati solo per generare i criteri. Non vengono utilizzati in un secondo momento per valutare le prestazioni dello studente.
- Se i propri documenti descrivono più di 5 competenze, specificare quali 5 si desidera includere.