Una risposta brillante davanti a dieci colleghi non è una prova di affidabilità. Prima di affidare a un assistente IA documenti, richieste dei clienti o attività interne, bisogna capire come si comporta sui casi che incontrerà davvero: anche quelli ambigui, incompleti e scomodi.
Il campione fa la differenza
È facile costruire una dimostrazione scegliendo domande chiare e materiali ordinati. Poi, nell’uso quotidiano, arrivano allegati vecchi, istruzioni contraddittorie, eccezioni e informazioni mancanti. Se il test contiene soltanto esempi facili, il risultato può essere accurato per quel test e ingannevole per la decisione di adottare lo strumento.
Il problema non nasce con l’IA. Darrell Huff spiegava già come un campione scelto male possa dare ai numeri un’apparenza di precisione che non meritano. L’analogia è utile: valutare un assistente solo sulle domande che sappiamo fargli risolvere equivale a misurare una prestazione su una porzione comoda della realtà.
Una prova costruita sul servizio
Si può partire da un’attività precisa, per esempio aiutare l’operatore a cercare risposte nella documentazione interna. Si raccolgono casi reali, privati dei dati personali non necessari, e li si divide per difficoltà: richieste ordinarie, eccezioni, documenti in conflitto, domande senza risposta disponibile. Per ciascun caso si definisce prima che cosa conta: risposta corretta, citazione verificabile, segnalazione dell’incertezza oppure rinvio a una persona.
Non serve un unico voto che nasconda tutto. È più utile registrare separatamente gli errori: risposta sbagliata, fonte non pertinente, sicurezza ingiustificata, mancato riconoscimento di un limite. Anche un errore raro può essere decisivo se produce un impegno verso un cliente o induce a usare informazioni non aggiornate.
La decisione arriva dopo il test
Il NIST, nel suo AI Risk Management Framework, raccomanda di verificare i sistemi prima dell’impiego e di continuare a misurarli durante l’uso. È un quadro volontario, non una certificazione né una garanzia di conformità. Il suo valore pratico è ricordare che metriche, casi di prova e risultati vanno documentati e collegati al contesto d’impiego.
La domanda finale, quindi, non è «quante risposte giuste ha dato?», ma «per quali richieste possiamo usarlo, con quali controlli e quando deve fermarsi?». Una buona demo apre la sperimentazione. Una prova rappresentativa permette di decidere.