Come si collauda un assistente vocale prima che parli con i tuoi clienti

"Funziona" è un'affermazione che può trarre in inganno: in una dimostrazione preconfezionata fila quasi tutto liscio, la domanda di test è elementare, l'AI risponde a tono e l'effetto wow è assicurato.

Le telefonate sul campo sono tutta un'altra storia: clienti che bisbigliano, rumori di fondo dalla strada, ripensamenti continui, fraintendimenti di date e richieste fuori tema. È lì che si vede se il lavoro è fatto bene.

Ecco come collaudo a fondo ogni assistente prima di abilitarlo: una serie di verifiche severe condotte sul nostro locale di prova, l'ambiente di simulazione in cui abbiamo cercato di mandare in crisi ogni singolo passaggio per rendere il flusso solido.

Cosa serve per provare sul serio

1. Scenari scritti. Ho una serie di 20 scenari master, divisi in cinque gruppi: informazioni e politiche del locale; prenotazioni e zone della sala; chiusure e limiti; modifiche e disdette; gruppi e uffici.
2. Prove ripetute. Ogni scenario si rifà dopo ogni modifica. Una correzione può rompere qualcosa che funzionava.
3. Tabella degli errori. Ogni problema trovato ha un numero, una descrizione, una causa e una soluzione. Il mio registro arriva a 44 errori trovati e risolti.
4. Un modo per misurare. Nel collaudo più ampio ho eseguito 56 scenari con controlli automatici: 32 superati in automatico, 24 superati con un'avvertenza operativa (cose che la sala deve sapere), nessuno con un errore critico.

Che tipo di errori si trovano

Per darti un'idea, ecco alcuni degli errori veri del mio registro, scelti perché sono comprensibili:

• L'assistente prenotava per una persona quando il cliente diceva "vorrei prenotare", senza chiedere quante.
• Accettava date nel passato ("ieri").
• Accettava prenotazioni di lunedì, giorno di chiusura.
• Non capiva "sabato prossimo": quale sabato?
• Se un cliente diceva "devo sentire mia moglie", l'assistente si bloccava.
• Dopo aver confermato a voce, a volte non aveva scritto nulla sul calendario.
• Ripeteva un numero di telefono finto preso da un esempio.
• Un cliente che richiamava per modificare perdeva il suo tavolo perché il blocco scadeva durante la telefonata.

Ognuno è stato risolto, e ognuno è diventato un test da ripetere ogni volta.

Le prove "cattive"

Una parte del collaudo non è gentile. Provo a fare il cliente peggiore:

• chi interrompe l'assistente
• chi cambia idea tre volte
• chi dà un numero di telefono incompleto
• chi chiede un tavolo con un numero di persone assurdo
• chi prova a far dire all'assistente cose che non deve dire
• chi scrive nel campo del nome del testo che potrebbe essere interpretato come comando

Un assistente che regge solo i clienti cortesi non è pronto.

I test in conversazione

Oltre ai test automatici, faccio conversazioni vere, un turno alla volta, come farebbe un cliente. Non uso frasi preparate in anticipo: scrivo ogni risposta guardando quella dell'assistente. È lento, ma è il modo per accorgersi di quando un tono suona strano o una domanda è ripetuta due volte.

Il test più importante: la sala

Il collaudo di laboratorio non basta. Prima di accendere la deviazione sul numero del locale, voglio fare una prova dal vivo con il titolare e chi lavora in sala. Gli chiedo di chiamare, di fare i clienti difficili che conoscono, di dire "ma questo è sbagliato" quando lo è. Le loro osservazioni valgono più delle mie.

Poi si parte piano

Dopo il collaudo, accendo il sistema in modo graduale: per esempio, all'inizio, solo quando il locale è chiuso o la linea è occupata. Guardo le prime telefonate vere, correggo, e solo dopo allargo. Il primo mese è un periodo di affiancamento, non un momento in cui si lascia il sistema da solo.

Cosa non ti prometto

Non ti prometto che non sbaglierà mai. Ti prometto che gli errori più prevedibili sono stati cercati, che quelli nuovi si vedono nei registri, e che c'è qualcuno che li corregge.

Domande da fare a chi ti propone un assistente

• Quanti scenari avete provato? Posso vederli?
• Quali errori avete trovato nel collaudo?
• Come provate le richieste maliziose?
• Chi controlla le prime telefonate vere?
• Cosa succede se qualcosa va storto di sabato sera?

Se vuoi vedere come funziona il collaudo per il tuo locale, scrivimi.

Note e fonti

• 20 scenari master, 44 errori registrati, 56 scenari di collaudo con 32 superati, 24 con avvertenza e 0 critici, test in conversazione, riduzione delle istruzioni da circa 65.700 a circa 3.100 caratteri: DOCUMENTO_UNIFICATO_SISTEMA_ANONIMIZZATO.md, STATO_PROGETTO.md.
• Tutti i numeri riguardano il locale di prova, non un cliente reale. Non sono una garanzia per un altro locale.

Contatti

• Sito: tomasiai.com
• WhatsApp: wa.me/automazioniAI
• Approfondimento: Centralino vocale AI per ristoranti
• Stefano Tomasi, Milano. Consulenza e sviluppo su misura per la ristorazione. Non vendo software in scatola né licenze.