Chiunque abbia interagito con strumenti basati su LLM sa che a volte formulano affermazioni del tutto inventate con un tono estremamente sicuro: sono le cosiddette allucinazioni.

In una chat privata fa poco danno; ma se accade al centralino del ristorante, rischi che una comitiva arrivi convinta di cenare con una prenotazione inesistente.

Non intendo raccontare favole sull'azzeramento magico dei rischi: preferisco spiegare come li circoscriviamo al minimo, condividendo gli errori reali emersi nei collaudi.

Un errore vero, trovato nel collaudo

Durante i collaudi condotti sul nostro ambiente di simulazione ho riscontrato un caso particolarmente significativo. Un cliente chiedeva un tavolo e l'assistente rispondeva "Perfetto, tavolo confermato" a voce, senza aver chiamato lo strumento che scrive la prenotazione sul calendario. Sulla carta tutto bene. Sul calendario, niente.

In un altro caso, l'assistente inventava un numero di telefono. Nei prompt, cioè nelle istruzioni scritte per l'assistente, avevo messo un numero di esempio per spiegare il formato. L'assistente lo prendeva come un dato vero e lo ripeteva. Ho tolto tutti i numeri finti dalle istruzioni e il problema è sparito.

Queste cose si trovano solo provando, molte volte, in modo cattivo.

Il principio: l'assistente non decide, controlla

La regola con cui lavoro è questa: tutto ciò che si può calcolare o verificare con certezza non va lasciato all'intelligenza artificiale.

All'assistente lascio la parte che sa fare bene: capire cosa dice il cliente e rispondere in modo naturale.

Regole di buon senso, scritte nero su bianco

Nel collaudo ho aggiunto controlli come questi:

Questi non sono suggerimenti: sono verifiche che il collaudo fa girare automaticamente su ogni scenario, e se una non passa, il test fallisce.

E quando i dati sono sbagliati?

C'è un caso che spesso si dimentica: l'assistente ha ragione, ma i dati che gli arrivano sono sbagliati. Se il foglio dice che il lunedì sei aperto, l'assistente prenota il lunedì. Per questo i parametri (orari, tavoli, durate) stanno in un foglio che il ristoratore può correggere in qualsiasi momento, senza toccare niente altro.

Come si prova a rompere un assistente

Nel mio sistema di prova ho eseguito 56 scenari di collaudo, compresi quelli con richieste maliziose: testi che tentavano di inserire comandi nei campi (per esempio nel nome del cliente), identificativi inesistenti, richieste di modificare una prenotazione che non c'è. Risultato: 32 superati in automatico, 24 superati con un'avvertenza operativa, nessun errore critico.

Non lo dico per vantarmi. Lo dico perché è il tipo di lavoro che un ristoratore non vede e che decide se il telefono, di sabato sera, farà una figura decente.

Cosa dovresti chiedere a chiunque ti proponga un assistente vocale

Qualche domanda da fare, a me o a un altro:

  1. Chi controlla la disponibilità: l'AI o un programma?
  2. Cosa succede se il calendario non risponde?
  3. Come avete provato a farlo sbagliare?
  4. Dove vengono scritte le regole del mio locale, e posso cambiarle io?
  5. Cosa dice l'assistente quando non sa?

Se le risposte sono vaghe, meglio saperlo prima.

Se vuoi che ti mostri come ragiono su questi controlli per il tuo locale, scrivimi.

Note e fonti

Contatti

Vuoi valutare se ha senso per il tuo ristorante?

Non vendo software preconfezionati né licenze chiuse. Analizziamo insieme i numeri e i tavoli del tuo locale a Milano per costruire un sistema di proprietà.

Parla con Stefano su WhatsApp ↗