Dalla cascata modulare ai modelli speech-to-speech nativi
Per oltre un decennio, le interfacce vocali hanno fatto affidamento su una cascata di tre modelli separati: trascrizione vocale (Speech-to-Text), elaborazione del testo tramite LLM e sintesi vocale finale (Text-to-Speech). Questa architettura cumulava latenze superiori a 1,5 secondi e cancellava inflessioni, risate, esitazioni ed emozione.
La transizione verso architetture end-to-end native (speech-to-speech multimodali) ha eliminato il collo di bottiglia della conversione intermedia in testo. Con Advanced Voice di OpenAI, Gemini Live di Google e il modello Maya di Sesame, la voce è diventata un tipo di token nativo elaborato direttamente dalla rete neurale.
STT → LLM → TTS: latenza elevata e perdita totale di prosodia ed enfasi emotiva.
Elaborazione audio end-to-end con latenze inferiori a 300 ms e conservazione dei segnali paralinguistici.
Il primo banco di prova: latenza percepita e gestione del turn-taking
La naturalezza di una conversazione umana non dipende solo dal timbro della voce, ma dai tempi di reazione nelle pause tra un turno di parola e l'altro (turn-taking). Se l'interlocutore artificiale attende 800 millisecondi prima di emettere il primo suono, il cervello percepisce un'esitazione innaturale.
Il banco di prova centrale del protocollo mette a confronto la risposta dei tre modelli quando vengono interrotti a metà frase (barge-in). Il sistema ideale deve arrestare istantaneamente l'emissione sonora, riascoltare la nuova istruzione senza allucinare le parole troncate e riprendere il filo logico senza resettare il contesto.
Misurazione strumentale dei millisecondi che intercorrono tra la fine del parlato umano e l'inizio della risposta dell'AI.
Reattività e coerenza logica quando l'utente interrompe bruscamente il modello a metà periodo.
Voice drift ed espressività emotiva: il realismo di Maya contro i modelli generalisti
Nelle dimostrazioni pubbliche di Sesame, Maya ha sorpreso per la capacità di simulare risate autentiche, respiri, sussurri e micro-esitazioni, superando la cadenza a tratti impostata di ChatGPT Voice e Gemini Live. Tuttavia, il realismo estremo solleva la questione del voice drift.
Su conversazioni prolungate oltre i due minuti, i modelli vocali ad altissima variabilità espressiva rischiano di deviare dal timbro iniziale, mutare accento o generare artefatti acustici incontrollati. Il test si propone di verificare la stabilità prosodica su sessioni estese di cinque e dieci minuti continuativi.
Accuratezza nella riproduzione di inflessioni, risate spontanee e modulazione del volume.
Tendenza del modello a perdere coerenza timbrica o ad accumulare artefatti acustici nel corso di dialoghi lunghi.
L'utilità pratica: eseguire compiti reali contro intrattenere una conversazione
Una voce straordinariamente realistica rischia di rimanere un esercizio di stile se non è agganciata a capacità operative concrete. In questo ambito emerge la biforcazione strategica tra i tre sistemi.
Mentre ChatGPT Voice si integra con il workspace Codex e l'ecosistema di strumenti desktop, e Gemini Live sfrutta l'integrazione con i servizi Google (Workspace, Maps, YouTube), modelli specializzati nella pura conversazione come Maya devono dimostrare di poter richiamare API esterne, consultare il web in tempo reale e gestire vincoli logici complessi senza allucinare.
Capacità di interrogare motori di ricerca, consultare file ed eseguire codice durante la sessione audio.
Mantenimento del rigore fattuale senza sacrificare la fluidità dell'eloquio.
I gap aperti prima della registrazione del test
Al momento della redazione di questa bozza, non sono disponibili misurazioni locali standardizzate eseguite nello stesso ambiente di rete per tutte e tre le piattaforme. L'accesso a Maya di Sesame è limitato a canali di preview e non consente ancora l'esecuzione libera di benchmark quantitativi completi.
L'articolo rimane quindi classificato in stato 'hold' e il video corrispondente (EP008) in fase di definizione del protocollo. Nessuna conclusione comparativa definitiva verrà pubblicata prima di aver registrato le prove strumentali replicabili.
Assenza di un dataset uniforme di latenza misurato sullo stesso hardware e sulla stessa linea di rete.
Rollout chiuso di Sesame che impedisce la conduzione immediata di un test di laboratorio aperto.
PROTOCOLLO DI PROVA
Cosa misuriamo davvero.
I modelli speech-to-speech nativi offrono un'esperienza conversazionale significativamente più naturale rispetto alle architetture a cascata, ma evidenziano trade-off tra espressività emotiva e stabilità nel tool calling.
Modelli testati: OpenAI Advanced Voice (GPT-4o/5.6), Google Gemini Live, Sesame Maya
Ambiente di test: connessione di rete a bassa latenza standardizzata
Scenari di test: turn-taking rapido, interruzione a metà frase (barge-in), sessione prolungata (10 minuti) per misurare il drift, richiesta di tool calling con ricerca web
Time-to-first-audio (latenza in millisecondi)
Tasso di recupero pulito dopo interruzione (barge-in recovery rate)
Stabilità timbrica e prosodica su 10 minuti (deviazione standard prosodica)
Accuratezza nelle chiamate a strumenti esterni
Allucinazione di parole troncate durante l'interruzione
Voice drift con perdita dell'identità vocale iniziale
Rifiuto o blocco nell'esecuzione di tool complessi durante lo streaming audio
- Sesame Maya è attualmente in accesso limitato; manca la possibilità di condurre test su larga scala con account consumer.
- Mancano misurazioni di latenza in condizioni di rete mobile 4G/5G con jitter elevato.