Dnešní ranní briefing shrnuje tři praktické novinky z oblasti voice agentů a přepisu hovorů, které mají přímý dopad na stavbu a provoz botů v telco prostředí.
Deepgram: „Flux“ umožní měnit nastavení rozpoznávání řeči uprostřed hovoru (bez reconnectu)
Deepgram v changelogu popisuje rozšíření Flux (streaming STT) o nový řídicí message typ Configure, který dovoluje za běhu měnit klíčové parametry rozpoznávání řeči, aniž by bylo nutné rozpojit a znovu navázat WebSocket stream. Prakticky to znamená, že voicebot může v jedné relaci přepínat mezi „přirozenou konverzací“ a „přísným sběrem údajů“ (např. OTP, čísla účtu) jen tím, že upraví prahy konce repliky (EOT) a timeouty ticha. Součástí je i možnost dynamicky měnit keyterms – tedy doménovou slovní zásobu pro konkrétní fázi hovoru (jména, produktové názvy, terminologie). Důležité je upozornění, že seznam keyterms se při Configure nahrazuje (nemerguje), takže v telco provozu je potřeba mít tohle ošetřené v orchestrace vrstvě (držet „aktuální set“). Dopad pro telco: méně reconnectů = méně výpadků audia a méně „ztracených slov“ při přepínání scénářů, což je typická bolest u botů s autentizací a následným řešením incidentu v rámci jednoho hovoru. Takeaway: navrhněte si dialogový model tak, aby měl jasné „fáze“ (auth / diagnostika / upsell / závěr) a na hranách fází upravujte ASR parametry (EOT, timeout, keyterms) podle očekávaného typu odpovědi.
LiveKit Agents 1.4.6: SIP warm transfer, méně úniků „function_call“ do TTS a další hardening pro produkci
Vydání [email protected] (16. března) obsahuje několik změn, které jsou pro telco/voice provoz přímo „production hygiene“. Zaujala hlavně podpora warm transferu přes SIP endpointy (nový trunk_config pro WarmTransferTask), což je přesně ten typ „last-mile“ funkce, který odděluje demo voice agenta od nasazení v call centru. Další důležitá oprava míří na situaci, kdy se do syntézy hlasu omylem dostane text související s function callingem (u Google realtime: „prevent function_call text from leaking to TTS output“) – v telco by to byl reputační i bezpečnostní problém (uživatel by slyšel interní instrukce, parametry, nebo náznaky toolingu). Balík změn zároveň ukazuje trend: frameworky pro realtime agenty řeší čím dál víc integrací (STT/TTS pluginy), ale současně přidávají ochranné prvky proti „toxickým“ edge-caseům ve správě turnů a stavů. Dopad pro telco: pokud stavíte voicebota na WebRTC/LiveKit stacku, vyplatí se hlídat release notes a upgradovat – typické incidenty v provozu jsou právě okolo transferů, turn-takingu a nechtěných výstupů do TTS. Takeaway: pro produkci si definujte „guardrails“ testy (např. nikdy nevyslovit interní tokeny/JSON, správně se chovat při transferu) a po každém minor releasu je automaticky spouštějte na referenčních dial-plan scénářích.
Zdroj: LiveKit Agents – Releases
Twilio: Public Beta vícejazyčné detekce u Real‑Time Transcriptions (přes Deepgram Nova‑3 „Language = multi“)
Twilio rozšiřuje Real‑Time Transcriptions o možnost vícejazyčné detekce a přepisu v reálném čase, když jako transkripční engine zvolíte Deepgram a model Nova‑3, a nastavíte jazyk na multi. Prakticky to řeší častý telco problém: zákazník začne jedním jazykem, uprostřed přepne (code‑switching), nebo není dopředu jasné, jaký jazyk zvolit – a klasická „single language“ konfigurace pak degraduje kvalitu přepisu i downstream intentů. Důležité je i to, že Twilio popisuje dvě cesty doručení výsledků: webhook stream (pro online agent assist/boty) a persisted transcript resource (pro pozdější analytics/QA), což je užitečné pro návrh architektury s různými SLA. Dopad na boty v telco: vícejazyčný přepis zvyšuje robustnost směrování (routing) a snižuje nutnost tvrdých jazykových voleb na začátku hovoru („press 1 for…“), což bývá UX antipattern. Takeaway: pokud máte multiregion/multilingual provoz, otestujte „Language=multi“ na reálných nahrávkách s code‑switchingem a ověřte, jak se mění chybovost NLU (intent/slot) a jak rychle se výsledky stabilizují v prvních sekundách hovoru.
Zdroj: Twilio Changelog – Multi-language Detection (Public Beta)
Závěr: 3 rychlé takeaways pro telco voice/voicebot provoz
- Navrhujte dialogy po fázích a dynamicky dolaďujte ASR (EOT/timeout/keyterms) podle fáze – snížíte reconnecty a ztráty slov.
- Release notes voice agent frameworků berte jako součást SRE: transfery, turn-taking a „nechtěné výstupy“ do TTS jsou typické zdroje incidentů.
- U vícejazyčných zákazníků preferujte multi-language STT a měřte dopad na NLU i routing (zejména při code‑switchingu).