論文の概要: Voice-Light: A Full-Duplex Cascaded Voice Agent with Causal Turn-Taking and Speculative Generation
- arxiv url: http://arxiv.org/abs/2609.20995v1
- Date: Thu, 17 Sep 2026 18:49:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.755662
- Title: Voice-Light: A Full-Duplex Cascaded Voice Agent with Causal Turn-Taking and Speculative Generation
- Title（参考訳）: 音声ライト:カジュアル・ターン・テイキングと投機生成機能を備えたフルダブルカジュアル・カジュアル・ボイスエージェント
- Abstract要約: 本稿では、音声の信頼性を耐久性のある歴史のためにレンダリングする音声オーバ・ASRシステムを提案する。
早期に学習した完了チェックポイントは2.70%の偽カット率を維持したが、12.53%のターンリコールしか得られなかった。
したがってシステムは、学習された政治の代替を主張するのではなく、ハイブリッドコントローラを保有する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural spoken interaction requires more than streaming ASR, language generation, and speech synthesis: a system must react to overlap without canceling on every acknowledgment, prepare a response before a turn is certain, and ensure canceled audio cannot enter conversation history. We present Voice-Light, a full-duplex cascaded voice agent that combines immediate acoustic onset, a causal adapter sharing a streaming ASR encoder, reversible playback control, and private speculative response generation. Structured tool calls execute concurrently with audible bridge speech, while browser acknowledgments make rendered audio authoritative for durable history. Locked evaluation on 1,673 real-conversation silence candidates found that an earlier learned completion checkpoint preserved a 2.70% false-cutoff rate but reached only 12.53% end-of-turn recall, compared with 95.60% for a Silero timing policy. The deployed system therefore retains a hybrid controller rather than claiming a learned-policy replacement. Across three unscripted operator-run microphone sessions, 36 measured response turns had a 758 ms median from final VAD endpoint to first server audio; 21 turns were below 800 ms. These sessions are an instrumented case study, not a controlled user evaluation. We release the synthetic data, model artifacts, evaluation code and summaries, source code, and deployment configuration supporting the result.
- Abstract（参考訳）: 自然な音声対話は、ストリーミングASR、言語生成、音声合成以上のものを必要とする:システムは、すべての承認をキャンセルせずにオーバーラップに反応し、ターンが確実になる前に応答を準備し、キャンセルされた音声が会話履歴に入らないことを保証しなければならない。
本稿では、即時音響オンセットとストリーミングASRエンコーダを共用する因果アダプタ、可逆再生制御、プライベート投機応答生成を組み合わせたフルダブルケース音声エージェントであるVoice-Lightを紹介する。
構造化されたツールコールは、可聴ブリッジ音声と同時実行され、ブラウザは、耐久性のある歴史のためにレンダリングされたオーディオオーソリティを承認する。
1,673人の実会話の沈黙候補に対するロックされた評価では、初期の学習済みの完了チェックポイントが2.70%の偽カット率を維持していたが、12.53%のエンド・オブ・ターンリコールにしか達しなかったのに対し、シレロのタイミングポリシーでは95.60%であった。
したがって、デプロイされたシステムは、学習された政治の代替を主張するのではなく、ハイブリッドコントローラを保持します。
オペレーターが実行した3つのマイクセッションの中で、36回の測定された応答ターンは、最終VADエンドポイントから最初のサーバオーディオまでの中央値758msであり、21回のターンは800ms以下であった。これらのセッションは、コントロールされたユーザ評価ではなく、計測されたケーススタディである。
合成データ、モデルアーティファクト、評価コードと要約、ソースコード、結果をサポートするデプロイメント構成をリリースします。
関連論文リスト
- NemotronLabs VoiceChat: An Open Full-duplex Speech-to-Speech Model with Tool Calling Capabilities [51.20614728073928]
NemoLabs VoiceChatは、音声合成ツールのネイティブ機能を備えた、オープンなフル音声モデルである。
ストリーミング音声エンコーダのみの言語モデルと、テキストと構造化関数呼び出しのための並列化された出力ストリームを組み合わせる。
NemoLabs VoiceChatはVoiceBenchの正規化平均55.1、Full-Duplex-Bench 3.0(FDB 3.0)では82.5%のツール選択F1を達成している。
これらの結果から, 音声対話, 音声認識・生成, 汎用言語能力, 外部ツール利用が, 単一のオープン音声に一体化できることが示唆された。
論文 参考訳（メタデータ） (2026-09-18T16:27:22Z) - SteerDuplex: Steerable Duplex Speech Dialogue Models [47.277615720741046]
音声対話モデルは、指示、発声、推論、対話を対象とする自然な会話や合成対話を微調整する。
2段階強化学習(RL)とハイブリッド報酬を併用し、検証可能な相互作用チェックと判断に基づくフィードバックを組み合わせて応答継続性を向上させる。
さらにRLはソースクリーン割り込み反応を72.5%から82.5%に引き上げ、合成停止バージインを26.5%から9%に減少させる。
論文 参考訳（メタデータ） (2026-09-11T09:22:46Z) - Auditing Generative Audio Calls for Known-Task Audio-LLM Evaluation [8.345705067210861]
既知のクローズドセットタスクでは、音響的エビデンスへのアクセスと、生成的オーディオモデルを呼び出す必要性が重要である。
我々はこの区別を制御された呼判断問題として評価する。
既知のタスクエンドポイントのクレームに対して、関連する量は、転写とエンコーダの証拠が既に使われている後の生成呼び出しの限界値である。
論文 参考訳（メタデータ） (2026-08-28T01:33:47Z) - PACE: A Playback-Aligned Context Engine for LLM-Based Full-Duplex Voice Dialogue [34.75261337484262]
これを生成コンテキストミサンチョリング(Generative Context Misanchoring、GCM)と呼ぶ。
ブラックボックス音声モデルを用いてブラウザベースのリアルタイム音声アシスタントを実装した。
そこで我々は,再生関連レファレンス・アンチョリング事例の制御された新しいベンチマークデータセットを構築した。
論文 参考訳（メタデータ） (2026-08-07T12:55:43Z) - TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。
音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。
3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
論文 参考訳（メタデータ） (2026-06-07T07:15:34Z) - Learning When to Think While Listening in Large Audio-Language Models [21.451503274426596]
LALM(Large Audio-Language Models)のための学習可能な待ち行列制御形式を導入する。
人間の会話の漸進的な性質に触発され、コントローラーは、いつ待つか、いつ答えるかという部分的なオーディオ証拠に基づいて決定する。
その結果,6リワードDAPOコントローラの行重み付け精度は67.6%から70.3%に向上し,終端から終端までの長さを14%削減した。
論文 参考訳（メタデータ） (2026-05-26T15:43:11Z) - Real-Time Voicemail Detection in Telephony Audio Using Temporal Speech Activity Features [1.066048003460524]
本稿では,事前学習したニューラル音声活動検出器の音声活動パターンから15の時間的特徴を抽出する軽量なアプローチを提案する。
2つの評価セットで合計764の電話録音を行い、96.1%の精度で合成する。
論文 参考訳（メタデータ） (2026-04-02T17:43:24Z) - Stream RAG: Instant and Accurate Spoken Dialogue Systems with Streaming Tool Usage [66.67531241554546]
従来のASR-LLM-TTSパイプラインに代わる強力な対話システムとして、エンドツーエンドの音声対話システムが登場している。
本稿では,音声入力システムに直接ツールの使用を拡張するための最初のアプローチを紹介する。
提案するStreaming Retrieval-Augmented Generation (Streaming RAG) は,ユーザ音声と並行してツールクエリを予測することにより,ユーザ知覚のレイテンシを低減する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-10-02T14:18:20Z) - Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation
and Recognition [52.11964238935099]
本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。
ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。
オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
論文 参考訳（メタデータ） (2023-07-06T10:50:46Z) - Advanced Long-context End-to-end Speech Recognition Using
Context-expanded Transformers [56.56220390953412]
コンフォーメータアーキテクチャを導入することで、精度をさらに向上させ、以前の作業を拡張します。
拡張トランスフォーマーは、最先端のエンドツーエンドのASR性能を提供する。
論文 参考訳（メタデータ） (2021-04-19T16:18:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。