論文の概要: SALMONN-duo: Adaptive Dual-System Coordination for Full-Duplex Voice Agents

• arxiv url: http://arxiv.org/abs/2609.34247v1
• Date: Mon, 28 Sep 2026 03:53:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:33:21.84906
• Title: SALMONN-duo: Adaptive Dual-System Coordination for Full-Duplex Voice Agents
• Title（参考訳）: SALMONN-duo:フル二重音声エージェントのための適応的デュアルシステムコーディネート
• Abstract要約: 現実世界のエージェントはツールを使用し、熟考的推論を行う必要がある。 SALMONN-duoは、二重プロセス認知理論に触発された適応的な二重システム音声である。
• 参考スコア（独自算出の注目度）: 21.137152704061666
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Full-duplex speech large language models (LLMs) enable low-latency, natural voice interaction. However, real-world agents must also use tools and perform deliberative reasoning-operations whose variable latency and computational cost conflict with the stringent timing requirements of real-time conversation. To reconcile these demands, we propose SALMONN-duo, an adaptive dual-system voice agent inspired by dual-process theories of cognition. SALMONN-duo separates real-time interaction from deliberative computation by pairing an always-on, fast-thinking full-duplex speech LLM (system 1) with a powerful asynchronous slow-thinking LLM agent (system 2). Beyond handling real-time interaction, system 1 learns when to answer directly and when to delegate, remaining responsive during backend execution and seamlessly integrating returned information into the ongoing dialogue without exposing tool traces or losing conversational context. Evaluations on single-turn spoken question answering (QA) and multi-turn conversations demonstrate that adaptive delegation substantially improves accuracy on knowledge-intensive and multi-hop reasoning questions, while knowledge-boundary-aware training avoids unnecessary system 2 invocations. On a customized version of $τ$-Voice, SALMONN-duo further demonstrates its ability to complete environment-grounded, policy-constrained tasks through multi-turn interactions in realistic business scenarios. Finally, cost-aware reinforcement learning further enhances the trade-off between task performance and backend usage across the QA and conversation tasks, while improving task success and response safety on $τ$-Voice with an acceptable increase in the delegation rate.
• Abstract（参考訳）: フル二重音声大言語モデル(LLM)は低レイテンシで自然な音声対話を可能にする。 しかし、現実世界のエージェントは、リアルタイム会話の厳格なタイミング要求と、レイテンシと計算コストの変動が相反する、議論的推論操作を行うツールも使わなければならない。 これらの要求を整理するために,認識の二重プロセス理論に触発された適応型二重システム音声エージェントであるSALMONN-duoを提案する。 SALMONN-duo は、常にオンで高速に考える全二重言語 LLM (システム1) と強力な非同期スロー思考 LLM エージェント (システム2) とをペアリングすることで、リアルタイムな相互作用と熟考計算を分離する。 リアルタイムインタラクションの処理以外にも、システム1は、いつ直接答えるべきか、いつデリゲートすべきかを学び、バックエンド実行中に応答性を維持し、ツールトレースを公開したり、会話コンテキストを失うことなく、返却された情報をシームレスに統合する。 単ターン音声質問応答(QA)と多ターン会話の評価は、適応デリゲーションが知識集約型およびマルチホップ推論質問の精度を大幅に向上することを示し、知識限定型学習は不要なシステム2の呼び出しを回避している。 SALMONN-duoは、$τ$-Voiceのカスタマイズバージョンで、現実的なビジネスシナリオにおけるマルチターンインタラクションを通じて、環境に根ざした、ポリシーに制約のあるタスクを完了できることをさらに示す。 最後に、コスト認識強化学習により、タスクパフォーマンスとQAと会話タスク間のバックエンド使用とのトレードオフをさらに強化し、タスク成功とタスク応答安全性を改善し、デリゲートレートが許容されるよう、$τ$-Voice での応答安全性を向上させる。

関連論文リスト

• Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models [53.470209949659115]
  RLによる全音声対話モデルを改善する訓練後アライメント手法を提案する。 対話性の4つの標準軸(ターンテイキング、バックチャネル一時停止、ユーザ中断)に対処する。 応答品質に対する追加ベースの報酬は、セマンティックな劣化を防ぐ。
  論文  参考訳（メタデータ） (2026-06-09T17:46:55Z)
• MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models [62.05118198431989]
  非同期のフル音声モデルは、AI停止のフルタイムの対話性と自然な性質によって区別される。 本フレームワークは,外部情報における知識要求型対話クエリと接地応答の同定を可能にする。 本設計では,再学習を伴わないプラグ・アンド・プレイ検索手法をサポートし,アウト・オブ・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー
  論文  参考訳（メタデータ） (2026-04-14T16:17:52Z)
• Discourse-Aware Dual-Track Streaming Response for Low-Latency Spoken Dialogue Systems [31.911085541071028]
  本稿では,聴取時思考と話し時思考を可能にする低レイテンシアーキテクチャを提案する。 2つの音声対話ベンチマークの実験により、DDTSRは応答遅延を19%-51%削減することを示した。
  論文  参考訳（メタデータ） (2026-02-26T17:39:56Z)
• Covo-Audio Technical Report [61.09708870154148]
  7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。 対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:11Z)
• Chronological Thinking in Full-Duplex Spoken Dialogue Language Models [66.84843878538207]
  時系列思考は、完全なSDLMの応答品質を改善することを目的としている。 追加のレイテンシがない: ユーザが話すのをやめると、エージェントは考えるのをやめ、それ以上の遅延なしに話し始める。 結果: 客観的指標と人的評価の両面から, 時系列思考の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-10-02T10:28:11Z)
• LLM-Enhanced Dialogue Management for Full-Duplex Spoken Dialogue Systems [39.144526590642265]
  音声活動検出(VAD)モジュールは、完全なSDSにおける対話マネージャ(DM)のターンテイクを効率的に管理する。 音声を短時間に処理することにより、VADはリアルタイムな意思決定を可能にし、コア対話エンジン(CDE)は応答生成のためにのみ活性化される。
  論文  参考訳（メタデータ） (2025-02-19T23:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。