論文の概要: Heard Enough to Act: Early Tool Calling in Spoken Dialogue Systems

• arxiv url: http://arxiv.org/abs/2610.34653v1
• Date: Mon, 26 Oct 2026 00:34:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.655743
• Title: Heard Enough to Act: Early Tool Calling in Spoken Dialogue Systems
• Title（参考訳）: Heard to Act: 音声対話システムの初期ツールコール
• Abstract要約: 音声対話パイプラインを導入し,最初期の対応点監視を行う。 我々は48ドメインで合計786時間の対話を26,694回構築した。 正しい呼び出しの場合、同じフォーマットを使用するターンエンドのカスケードに対する平均リードは1.8-2.0秒のドメイン内、1.1秒の$-benchである。
• 参考スコア（独自算出の注目度）: 39.17848539315738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latency-sensitive spoken agents must know not only which tool to call, but also when they have heard enough to act. Waiting for the turn to complete delays execution even when the request is already actionable. However, neither existing spoken agents nor spoken dialogue corpora define the earliest point at which a request becomes actionable. We introduce a synthetic spoken-dialogue pipeline that provides earliest-actionable-point supervision, marking when the observed speech grounds a tool and its required arguments. Through controlled task generation, speech synthesis and alignment, and gated annotation, we construct 26,694 dialogues totaling 786 hours across 48 domains, with disjoint training and test argument values. We additionally create an audio rendering of $τ^2$-bench for external evaluation. We train an omni-modal language model on this corpus, enabling causal, chunk-level decisions and partial-transcript generation for downstream call completion. The model achieves tool-state macro-F1 scores of 0.48 and 0.47 on held-out dialogues and the external benchmark, respectively. For correct calls, the estimated mean lead over a turn-end cascade, using the same formatter, is 1.8-2.0 seconds in-domain and 1.1 seconds on $τ^2$-bench. These results demonstrate a data-driven path toward spoken agents that act while listening. We will open-source the pipeline and the training scripts.
• Abstract（参考訳）: 遅延に敏感な音声エージェントは、どのツールを呼び出すかだけでなく、行動に十分耳を傾けたときも知る必要がある。 要求がすでに実行可能であったとしても、実行が遅延するのを待つ。 しかし、既存の音声エージェントや音声対話コーパスは、リクエストが動作可能な最初期のポイントを定義していない。 本稿では,最初期の対話型音声対話パイプラインを導入し,観察された音声がツールと必要な議論を根拠にした場合のマーキングについて述べる。 制御タスク生成、音声合成、アライメント、ゲートアノテーションにより、48ドメインで合計786時間の対話を26,694回構築する。 さらに外部評価のために$τ^2$-benchのオーディオレンダリングを作成する。 我々は、このコーパス上でOmni-modal言語モデルをトレーニングし、ダウンストリーム呼び出し完了のための因果的、チャンクレベルの決定と部分的書き起こし生成を可能にする。 ツール状態のマクロF1スコアはそれぞれ0.48と0.47のホールドアウトダイアログと外部ベンチマークを達成する。 正しい呼び出しの場合、同じフォーマットを使用するターンエンドカスケード上の平均リードは1.8-2.0秒で、$τ^2$-benchで1.1秒である。 これらの結果は、聴きながら行動する音声エージェントへのデータ駆動経路を示す。 パイプラインとトレーニングスクリプトをオープンソースにします。

関連論文リスト

• COT-TTS: Audio Context-Aware Text-to-Speech with Chain-of-Thought Reasoning [36.96048842389113]
  自然な会話では、話し方は前回の会話の文脈から自然に推測されるべきである。 文脈認識型推論に基づく音声合成タスクCOT-TTSを提案する。 大規模なバイリンガル音声データセットを構築した。
  論文  参考訳（メタデータ） (2026-09-19T02:13:27Z)
• SpeechGym: An Audio-Native Gym for Training Voice Agents via Reinforcement Learning [24.07999549415095]
  SpeechGymは、2つのOmniモードモデルがネイティブオーディオで会話する、オーディオネイティブなエージェント環境である。 本稿では、2つのOmniモードモデルがネイティブオーディオで会話する音声ネイティブなエージェント環境であるSpeechGymを紹介する。
  論文  参考訳（メタデータ） (2026-08-26T22:16:05Z)
• F-Actor: Controllable Conversational Behaviour in Full-Duplex Models [70.48189107402145]
  典型的な学術的制約下で効率的に訓練できる,第1にオープンかつ命令追従型全段階会話音声モデルを提案する。 我々のモデルは、大規模な事前訓練や多段階事前訓練に頼ることなく、わずか2000時間のデータしか必要としない。 モデルとトレーニングコードの両方がリリースされ、制御可能なフルステージ音声システムに関する再現可能な研究が可能になる。
  論文  参考訳（メタデータ） (2026-01-16T14:25:57Z)
• Stream RAG: Instant and Accurate Spoken Dialogue Systems with Streaming Tool Usage [66.67531241554546]
  従来のASR-LLM-TTSパイプラインに代わる強力な対話システムとして、エンドツーエンドの音声対話システムが登場している。 本稿では,音声入力システムに直接ツールの使用を拡張するための最初のアプローチを紹介する。 提案するStreaming Retrieval-Augmented Generation (Streaming RAG) は,ユーザ音声と並行してツールクエリを予測することにより,ユーザ知覚のレイテンシを低減する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-10-02T14:18:20Z)
• Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
  FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。 ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
  論文  参考訳（メタデータ） (2025-03-06T18:59:16Z)
• Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
  現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。 そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。 得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
  論文  参考訳（メタデータ） (2024-09-17T17:55:39Z)
• When can I Speak? Predicting initiation points for spoken dialogue agents [41.64197357473437]
  事前学習した音声表現モデルから韻律的特徴を用いたリードタイムの開始を予測した。 われわれは、Switchboard Corpusのモデルをトレーニングし、評価し、私たちの手法が700ミリ秒の沈黙を待つ一般的なアプローチを大きく上回っていることを発見した。
  論文  参考訳（メタデータ） (2022-08-07T20:58:52Z)
• JETS: Jointly Training FastSpeech2 and HiFi-GAN for End to End Text to Speech [7.476901945542385]
  本稿では、簡易な訓練パイプラインを持ち、個別に学習したモデルのカスケードを上回り、エンドツーエンドのテキスト音声合成(E2E-TTS)モデルを提案する。 提案モデルでは,アライメントモジュールを用いたFastSpeech2とHiFi-GANを併用する。 LJSpeechコーパスの実験では、提案されたモデルはESPNet2-TTSの最先端実装よりも優れていた。
  論文  参考訳（メタデータ） (2022-03-31T07:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。