論文の概要: Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents

• arxiv url: http://arxiv.org/abs/2610.26233v1
• Date: Mon, 19 Oct 2026 11:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 18:51:41.158917
• Title: Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents
• Title（参考訳）: ハートビート思考:リアルタイム音声エージェントにおける投機的推論とツール実行
• Abstract要約: 投機的アプローチは、音声中に動き始めるが、チャンクバウンドまたは割り込み更新生成は、引数が完了する前にツールコールを切断することができる。 私たちはHeartbeat Thinkingを紹介します。これは、新しいThinker呼び出しを通じて更新されたインプットを処理すると同時に、継続的な呼び出しと送信ツールの終了を可能にします。
• 参考スコア（独自算出の注目度）: 7.767849815110876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tool-using voice agents often leave users waiting after speech ends, even when actionable information arrives earlier in the request. Speculative approaches begin work during speech, but chunk-bounded or interrupt-on-update generation can truncate a tool call before its arguments are complete. This couples computation time to speech updates, limiting useful work completed in advance. We introduce Heartbeat Thinking, which handles updated input through new Thinker invocations while allowing ongoing invocations and dispatched tools to finish. Periodic invocations read the latest partial transcript and a shared record of completed reasoning and tool results. These results help resolve missing arguments and initiate dependent calls, allowing preparation to progress across speech updates. Across SpeechFCEval, FDBench v3, and AudioCRAG, Heartbeat improves aggregate speculative tool coverage or retrieval reuse over a SHANKS-style windowed baseline, with benchmark-dependent effects on final task quality. On FDBench v3, it increases tool coverage by 16 percentage points and reduces mean final-response latency by 36.4\%. The results show that heartbeat thinking paradigm preserving ongoing computation during speech can turn listening time into reusable preparation for faster and more capable voice-agent responses.
• Abstract（参考訳）: ツールを使用する音声エージェントは、要求の早期に実行可能な情報が到着しても、スピーチが終わった後、ユーザを待機させることが多い。 投機的アプローチは、音声中に動き始めるが、チャンクバウンドまたは割り込み更新生成は、引数が完了する前にツールコールを切断することができる。 これにより、計算時間と音声の更新を結合し、前もって完了した有用な作業を制限する。 私たちはHeartbeat Thinkingを紹介します。これは、新しいThinker呼び出しを通じて更新されたインプットを処理すると同時に、継続的な呼び出しと送信ツールの終了を可能にします。 定期的な呼び出しは、最新の部分的書き起こしと、完了した推論とツール結果の共有記録を読み取る。 これらの結果は、欠落した議論を解決し、依存した呼び出しを開始するのに役立つ。 SpeechFCEval、FDBench v3、AudioCRAG全体で、HeartbeatはSHANKSスタイルのウィンドウベースライン上での集合的投機的ツールカバレッジや再利用を改善し、ベンチマーク依存の効果が最終タスク品質に影響を及ぼす。 FDBench v3では、ツールカバレッジを16ポイント向上し、応答時間の平均36.4\%削減する。 以上の結果から,現在進行中の音声処理を保存している心拍シンキングのパラダイムは,聴取時間を再利用し,より高速で有能な音声エージェント応答を実現することが示唆された。

関連論文リスト

• RASSG: Repair-Aware Semantic Survival Gating for Streaming Tool Execution [5.53956665729313]
  本稿では,ストリーミング音声中におけるツールの起動とキャンセルを協調的に制御するための補修型セマンティックサバイバルゲーティングを提案する。 RASSGは、キャリブレーションされた引数無効リスクと実行コストを組み合わせて、最後の可能な機会でキャンセルを決定する。 ReCAST、FDB-v3、Audio2Toolの評価は、ツールランタイムとキャンセルパラメータを固定した制御された実行クロックを使用する。
  論文  参考訳（メタデータ） (2026-10-10T07:17:54Z)
• Listen Before You Speak: Response Planning from Listener Facial Reactions for Conversational Speech Generation [1.6921396880325779]
  本稿では,2段階のフレームワークであるReACT-TTSを提案する。このフレームワークは1秒の応答前リスナーの顔のシーケンスを用いて,音声の実現前に次の発話の感情と韻律を計画する。 厳密なDydic MELDプロトコルでは、テンポラルコンディショニングはテキストのみの10種よりも平均マクロF1とVADの一致率が高く、精度は基本的に変化しない。
  論文  参考訳（メタデータ） (2026-09-18T12:18:16Z)
• Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models [51.75139461584678]
  最近の音声合成モデルは高品質な音声を生成するが、複数の音声イベントと時間順を含む指示に従わないことが多い。 本稿では,音声対応の大規模言語モデルを用いた指示レベルフレームワークを提案する。 実験の結果,既存のベンチマークやS3Benchにおける事象完全性,時間的順序付け,共同指示追従の精度が向上し,音質の維持が図られた。
  論文  参考訳（メタデータ） (2026-07-15T03:13:06Z)
• End-to-end Contrastive Language-Speech Pretraining Model For Long-form Spoken Question Answering [33.675277272634666]
  CLSRは、エンドツーエンドのコントラスト言語音声レトリバーである。 下流SQAタスクのために、長い音声記録から質問関連セグメントを効率的に抽出する。
  論文  参考訳（メタデータ） (2025-11-12T12:49:30Z)
• SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models [158.18422855768756]
  現在の大規模言語モデル (LLM) と音声言語モデル (SLM) は、ユーザがターンを終えた後にのみ、思考と行動を取る。 これにより、モデルがユーザのターン中に対話するのを防ぎ、考えるのを待つ間、レスポンスのレイテンシが高くなります。 SHANKSは,ユーザ入力を聴きながら,無意味な連鎖推論をSLMが生成できるフレームワークである。
  論文  参考訳（メタデータ） (2025-10-08T11:48:59Z)
• Stream RAG: Instant and Accurate Spoken Dialogue Systems with Streaming Tool Usage [66.67531241554546]
  従来のASR-LLM-TTSパイプラインに代わる強力な対話システムとして、エンドツーエンドの音声対話システムが登場している。 本稿では,音声入力システムに直接ツールの使用を拡張するための最初のアプローチを紹介する。 提案するStreaming Retrieval-Augmented Generation (Streaming RAG) は,ユーザ音声と並行してツールクエリを予測することにより,ユーザ知覚のレイテンシを低減する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-10-02T14:18:20Z)
• Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
  本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。 我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。 その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
  論文  参考訳（メタデータ） (2024-09-30T06:29:58Z)
• A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
  同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。 NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。 3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:25:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。