論文の概要: Learning When to Think While Listening in Large Audio-Language Models

• arxiv url: http://arxiv.org/abs/2605.27190v1
• Date: Tue, 26 May 2026 15:43:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.39039
• Title: Learning When to Think While Listening in Large Audio-Language Models
• Title（参考訳）: 大規模音声言語モデルにおける聴取時の時間学習
• Authors: Zhiyuan Song, Weici Zhao, Yang Xiao, Suhao Yu, Cheng Zhu, Jiatao Gu,
• Abstract要約: LALM(Large Audio-Language Models)のための学習可能な待ち行列制御形式を導入する。 人間の会話の漸進的な性質に触発され、コントローラーは、いつ待つか、いつ答えるかという部分的なオーディオ証拠に基づいて決定する。 その結果,6リワードDAPOコントローラの行重み付け精度は67.6%から70.3%に向上し,終端から終端までの長さを14%削減した。
• 参考スコア（独自算出の注目度）: 21.451503274426596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Large Audio-Language Models (LALMs) have made real-time, streaming spoken interaction increasingly practical. In this setting, reasoning quality and responsiveness are tightly coupled: delaying reasoning until the speech endpoint can improve answer quality but moves deliberation into user-visible response delay, while answering too early risks committing before decisive evidence arrives. We introduce a learnable wait-think-answer control formulation for LALMs. Motivated by the incremental nature of human conversation, the controller decides under partial audio evidence when to wait, when to externalize a compact reasoning update, and when to answer. Using Qwen2.5-Omni-7B as the base model, we construct aligned wait-think-answer traces from spoken reasoning data, train the controller with supervised fine-tuning (SFT), and then apply Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO). The reward combines answer correctness, action validity, update timing, latency synchronization, reasoning quality, and chain consistency, optimizing the complete wait-think-answer trajectory and not the final answer alone. On a six-task synthetic spoken reasoning question answering (SRQA) benchmark, the six-reward DAPO controller improves the row-weighted accuracy from 67.6% to 70.3% while reducing post-endpoint final-think length by 14% under the same Qwen deployment harness. On a 186-item human-recorded Real Audio Bench, a transfer check beyond text-to-speech (TTS)-rendered speech, the controller family remains functional: SFT achieves the strongest accuracy, while the six-reward DAPO controller is the only learned variant whose final-think length falls below the base. These results suggest that a streaming model should learn when to make intermediate reasoning explicit during the audio stream.
• Abstract（参考訳）: 近年,Large Audio-Language Models (LALMs) の進歩により,リアルタイム・ストリーミング音声対話がますます実践的になっている。 この設定では、推論品質と応答性は緊密に結合される: 音声終端まで推論を遅らせることにより、回答品質は向上するが、ユーザ可視の応答遅延に移行するとともに、決定的な証拠が到着する前に、早期にコミットするリスクに答える。 LALMのための学習可能なウェイト・シンク・アンサー制御法を提案する。 人間の会話の漸進的な性質によって、コントローラーは、いつ待つか、いつコンパクトな推論更新を外部化するか、いつ答えるかを、部分的なオーディオエビデンスに基づいて決定する。 基本モデルとしてQwen2.5-Omni-7Bを用いて、音声推論データから整列した待ち考え答えトレースを構築し、教師付き微調整(SFT)でコントローラを訓練し、デカップリングクリップと動的サンプリングポリシー最適化(DAPO)を適用した。 報酬は、回答の正当性、アクションの妥当性、更新タイミング、レイテンシ同期、推論品質、チェーンの整合性を組み合わせ、完全な待ち考えと回答の軌跡を最適化する。 6タスクの合成音声推論質問応答 (SRQA) ベンチマークでは、6リワードDAPOコントローラは行重み付けの精度を67.6%から70.3%に改善し、同じQwen配置ハーネスの下で最終概念の長さを14%削減した。 186itemのReal Audio Benchでは、テキスト音声(TTS)以外の転送チェックが機能し続けており、SFTは最も正確な精度を実現している一方、6-reward DAPOコントローラは最終概念がベースより下にある唯一の学習版である。 これらの結果は、ストリーミングモデルが、オーディオストリーム中に中間的推論を明示するタイミングを学習すべきであることを示唆している。

関連論文リスト

• UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction [7.775050285048427]
  音声アシスタントは人間のような会話システムに向けて人工的な伝播を駆動しています。 音声活動検出(VAD)やターンテイク検出(TD)といったフロントエンドコンポーネントは、音声アシスタントにとって不可欠である。 本報告では, フルグレッシブ音声システムに適した初の統合音声フロントエンド LLM (UAF) を提案する。
  論文  参考訳（メタデータ） (2026-04-21T08:24:55Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
  Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。 REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。 スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
  論文  参考訳（メタデータ） (2026-02-18T02:55:55Z)
• LTS-VoiceAgent: A Listen-Think-Speak Framework for Efficient Streaming Voice Interaction via Semantic Triggering and Incremental Reasoning [27.13598270494417]
  LTS-VoiceAgent は Listen-Think-Speak フレームワークである。 意味のある接頭辞を検出するDynamic Semantic Triggerと、背景のThinkerと前景のスピーカーをコーディネートするDual-Role Stream Orchestratorを備えている。
  論文  参考訳（メタデータ） (2026-01-26T15:42:35Z)
• Can Speech LLMs Think while Listening? [34.188674303810394]
  CoT(Chain-of- Thought)はテキストベース音声モデルの推論能力を大幅に向上させることが示されている。 そこで本研究では,テキスト空間における推論により,音声のLLMの精度が平均2.4倍向上することを示す。 ユーザクエリが終了する前に,モデルが推論を開始できるようにすることで,推論から追加のレイテンシを低減する手法を提案する。
  論文  参考訳（メタデータ） (2025-10-08T19:50:58Z)
• Chronological Thinking in Full-Duplex Spoken Dialogue Language Models [66.84843878538207]
  時系列思考は、完全なSDLMの応答品質を改善することを目的としている。 追加のレイテンシがない: ユーザが話すのをやめると、エージェントは考えるのをやめ、それ以上の遅延なしに話し始める。 結果: 客観的指標と人的評価の両面から, 時系列思考の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-10-02T10:28:11Z)
• AURA: A Fine-Grained Benchmark and Decomposed Metric for Audio-Visual Reasoning [3.949628618389608]
  AURAは、Audio-Visual Large Language Models (AV-LLMs) とOmni-Modal Language Models (OLMs) のクロスモーダル推論能力を評価するためのベンチマークである。 AURAには、因果性、音色とピッチ、テンポとAV同期、未解決性、暗黙の気遣い、スキルプロファイリングといった6つの困難な認知領域に関する質問が含まれている。 本稿では,理性評価のための頑健なツールの欠如に対処する新しい計量AuraScoreを提案する。
  論文  参考訳（メタデータ） (2025-08-10T20:06:42Z)
• DUAL: Textless Spoken Question Answering with Speech Discrete Unit Adaptive Learning [66.71308154398176]
  SQA (Spken Question Answering) は近年注目され, 目覚ましい進歩を遂げている。 既存のSQA手法は、収集に時間と費用がかかる自動音声認識(ASR)の転写に依存している。 本研究は,未ラベルのデータを事前学習に活用し,SQAダウンストリームタスクによって微調整される離散単位適応学習(DUAL)という,ASR transcript-free SQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-09T17:46:22Z)
• Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition [66.47000813920619]
  我々はLASOと呼ばれる非自己回帰型エンドツーエンド音声認識システムを提案する。 非自己回帰性のため、LASOは他のトークンに依存することなくシーケンス内のテキストトークンを予測する。 我々は,中国における公開データセットAISHELL-1の実験を行った。
  論文  参考訳（メタデータ） (2020-05-11T04:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。