論文の概要: Enhancing Audio Reasoning via Semantic Summary Prediction

• arxiv url: http://arxiv.org/abs/2609.20849v1
• Date: Fri, 07 Aug 2026 15:41:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.098695
• Title: Enhancing Audio Reasoning via Semantic Summary Prediction
• Title（参考訳）: 意味的要約予測による音声推論の強化
• Abstract要約: 本稿では,SPAREを提案する。SPAREは,コサイン類似性損失とセンテンス-BERT埋め込みを用いて最終結論に整合したレジスタトークンを導入する。 SALMONNを用いたMMAUとMMARの実験では、ゼロショット推論が向上し、追加の推論コストを伴わない早期の音声への注意が向上した。
• 参考スコア（独自算出の注目度）: 22.917844547310626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Audio Language Models (LALMs) perform well on complex question answering but often show a reasoning gap, where explicit Chain-of-Thought (CoT) reduces accuracy compared to direct answers. We hypothesize that long reasoning sequences shift attention away from the audio input. To address this, we propose SPARE (Semantic Prediction for Audio REasoning), which introduces a register token aligned with the final conclusion using a cosine similarity loss with a Sentence-BERT embedding. This conditions the model's latent space with the target semantic goal before reasoning begins. Experiments on MMAU and MMAR with SALMONN show improved zero-shot reasoning and stronger early attention to audio without additional inference cost.
• Abstract（参考訳）: 大規模音声言語モデル(LALM)は複雑な質問応答でよく機能するが、しばしば推論のギャップを示す。 我々は、長い推論シーケンスが音声入力から注意を遠ざけることを仮定する。 そこで我々は,SPARE(Semantic Prediction for Audio Reasoning)を提案する。SPARE(Semantic Prediction for Audio Reasoning)は,SPARE(Semantic Prediction for Audio Reasoning)とSPARE(Semantic Prediction for Audio Reasoning)の組込みによるコサイン類似性損失を用いて最終結論に整合したレジスタトークンを提案する。 この条件は、モデルが推論を開始する前に、対象のセマンティックゴールを持つ潜在空間を条件とする。 SALMONNを用いたMMAUとMMARの実験では、ゼロショット推論が向上し、追加の推論コストを伴わない早期の音声への注意が向上した。

関連論文リスト

• Spoken Language Models that Think Aloud [49.8808094623973]
  Chain-of-Thought (CoT)推論は言語モデルの能力を改善し、Spoken Language Models (SLM)に直接適用した。 本稿では,Thinker-Talkerアーキテクチャ内での推論に基づくSLMのための非同期シンクアラウドフレームワークを提案する。 提案手法は,質問文の回答精度を,連続的な「考えを語る」ベースラインと同等に保ちながら,推論中のユーザの音質を著しく低下させる。
  論文  参考訳（メタデータ） (2026-09-22T14:25:04Z)
• AudioDER: A Deduplication-Enhanced Reasoning Dataset for Post-Training Large Audio-Language Models [42.62457130960257]
  LALM(Large Audio-Language Models)は、幅広い音声理解タスクにおいて強力なパフォーマンスを示しているが、複雑な音声推論に苦戦している。 既存のオーディオ言語データセットは、多くのサンプルが音響内容に非常によく似ている、かなりの冗長性を含んでいることが多い。 LALMのための推論指向の監視を構築するための冗長性を考慮したデータ構築パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-06-12T16:09:49Z)
• Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition [58.25449304752214]
  生音声が既に利用可能である場合に、明示的な音響的手がかりが根拠となるかどうかを考察する。 標準化されたeGeMAPSパラ言語特徴集合から6つの解釈可能な音響概念トークンを導出する。 調整されたトークンは平均リコール(UAR)を改善するが、シャッフル、競合、破損したトークンはパフォーマンスを低下させる。 トークンのみの介入は、ALMに基づく感情計算において、オーディオグラウンドドキューの使用、堅牢性、解釈可能性を調べるための実用的な方法である、と我々は主張する。
  論文  参考訳（メタデータ） (2026-06-05T14:26:06Z)
• Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs [53.41256816230278]
  最近のオーディオ大言語モデル(AudioLLMs)は、顕著な性能逆転を示す。 複雑な推論タスクには優れるが、音の微妙な知覚では一貫して性能が劣る。 音声情報を3つの明示的な構成要素に整理する総合的かつ構造化された監視フレームワークであるUnified Audio (UAS)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T09:30:12Z)
• Mini-Omni-Reasoner: Token-Level Thinking-in-Speaking in Large Speech Models [80.75260664100644]
  Mini-Omni-Reasonerは、"Thinking-in-Speaking"という新しい定式化を通じて、音声内での推論を可能にするフレームワークである。 トークンレベルで音声応答トークンとサイレント推論トークンをインターリーブする。 算術的推論では+19.1%、文脈的理解では+6.4%、出力は短く、復号遅延はゼロである。
  論文  参考訳（メタデータ） (2025-08-18T15:14:04Z)
• Multi-task self-supervised learning for Robust Speech Recognition [75.11748484288229]
  本稿では,雑音および残響環境下での頑健な音声認識のためのPASE+を提案する。 我々は、様々なランダムな乱れで入力信号を汚染するオンライン音声歪みモジュールを用いる。 次に,再帰型ネットワークと畳み込み型ネットワークを効率よく組み合わせて,短時間および長期の音声力学をよりよく学習する改良型エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-01-25T00:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。