論文の概要: Causal Tracing of Audio-Text Fusion in Large Audio Language Models

• arxiv url: http://arxiv.org/abs/2603.13768v1
• Date: Sat, 14 Mar 2026 05:40:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.392861
• Title: Causal Tracing of Audio-Text Fusion in Large Audio Language Models
• Title（参考訳）: 大規模音声言語モデルにおける音声テキスト融合の因果的追跡
• Abstract要約: 我々は、音声理解におけるLALMの内部情報の流れを調べるために因果追跡を適用した。 DeSTA,Qwen,Voxtralを横断的に層状およびトークン的に解析することにより,個々の隠れ状態の因果効果を評価する。
• 参考スコア（独自算出の注目度）: 48.849764961130795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the strong performance of large audio language models (LALMs) in various tasks, exactly how and where they integrate acoustic features with textual context remains unclear. We adapt causal tracing to investigate the internal information flow of LALMs during audio comprehension. By conducting layer-wise and token-wise analyses across DeSTA, Qwen, and Voxtral, we evaluate the causal effects of individual hidden states. Layer-wise analysis identifies different fusion strategies, from progressive integration in DeSTA to abrupt late-stage fusion in Qwen. Token-wise analysis shows that the final sequence token acts as an informational bottleneck where the network decisively retrieves relevant information from the audio. We also observe an attention-like query mechanism at intermediate token positions that triggers the model to pull task-relevant audio context. These findings provide a clear characterization of when and where multi-modal integration occurs within LALMs.
• Abstract（参考訳）: 様々なタスクにおける大規模音声言語モデル(LALM)の性能は高いが、音響的特徴とテキスト的文脈を正確にどのように統合するかは、まだ不明である。 我々は、音声理解におけるLALMの内部情報の流れを調べるために因果追跡を適用した。 DeSTA,Qwen,Voxtralを横断的に層状およびトークン的に解析することにより,個々の隠れ状態の因果効果を評価する。 レイヤーワイズ分析は、DeSTAの進歩的な統合からQwenの急激な後期融合まで、異なる融合戦略を特定する。 Token-wise analysisによると、最終シーケンストークンは、ネットワークがオーディオから決定的に関連情報を検索する情報ボトルネックとして機能する。 また、タスク関連音声コンテキストをトリガーする中間トークン位置において、アテンションのようなクエリ機構も観察する。 これらの知見はLALM内でのマルチモーダル統合の発生時期と発生時期を明らかにした。

関連論文リスト

• What Did the MLLM Hear? Token-Level Spectro-Temporal Grounding for Audio MLLM Explainability [6.338357793019971]
  音声MLLMによって生成されたキャプションのトークンレベルの時間的グラウンド化のための,最初のポストホックフレームワークであるSTAGを紹介した。 STAGは、符号化された音声表現のターゲットトークン固有の語彙投影を用いて、生成されたトークンの時間的サポートを推定する。
  論文  参考訳（メタデータ） (2026-09-11T10:08:29Z)
• From Sounds to Scenes: A Benchmark for Evaluating Context-Aware Auditory Scene Understanding in Large Audio Language Models [19.687157920670987]
  実世界の聴覚解釈には文脈を考慮した聴覚シーン理解(CASU)が必要である 本稿では、音声LLMが音声、音響イベント、背景環境からなる聴覚シーンを解釈できるかどうかを評価するCASUベンチマークを提案する。 本稿では,リアルタイムのシーン音声を合成音声で合成することにより,時間精度の高い半合成音声ストリームを構築するためのスケーラブルなパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-06-24T04:42:57Z)
• ATIR: Towards Audio-Text Interleaved Contextual Retrieval [63.68521448682396]
  本稿では,Audio-Text Interleaved contextual Retrieval (ATIR)タスクを導入する。 このベンチマークは、意味検索における既存の音声検索データセットの限界を実質的に解決する。
  論文  参考訳（メタデータ） (2026-04-22T07:11:58Z)
• Do Audio-Visual Large Language Models Really See and Hear? [66.8531220331223]
  我々は音声と視覚機能がどのように進化し、最終的なテキスト出力を生成するためにAVLLMの異なる層を融合するかを分析する。 AVLLMの基本的なモダリティバイアスを明らかにし、マルチモーダルLLMがオーディオとビジョンをどのように統合するかに関する新しい力学的な洞察を提供する。
  論文  参考訳（メタデータ） (2026-04-03T00:48:49Z)
• An Evaluation of Interleaved Instruction Tuning on Semantic Reasoning Performance in an Audio MLLM [15.340075567628466]
  本研究は,プロンプト内で音声トークンをインターリーブするMLLMにおいて,インターリーブド・インストラクション・チューニングが与える影響について検討した。 その結果,ゼロショットインターリーブでも推論タスクの性能は向上するが,微調整が少なすぎると結果がさらに改善することがわかった。
  論文  参考訳（メタデータ） (2025-11-04T03:54:55Z)
• Speech Discrete Tokens or Continuous Features? A Comparative Analysis for Spoken Language Understanding in SpeechLLMs [59.230858581944425]
  音声処理には、離散トークンと連続的な特徴の2つの主要なアプローチが出現している。 自己教師付き学習(SSL)に基づく離散的かつ連続的な特徴を、同じ実験環境下で比較する。 その結果, 連続的な特徴は, 様々なタスクにおいて, 離散トークンよりも優れていた。
  論文  参考訳（メタデータ） (2025-08-25T10:16:07Z)
• When Audio and Text Disagree: Revealing Text Bias in Large Audio-Language Models [18.160420407067743]
  MCR-BENCHは、LALMが一貫性のない音声テキストペアを提示する際にどのように情報を優先するかを評価するために設計された最初のベンチマークである。 モダリティ間に不整合が存在する場合、LALMはテキスト入力に対して有意なバイアスを示す。 この傾向は、オーディオ中心のタスクのパフォーマンスを著しく低下させ、現実世界のアプリケーションにとって重要な信頼性上の懸念を引き起こす。
  論文  参考訳（メタデータ） (2025-08-21T09:58:24Z)
• Detect Any Sound: Open-Vocabulary Sound Event Detection with Multi-Modal Queries [18.147981850263708]
  マルチモーダルクエリによってガイドされるオープン語彙SEDのための問合せベースのフレームワークを提案する。 DASMはSEDをフレームレベルの検索タスクとして定式化し、音声機能はテキストやオーディオプロンプトからのクエリベクトルと一致している。 DASMは、局所化精度と新しいクラスへの一般化のバランスを効果的に保ち、オープン語彙設定においてCLAPベースの手法より優れている。
  論文  参考訳（メタデータ） (2025-07-22T08:24:01Z)
• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• Locality-aware Cross-modal Correspondence Learning for Dense Audio-Visual Events Localization [50.122441710500055]
  オーディオ・ビジュアル・イベント(DAVE)のための局所性を考慮したクロスモーダル対応学習フレームワークLoCoについて述べる。 LoCo は局所対応特徴 (LCF) 変調を適用し、モダリティ共有セマンティクスに焦点を合わせるために単調エンコーダを強制する。 さらに、データ駆動方式で注意領域を動的に調整するローカル適応クロスモーダル(LAC)インタラクションをカスタマイズする。
  論文  参考訳（メタデータ） (2024-09-12T11:54:25Z)
• DeepSafety:Multi-level Audio-Text Feature Extraction and Fusion Approach for Violence Detection in Conversations [2.8038382295783943]
  会話における言葉と発声の手がかりの選択は、個人の安全と犯罪防止のための自然言語データの不足した豊富な情報源を示す。 本稿では,会話における暴力行為の程度を検出するために,多段階の特徴を抽出・融合する新たな情報融合手法を提案する。
  論文  参考訳（メタデータ） (2022-06-23T16:45:50Z)
• End-to-End Active Speaker Detection [58.7097258722291]
  本稿では,特徴学習と文脈予測を共同で学習するエンド・ツー・エンドのトレーニングネットワークを提案する。 また、時間間グラフニューラルネットワーク(iGNN)ブロックを導入し、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割する。 実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-03-27T08:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。