論文の概要: Compositional Failure in Audio-Visual LLMs: Late-Layer Prior Dominance Under Cross-modal Conflict

• arxiv url: http://arxiv.org/abs/2608.27785v1
• Date: Thu, 27 Aug 2026 23:48:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.166291
• Title: Compositional Failure in Audio-Visual LLMs: Late-Layer Prior Dominance Under Cross-modal Conflict
• Title（参考訳）: オーディオ・ビジュアルLLMにおける構成不良:クロスモーダル・コンフリクト下での遅延先行支配
• Abstract要約: AV-LLMの合成一般化テストとして音声と視覚の衝突について検討する。 VideoLLaMA 2-7B-AVでは、3つのアライメント構成がAVHBenchの正弦のYes/Noサブセットに近接している。 時間的アライメントの強い変化はバイアスに答えるが、コンポジションコンフリクトの解決は改善しない。
• 参考スコア（独自算出の注目度）: 4.412115046159406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study audio-visual conflict as a compositional generalization test for AV-LLMs: the model must combine synchronized but semantically incompatible audio and video evidence and decide whether the pair matches. On VideoLLaMA 2-7B-AV, three alignment configurations remain nearchance on the scored exact-string Yes/No subset of AVHBench, even though their output priors shift substantially. Similarly, off-the-shelf InternVideo2 experienced a 32.3% accuracy decrease specifically under cross-modal conflict, accompanied by a 17.3% instruction-following failure. We call this failure mode prior dominance: late-layer commitment to an internally preferred answer pattern that is weakly grounded in the conflicting inputs. To explain this behavior, we conduct a mechanistic interpretability analysis and find that commitment remains concentrated at 25.5 $\pm$ 1 layers. We show that stronger temporal alignment changes answer bias, but do not improve compositional conflict resolution. Code and data to reproduce our mechanistic audit and behavioral evaluations are available at https://github.com/AdarshSudheer09/AVHBench-dmai.
• Abstract（参考訳）: AV-LLMの合成一般化テストとして,音声と視覚の衝突について検討する。 VideoLLaMA 2-7B-AVでは、3つのアライメント構成がAVHBenchの正弦のYes/Noサブセットに近接している。 同様に、市販のInternVideo2はクロスモーダル・コンフリクトで32.3%の精度低下を経験し、17.3%の命令追従失敗を経験した。 内部的に望ましい回答パターンへの下位層へのコミットメントは、競合する入力に弱く根ざしている。 この振る舞いを説明するために、機械論的解釈可能性分析を行い、コミットメントが25.5$\pm$ 1層に集中していることを確認する。 時間的アライメントの強い変化はバイアスに答えるが、コンポジションコンフリクトの解決は改善しない。 メカニスティック監査と行動評価を再現するコードとデータはhttps://github.com/AdarshSudheer09/AVHBench-dmai.comで公開されている。

関連論文リスト

• What Does a Temporal Benchmark Score Measure? Decomposing Channel Use in Video VLM Evaluation [1.2183405753834562]
  時間的ビデオ質問応答ベンチマークのスコアは、あるモデルが時間的理解を持っていることを測ることを目的としているが、それは2つの質問を混同している。 Molmo2は前方イベントの読み上げ順序をオフに、Qwen3-VLは実際に見た逆イベントに応答し、視覚的順序(比較的)を読む。 この分割は2つのベンチマークと2つのスケールでの複数の時間的タスクにまたがっており、アクティベーションパッチは、競合の成果物ではなく、実際の内部プロパティであることを示している。
  論文  参考訳（メタデータ） (2026-07-14T03:26:33Z)
• A Closer Look at Failure Modes in Temporal Understanding of Large Audio-Language Models [64.68800440221138]
  大規模音声言語モデル(LALM)は、様々な音声理解タスクにおいて高いパフォーマンスを達成するが、時間的推論に苦慮する。 メカニスティック解析のために設計された3つの基礎的タスクに対して,1,657問のベンチマークを導入する。 拡張性に対する注意の重み付けを比較すると、音声トークン間での注意の再分配は、音声の注意を増大させるよりも効果的であることがわかった。
  論文  参考訳（メタデータ） (2026-06-16T01:57:56Z)
• Beyond Text Following: Repairable Arbitration Reversals in Audio-Language Models [34.99721206808916]
  音声モデルはしばしば、音声証拠が明確であっても、音声と矛盾するテキストに従う。 Gated Audio Counterfactual Logit Correction (GACL)を提案する。 厳格な5ppの忠実度ドロップの予算の下で、GACLは最高のコントラストベースラインよりも17.8ポイントのnAUCを改善している。
  論文  参考訳（メタデータ） (2026-06-03T17:57:51Z)
• When Vision Speaks for Sound [31.08404410801052]
  ビデオ対応MLLMの急速な進歩にもかかわらず、ビデオにおける明らかな音声理解はビジョン駆動であることが多い。 この問題は、最先端のオープンソースオムニモデルと、GoogleやOpenAIといったプロバイダによるクローズドソースモデルの両方にまたがっている。 我々は、この障害モードを、モデルが(頻繁に)オーディオグラウンドに現れるが、実際にオーディオとビジュアルストリームが本当に一致しているかどうかを検証せずに、視覚-音響相関を利用する、オーディオ-ビジュアル・クリーバー・ハンス効果として特徴付けている。
  論文  参考訳（メタデータ） (2026-05-13T05:00:19Z)
• Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought [49.53567098922619]
  モーダル間干渉を低減するための音声・視覚的推論フレームワークとして, 分離ファースト, ファウズ・レイト (SFFL) を提案する。 SFFLは、モーダリティ固有の連鎖推論を強制し、別々の音声および視覚的推論トレースを生成し、答えのエビデンスを統合する。 実験では精度と頑健さの両面で一貫した改善が示され、一般的なAVQAベンチマークでは5.16%、クロスモーダル幻覚ベンチマークでは11.17%の平均的な相対的な増加が得られた。
  論文  参考訳（メタデータ） (2026-05-11T02:50:27Z)
• To Fuse or to Drop? Dual-Path Learning for Resolving Modality Conflicts in Multimodal Emotion Recognition [87.22988227382329]
  マルチモーダル感情認識(MER)は、テキスト、音声、視覚を組み合わせることで恩恵を受けるが、標準的な融合は、モダリティが相反する場合に失敗することが多い。 我々は,いつフューズするか,いつモダリティを落とすのかを学習する統合フレームワークであるDual-Path Conflict Resolution (DCR)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T13:11:33Z)
• Diagnosing Knowledge Conflict in Multimodal Long-Chain Reasoning [78.86309644343295]
  長い連鎖推論におけるマルチモーダルな大言語モデル(MLLM)は、異なる知識源が矛盾する信号を提供するときにしばしば失敗する。 我々は、これらの失敗を知識の衝突という統一概念の下で形式化し、入力レベルの客観的衝突とプロセスレベルの効果的な衝突を区別する。 本研究は,知識衝突下でのマルチモーダル推論のメカニズムを考察し,長CoT障害の診断と制御を可能にする。
  論文  参考訳（メタデータ） (2026-02-16T07:10:44Z)
• AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge [57.66282463340297]
  知識の衝突は、大きな言語モデルの文脈における情報と、そのパラメータに格納された知識との相違から生じる。 コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度なインスタンスレベルのアプローチを提案する。 ADACADは静的コントラストベースラインよりも平均QA精度14.21%(絶対)のデコードベースラインを一貫して上回り、要約の事実性を6.19倍(AlignScore)向上させることを示す。
  論文  参考訳（メタデータ） (2024-09-11T16:35:18Z)
• DAC: 2D-3D Retrieval with Noisy Labels via Divide-and-Conquer Alignment and Correction [26.164120380820307]
  マルチモーダル・ダイナミックディビジョン(MDD)とアダプティブ・アライメント・アンド・コレクション(AAC)を組み合わせたディバイド・アンド・コンカー2D-3Dクロスモーダル・アライメント・アンド・コレクション・フレームワークを提案する。 AACでは、異なるサブセットのサンプルを異なるアライメント戦略で利用し、セマンティックなコンパクト性を完全に強化し、一方、ノイズの多いラベルに過度に適合させる。 実世界のシナリオにおける有効性を評価するため,我々は,挑戦的なノイズベンチマークを導入する。 N200は200kレベルのサンプルを1156個の現実的なノイズラベルでアノテートした。
  論文  参考訳（メタデータ） (2024-07-25T05:18:18Z)
• A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition [53.800937914403654]
  AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。 ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。 本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T06:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。