論文の概要: Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs

• arxiv url: http://arxiv.org/abs/2605.09422v1
• Date: Sun, 10 May 2026 08:48:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.241342
• Title: Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs
• Title（参考訳）: エンゲージメントのない知覚:LMMにおける因果発見障害の解離
• Authors: Jiafeng Liang, Zhihao Zhu, Zihan Zhang, Baoqi Ren, Shixin Jiang, Runxuan Liu, Tao Ren, Ming Liu, See-Kiong Ng, Bing Qin,
• Abstract要約: 本稿では,結果評価からメカニズム診断へ移行する摂動に基づく評価プロトコルProCauEvalを紹介する。 因果推論において,ビデオコンテンツは体系的に過小評価されている。 教師のネガティブなアライメントに基づく強化学習フレームワークであるADPOを提案する。
• 参考スコア（独自算出の注目度）: 68.58207076756237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Large Multimodal Models (LMMs) have achieved strong performance on general video understanding, their susceptibility to textual prior shortcuts during causal discovery has been recognized as a critical deficit. The underlying mechanisms of this phenomenon remain incompletely understood, as existing benchmarks only measure response accuracy without revealing the sources and extent of the deficit. We introduce ProCauEval, a perturbation-based evaluation protocol that shifts from outcome assessment to mechanism diagnosis, probing causal discovery through five controlled configurations that systematically manipulate visual and textual modalities to decompose their respective contributions to model behavior and dissect the failure modes. Evaluating 17 mainstream LMMs, we find that models faithfully perceive video content yet systematically underexploit it during causal reasoning. We further observe that stronger post-training amplifies rather than mitigates textual prior reliance, and that higher baseline performance correlates with greater fragility under perturbation. To address these, we propose Anti-Distillation Policy Optimization (ADPO), a reinforcement learning framework built on negative teacher alignment, which augments GRPO by explicitly pushing the policy away from a prior-only counterfactual teacher induced by visual corruption. Specifically, ADPO maximizes the divergence between the policy distributions conditioned on the original and visually corrupted inputs, thereby forcing the model to ground its reasoning in visual evidence rather than textual shortcuts. Extensive experiments show that ADPO improves visual engagement without sacrificing fundamental comprehension, thus offering a preliminary step toward reliable causal discovery.
• Abstract（参考訳）: 大規模マルチモーダルモデル (LMM) は, 一般的な映像理解において高い性能を達成しているが, 因果発見におけるテキスト先行ショートカットへの感受性は, 重大な欠陥として認識されている。 この現象の根底にあるメカニズムはいまだに完全に理解されておらず、既存のベンチマークでは、障害の原因や程度を明らかにすることなく、応答の正確さを計測しているだけである。 ProCauEvalは、結果評価からメカニズム診断へ移行し、因果発見を5つの制御された構成を経て、視覚的およびテキスト的モダリティを体系的に操作し、モデル行動へのそれぞれの貢献を分解し、障害モードを識別する、摂動に基づく評価プロトコルである。 主要なLMMを17種類評価し,因果推論において,映像コンテンツを体系的に過小評価するモデルがあることを見出した。 さらに,テキストの事前依存を緩和するよりも,学習後の強化が強く,高いベースライン性能は摂動下での脆弱さと相関することを示した。 これを解決するために, 負の教師アライメントに基づく強化学習フレームワークであるADPOを提案する。 具体的には、ADPOは、元の入力と視覚的に破損した入力に条件付けられたポリシー分布のばらつきを最大化することにより、テキストのショートカットではなく、その推論を視覚的エビデンスに基礎を置くように強制する。 広汎な実験により、ADPOは基本的な理解を犠牲にすることなく視覚的エンゲージメントを改善することが示され、信頼性の高い因果発見に向けた予備的なステップが提供される。

関連論文リスト

• The Cost of Context: Mitigating Textual Bias in Multimodal Retrieval-Augmented Generation [18.83395586542378]
  MLLM(Multimodal Large Language Models)とRAG(Retrieval-Augmented Generation)の統合が進んでいる 再破壊現象を特定し, 定式化した上で, 完全に正確な「おかしな」コンテキストを導入することで, 有能なモデルが早期に正しい予測を放棄する。 本稿では,BAIR(Bottleneck Attention Intervention for Recovery)を提案する。
  論文  参考訳（メタデータ） (2026-05-07T02:27:04Z)
• Enhancing Multimodal In-Context Learning via Inductive-Deductive Reasoning [65.15766304205657]
  In-context Learning (ICL) は、大規模なモデルをいくつかの例を使ってタスクに適応させるが、視覚言語モデル(VLM)への拡張は脆弱である。 我々の分析によると、基本的な限界は帰納的ギャップにあり、モデルはしばしば欠陥のある推論から正しい答えを導き出す。 帰納的帰納的プロセスとしてマルチモーダル ICL を再構成する枠組みを導入する。
  論文  参考訳（メタデータ） (2026-05-04T09:18:19Z)
• DO-Bench: An Attributable Benchmark for Diagnosing Object Hallucination in Vision-Language Models [17.5535076530203]
  オブジェクトレベルの幻覚は、視覚言語モデルにとって依然として中心的な信頼性の課題である。 構造的介入によりソースを分離する制御診断ベンチマークであるDO-Benchを紹介する。 対象幻覚は,集合的精度を超える不均一な機構に依存した障害パターンを反映していることを示す。
  論文  参考訳（メタデータ） (2026-04-18T06:54:02Z)
• Adaptive Uncertainty-Aware Tree Search for Robust Reasoning [30.006968507593452]
  推論時間推論は、複雑な問題解決においてLarge Language Models (LLMs) の機能を向上させる。 プロセス・リワード・モデル (Process Reward Models, PRM) による外部探索が主流である。 我々は, PRMsが, 分布外サンプル(OOD)に対して高い不確実性を示し, 信頼できないスコアを示した経験的証拠を提供する。 そこで我々は,標準探索が線形後悔の蓄積を引き起こす一方で,不確実性認識戦略がサブ線形後悔を達成できることを示す理論的枠組みを確立する。
  論文  参考訳（メタデータ） (2026-02-06T08:40:05Z)
• Think Locally, Explain Globally: Graph-Guided LLM Investigations via Local Reasoning and Belief Propagation [5.191980417814362]
  LLMエージェントは、ほとんどの環境が静的で、必要な情報がモデルのコンテキストウインドウに適合する場合、排他的になる。 直腸型薬剤は、この体制では特に脆い。 本稿では,LLMが限定的な局所的エビデンスマイニングとラベリングを行うためのフレームワークであるEoGを提案する。
  論文  参考訳（メタデータ） (2026-01-25T17:27:19Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• Learning What to Attend First: Modality-Importance-Guided Reasoning for Reliable Multimodal Emotion Understanding [50.014363382140324]
  モダリティ・コンパタンス(MI)は、感情に支配的なモダリティを識別するためのシンプルで効果的なメカニズムである。 MIGRは推論シーケンスを再編成し、その説明は対象の感情に対して最も重要なモダリティから始まる。 その結果、MIGRは推論信頼性を大幅に改善し、感情的に矛盾した説明を伴う正しい予測の事例を減少させることがわかった。
  論文  参考訳（メタデータ） (2025-12-02T12:29:41Z)
• Perception-Consistency Multimodal Large Language Models Reasoning via Caption-Regularized Policy Optimization [72.30168853571216]
  マルチモーダルな言語モデルは、視覚知覚と象徴的推論を統合するタスクに優れています。 CapPO は,(1) 原画像上の条件付き応答とキャプション上の条件付き応答のばらつきを最小限に抑えるキャプションベース整合性正規化,(2) KL 重み付き優位性推定スキームを適応的に拡張して知覚整合性トラジェクトリを強化するキャプションベース整合性正規化という2つの重要なメカニズムを統合した。
  論文  参考訳（メタデータ） (2025-09-26T04:32:26Z)
• Lost at the Beginning of Reasoning [85.17612793300238]
  第1の推論ステップが最終予測に不当に大きな影響を与えることを示す。 本稿では、報酬モデルを利用して高品質な第1推論ステップを特定し、維持する効率的なサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-27T09:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。