論文の概要: How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA

• arxiv url: http://arxiv.org/abs/2607.16094v1
• Date: Fri, 17 Jul 2026 16:25:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.899804
• Title: How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA
• Title（参考訳）: VLMはどのように失敗するのか? : 構成VQAにおける視覚操作の相違
• Abstract要約: VLM(Vision-Language Models)は、オブジェクトの選択、空間関係の解決、属性検証などの複数の推論処理を実行する。 高い集約性能にもかかわらず、このタスクにおけるVLM故障の力学的基礎は未解明のままである。 本稿では,VLMの故障を発生源とする推論演算と,伝播する内部計算経路の両方で分解する操作中心機構を提案する。
• 参考スコア（独自算出の注目度）: 3.2595012241970522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositional visual question answering requires Vision-Language Models (VLMs) to execute multiple reasoning operations like object selection, spatial relation resolution, and attribute verification. Despite strong aggregate performance, the mechanistic basis of VLM failures on this task remains underexplored. To address this gap, we analyze vision-operation misalignment in VLMs by examining how failures relate to specific reasoning operations and the internal computational pathways through which they arise and propagate. We introduce an Operation-centric mechanistic framework that decomposes VLM failures by both the reasoning operation where they originate and the internal computational pathway through which they propagate. Our analysis reveals four mechanistically distinct failure modes: grounding failure, reasoning failure, attribute extraction failure, and language prior dominance failure. Each characterized by a unique relationship between visual grounding strength and answer correctness. Through three complementary causal interventions applied across all transformer layers, we further demonstrate a pathway dissociation: grounding failures route exclusively through the feedforward network, reasoning failures route through late-layer attention, and attribute extraction failures localize to the answer-position feedforward computation. This dissociation demonstrates that different failure types require fundamentally different corrective strategies, providing a principled foundation for targeted improvements to VLM reliability in multimedia reasoning.
• Abstract（参考訳）: 構成的な視覚的質問応答は、オブジェクトの選択、空間的関係の解決、属性検証といった複数の推論操作を実行するために視覚言語モデル(VLM)を必要とする。 高い集約性能にもかかわらず、このタスクにおけるVLM故障の力学的基礎は未解明のままである。 このギャップに対処するために、我々はVLMにおける視覚操作の不整合を、障害が特定の推論操作と、それらが発生し伝播する内部計算経路にどのように関連しているかを調べることによって分析する。 本稿では,VLMの故障を発生源とする推論演算と,伝播する内部計算経路の両方で分解する操作中心機構を提案する。 我々の分析では、4つのメカニカルな障害モードが明らかになっている。 それぞれの特徴は、視覚的接地強さと答えの正しさのユニークな関係である。 これら3つの相補的な因果的介入をトランスフォーマー層全体に適用することにより,フィードフォワードネットワークを経由する障害経路の基底化,レイト層注意による障害経路の推論,属性抽出障害の局所化など,経路の解離がさらに証明される。 この解離は、異なる障害タイプが根本的に異なる補正戦略を必要としていることを示し、マルチメディア推論においてVLMの信頼性を目標とする改善のための原則的な基盤を提供する。

関連論文リスト

• Is Visual Prompting All You Need? Studying VLM Spatial Reasoning under Progressive Visual Scaffolds [12.841957617988148]
  本研究では,タスクの視覚的提示がモデル性能と障害モードを,基礎となる推論問題が変化しない場合にどのように形成するかを検討する。 空間構造をより使いやすくしながら、視覚的モダリティを保ちつつ、軽量な入力側足場を導入する。 視覚提示は,VLMベンチマークが基底認識,下流推論,あるいは両者の混合を計測するかどうかを決定する中心的な要因であることがわかった。
  論文  参考訳（メタデータ） (2026-08-21T14:40:26Z)
• The Ebb and Flow of Multimodal Focus: Scheduling Visual Relay Windows for Grounded VLM Reasoning [82.58503785830632]
  視覚言語モデルはマルチモーダル推論ベンチマークでますます成功するが、言語スタックに入ると視覚的証拠が不安定になることが多い。 本稿では,軽量な学習モジュールを用いたタスク適応型推論時間制御フレームワークTRACEを提案する。 4つのオープンウェイトなVLMバックボーンと7つのベンチマークで、TRACEはグラウンドに敏感な設定で大きく向上している。
  論文  参考訳（メタデータ） (2026-07-13T11:44:23Z)
• Are Reasoning Vision-Language Models Robust to Semantic Visual Distractions? [34.294060886423985]
  Reasoning Vision-Language Models (VLM) は複雑なマルチモーダルタスクにおいて高い性能を達成する。 我々はtextbfDistract-Bench を導入した。これは、textbfsemantic visual distraction に対する VLM の堅牢性を評価するベンチマークである。 以上の結果から,Distract-Benchは視力低下とは異なる堅牢性障害を呈することが明らかとなった。
  論文  参考訳（メタデータ） (2026-06-08T00:40:32Z)
• Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts [58.86896791968143]
  MoE(Multimodal Mixture-of-Experts)モデルは視覚言語タスクにおいて顕著なパフォーマンスを実現している。 モデルは画像の内容が正確に知覚されるが、その後の推論では失敗する。 本稿では,視覚的な入力を処理する際に,タスク関連推論の専門家を適切に活性化できないという,ルーティング・ディトラクションの仮説を提案する。
  論文  参考訳（メタデータ） (2026-04-09T17:59:44Z)
• Discovering Failure Modes in Vision-Language Models using RL [28.02753553386619]
  視覚言語モデル(VLM)は、人間が力ずくで識別する単純な視覚概念を誤解することが多い。 以前の研究では、これらの弱点を手動で特定し、しばしば特定のスキルの欠陥に起因することが判明した。 本稿では,任意の候補VLMの障害モードや盲点を自動的に検出する強化学習(RL)ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-06T15:00:54Z)
• Advancing Adaptive Multi-Stage Video Anomaly Reasoning: A Benchmark Dataset and Method [96.63801368613177]
  本稿では,記述的理解から構造化多段階推論への映像異常解析を向上するタスクを提案する。 我々は8,641本のビデオからなる新しいデータセットを提示し、合計5万本以上のサンプルを作成し、ビデオ異常理解のための最大のデータセットの1つである。 提案したタスクとデータセットに基づいて,適応的階層的推論とリスク認識意思決定をサポートする,Vad-R1-Plusと呼ばれるエンドツーエンドのMLLMベースのVARモデルを開発する。
  論文  参考訳（メタデータ） (2026-01-15T08:09:04Z)
• [De|Re]constructing VLMs' Reasoning in Counting [2.1856941852799134]
  制御された実験条件下での計数作業における7つの最先端ビジョンランゲージモデル(VLM)の推論技術について検討した。 レイヤワイズ解析により、エラーは最終層表現の出力空間への誤ったマッピングによるものであることが明らかになった。 対象とするトレーニングでは,出力層のみの微調整により,最大21%の精度が向上した。
  論文  参考訳（メタデータ） (2025-10-22T13:08:47Z)
• From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization [62.07990937720985]
  DRM(Dimension-level Reward Model)は、大規模言語モデルのための新しい監視フレームワークである。 DRMは3つの基本的、相補的、解釈可能な次元に沿って推論プロセスの品質を評価する。 実験の結果、DRMは効果的な監視信号を提供し、LCMの最適化を誘導し、推論能力を向上することが示された。
  論文  参考訳（メタデータ） (2025-10-13T14:29:15Z)
• Compose and Fuse: Revisiting the Foundational Bottlenecks in Multimodal Reasoning [49.17801010041155]
  MLLM(Multimodal large language model)は、テキスト、ビジョン、オーディオなどの多様な入力を統合することで推論を強化することを約束する。 しかし、追加のモダリティがパフォーマンスを損なうかどうかについての報告は相反する。 我々は、多モーダル推論を6つの相互作用パターンに分類し、事実がどのようにモダリティに分散され、論理的に組み合わせられるかを決定する。
  論文  参考訳（メタデータ） (2025-09-28T08:46:11Z)
• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• What Do VLMs NOTICE? A Mechanistic Interpretability Pipeline for Gaussian-Noise-free Text-Image Corruption and Evaluation [16.033361754660316]
  視覚言語モデル(VLM)における可読性評価パイプライン SVO-Probes、MIT-States、Facial Expression Recognitionデータセットに関する実験により、VLM意思決定における重要な洞察が明らかになった。 この研究は、より透明で解釈可能なマルチモーダルシステムへの道を開いた。
  論文  参考訳（メタデータ） (2024-06-24T05:13:19Z)
• CogCoM: A Visual Language Model with Chain-of-Manipulations Reasoning [61.21923643289266]
  カオス・オブ・マニピュレーション(Chain of Manipulations)は、視覚言語モデル(Vision-Language Models)が、エビデンスを段階的に解決するメカニズムである。 トレーニング後、モデルは外部ツールを介さずに、本質的な操作(グラウンド、ズームインなど)を積極的に行うことで、様々な視覚的問題を解決することができる。 トレーニングされたモデルである textbfCogCoM は、4つのカテゴリの9つのベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-02-06T18:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。