論文の概要: CVIF: A Criticality-Driven Visual Intervention Framework for Geometric Diagram Understanding in MLLMs

• arxiv url: http://arxiv.org/abs/2610.06399v1
• Date: Mon, 05 Oct 2026 14:21:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 08:38:52.830174
• Title: CVIF: A Criticality-Driven Visual Intervention Framework for Geometric Diagram Understanding in MLLMs
• Title（参考訳）: CVIF:MLLMにおける幾何学図理解のための臨界駆動型ビジュアルインターベンションフレームワーク
• Abstract要約: CVIF(Committity-Driven Visual Intervention Framework)を導入した。 CVIFは重要なレイヤをローカライズし、エビデンスアグリゲーションからセマンティックデコーディングへの移行中に視覚的介入を実行する。 PGPS9K と PGDP5K の実験では、CVIF は F1 を 77.85 から 85.58 へ、それぞれ 75.23 から 82.84 へ引き上げている。
• 参考スコア（独自算出の注目度）: 10.482443083848128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant progress in visual tasks by Multimodal Large Language Models (MLLMs), geometric diagram understanding remains challenging due to the presence of sparse visual cues and ambiguous symbol-primitive associations. MLLMs may therefore rely on textual priors, producing interpretations that conflict with visual evidence. We introduce the training-free Criticality-Driven Visual Intervention Framework (CVIF), an inference-time method that localizes critical layers and executes visual interventions during the transition from evidence aggregation to semantic decoding. At these layers, a Geometry-Constrained Local Relation Reconstruction (GCLR) module selects and weights vertex-centered visual evidence, while an Adaptive Visual Steering Operator (AVSO) redistributes attention mass toward the selected tokens. Experiments on PGPS9K and PGDP5K show that CVIF raises Overall F1 from 77.85 to 85.58 and from 75.23 to 82.84, respectively, establishing a novel inference-time visual intervention paradigm.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)による視覚的タスクの大幅な進歩にもかかわらず、疎視的手がかりやあいまいなシンボルと原始的関連性の存在により、幾何学的図形理解は依然として困難である。 したがって、MLLMはテキストの先行に頼り、視覚的証拠と矛盾する解釈を生成する。 本稿では,重要レイヤをローカライズし,エビデンスアグリゲーションからセマンティックデコーディングへ移行する際の視覚的介入を実行する推論時手法として,CVIF(Committity-Driven Visual Intervention Framework)を導入する。 これらの層では、Geometry-Constrained Local Relation Reconstruction (GCLR)モジュールが頂点中心の視覚的エビデンスを選択し、重み付けし、Adaptive Visual Steering Operator (AVSO)は選択したトークンに対して注意質量を再分配する。 PGPS9KとPGDP5Kの実験では、CVIFは総体F1を77.85から85.58に、それぞれ75.23から82.84に上昇させ、新しい推論時視覚介入パラダイムを確立している。

関連論文リスト

• Think with Structured Grounding: Perceptual Reinforcement Learning for Chart and Visual-Tabular Understanding [41.288665175678794]
  Think with Structured Grounding (TwSG)は、複雑な画像のツール使用能力をモデル内で内部化するために設計された、新しいきめ細かいイメージ認識フレームワークである。 MLLMを用いて、地上の真実に導かれる重要な領域を特定し、教師モデルに高品質な視覚的質問応答データを生成する。 トレーニングパイプラインは,(1)複雑な推論と誤り回復の促進を目的としたマルチターンデータを用いた冷間開始制御微調整(SFT)フェーズ,(2)新しいプロセス報酬機構によって駆動される強化微調整フェーズの2段階からなる。
  論文  参考訳（メタデータ） (2026-08-23T14:07:14Z)
• Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models [58.9387276447485]
  視覚推論 前者(VIF)は、純粋な視覚表現とモデルの出力空間の間の橋渡しを確立する軽量アーキテクチャモジュールである。 一般的な推論、OCR、テーブル理解、視覚中心の評価、幻覚を含む14のベンチマークタスクについて実験を行った。
  論文  参考訳（メタデータ） (2026-05-18T10:04:22Z)
• From Attenuation to Attention: Variational Information Flow Manipulation for Fine-Grained Visual Perception [12.4823697158657]
  MLLM(Multimodal Large Language Models)は、一般的な視覚的理解において印象的な能力を示す。 彼らはしばしば、小さな物体を識別したり、微妙な視覚的関係を識別する必要のある、きめ細かい知覚タスクに干渉する。 この制限は、ネットワーク伝搬中の支配的なテキストトークンによって、細粒度の細かい視覚信号が早期に抑制または希釈される現象である、視覚減衰に起因している。 既存の入力中心のソリューションは、情報損失の本質的なメカニズムを根本的に逆転させることができない。 本稿では,この課題に対処するための変動情報フロー(VIF)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T09:32:13Z)
• Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models [84.94288033791346]
  我々は,MLLMにおける視覚的表現の劣化という,広範にわたる課題を明らかにするために,詳細な診断分析を行う。 我々は,この現象を,単一のテキスト生成目標によって引き起こされる視覚的犠牲とみなし,そのモデルが解答生成の最適化のためにその視覚的忠実度を損なう。 本研究では,初期視覚特性を予測するために,劣化した中間特徴を強制的に予測し,MLLMの内部表現に固有の視覚特性を維持するための予測正則化を提案する。
  論文  参考訳（メタデータ） (2026-03-21T13:10:37Z)
• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• Stateful Cross-layer Vision Modulation [19.730096071316876]
  マルチモーダル大言語モデル(MLLM)は、視覚表現を強化するために多層視覚特徴融合を広く採用している。 既存のアプローチは通常、表現形成プロセス自体に介入することなく、視覚符号化後の静的連結や重み付けアグリゲーションを実行する。 本稿では,これらの制約に対処する多層メモリ変調ビジョンフレームワーク(SCVM)を提案する。
  論文  参考訳（メタデータ） (2026-02-28T13:57:19Z)
• Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models [58.91911788912665]
  より識別的な視覚表現の学習において,MLLMの学習を容易にする新しい学習フレームワークであるLaVerを提案する。 本手法はMLLMに対して直接視覚的アクティベーションを提供し,視覚的アサインメントが増大し,視覚情報の利用が向上したことを示す。
  論文  参考訳（メタデータ） (2025-12-06T04:20:13Z)
• GLIMPSE: Holistic Cross-Modal Explainability for Large Vision-Language Models [0.0]
  GLIMPSEはLVLM出力を最も関連性の高い視覚的エビデンスとテキスト信号に共同で属性付けるモデルに依存しないフレームワークである。 GLIMPSEは、勾配重み付けされた注意、適応層伝播、および関連重み付けされたトークン集合を融合させ、全体的な応答レベル熱マップを生成する。 我々は,LVLMのクロスモーダル属性,トレース推論のダイナミクス,系統的ミスアライメントの分析,幻覚と偏見の診断,透明性の確保に関する詳細な知見を明らかにするための分析的アプローチを実証する。
  論文  参考訳（メタデータ） (2025-06-23T18:00:04Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。