論文の概要: Visual Structures Helps Visual Reasoning: Addressing the Binding Problem in VLMs

• arxiv url: http://arxiv.org/abs/2506.22146v1
• Date: Fri, 27 Jun 2025 11:44:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.190125
• Title: Visual Structures Helps Visual Reasoning: Addressing the Binding Problem in VLMs
• Title（参考訳）: VLMのバインディング問題に対処する視覚構造
• Authors: Amirmohammad Izadi, Mohammad Ali Banayeeanzade, Fatemeh Askari, Ali Rahimiakbar, Mohammad Mahdi Vahedi, Hosein Hasani, Mahdieh Soleymani Baghshah,
• Abstract要約: 本稿では,低レベル空間構造による視覚入力の増大という,シンプルながら効果的な介入を提案する。 私たちは、コアの視覚的推論タスクに対して、実質的なパフォーマンス改善を実証的に示します。
• 参考スコア（独自算出の注目度）: 3.090279286701713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite progress in Vision-Language Models (VLMs), their capacity for visual reasoning is often limited by the \textit{binding problem}: the failure to reliably associate perceptual features with their correct visual referents. This limitation underlies persistent errors in tasks such as counting, visual search, scene description, and spatial relationship understanding. A key factor is that current VLMs process visual features largely in parallel, lacking mechanisms for spatially grounded, serial attention. This paper introduces a simple yet effective intervention: augmenting visual inputs with low-level spatial structures (e.g., horizontal lines) and pairing this with a textual prompt that encourages sequential, spatially-aware parsing. We empirically demonstrate substantial performance improvements across core visual reasoning tasks. Specifically, our method improves GPT-4o visual search accuracy by 25.00%, increases counting accuracy by 26.83%, reduces edit distance error in scene description by 0.32, and enhances performance on spatial relationship tasks by 9.50% on a a 2D synthetic dataset. Furthermore, we find that the visual modification is essential for these gains; purely textual strategies, including Chain-of-Thought prompting, are insufficient and can even degrade performance. Our method enhances binding only with a single-query inference, underscoring the importance of visual input design over purely linguistically-based approaches. These findings suggest that low-level visual structuring is a powerful and underexplored direction for improving compositional visual reasoning and could serve as a general strategy for enhancing VLM performance on spatially grounded tasks.
• Abstract（参考訳）: VLM(Vision-Language Models)の進歩にもかかわらず、視覚的推論の能力は、しばしば \textit{binding problem} によって制限される。 この制限は、カウント、ビジュアル検索、シーン記述、空間的関係理解といったタスクにおける永続的なエラーの根底にある。 重要な要素は、現在のVLMが視覚的特徴をほぼ並列に処理し、空間的に接地された連続的な注意のメカニズムを欠いていることである。 本稿では,低レベルの空間構造(例えば水平線)で視覚入力を増強し,それをテキストプロンプトと組み合わせることで,逐次的かつ空間認識的な解析を促進するという,シンプルかつ効果的な介入を提案する。 私たちは、コアの視覚的推論タスクに対して、実質的なパフォーマンス改善を実証的に示します。 具体的には、GPT-4oの視覚的検索精度を25.00%向上し、カウント精度を26.83%向上し、シーン記述における編集距離誤差を0.32削減し、2次元合成データセット上での空間的関係タスクの性能を9.50%向上させる。 さらに、これらの利得には視覚的な修正が不可欠であることが明らかとなり、純粋にテキストによる戦略であるChain-of-Thoughtのプロンプトは不十分であり、性能を低下させる可能性さえある。 本手法は単一クエリ推論のみでのバインディングを強化し,純粋言語的アプローチよりも視覚入力設計の重要性を強調する。 これらの結果から,低レベルの視覚構造は構成的視覚的推論を改善するための強力で過小評価された方向であり,空間的に接地されたタスクにおいてVLM性能を向上させるための一般的な戦略となる可能性が示唆された。

関連論文リスト

• Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
  トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。 提案手法は,複数の段階において重要なトークン選択と軽量なコンテキストマージを行い,攻撃的トークン予算の下でもきめ細かい視覚情報を保持できる。
  論文  参考訳（メタデータ） (2025-06-27T14:55:40Z)
• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• Caption This, Reason That: VLMs Caught in the Middle [3.4820139118440676]
  VLM(Vision-Language Models)は近年,視覚的理解の進歩を目覚ましいものにしている。 カウントやリレーショナル推論といった視覚的なタスクでは、人間の能力が遅れている。 認識,注意,記憶など,コア認知軸に沿ったVLMのパフォーマンスを解析する。
  論文  参考訳（メタデータ） (2025-05-24T14:25:48Z)
• Top-Down Compression: Revisit Efficient Vision Token Projection for Visual Instruction Tuning [70.57180215148125]
  ビジュアルインストラクションチューニングは、大きな言語モデルで視覚世界を理解できるようにすることを目的としている。 既存の手法は、精度と効率の間の難解なトレードオフに悩まされることが多い。 LLaVA-Meteorは,コア情報を妥協することなく,視覚トークンを戦略的に圧縮する手法である。
  論文  参考訳（メタデータ） (2025-05-17T10:22:29Z)
• Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images [7.823336661261962]
  VLM(Large Vision-Language Models)は、画像の内容を無視し、言語モデルに過剰に依存する傾向にある。 本稿では,S-VCO(Symmetrical Visual Contrastive Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-02-19T18:05:42Z)
• Mitigating Visual Knowledge Forgetting in MLLM Instruction-tuning via Modality-decoupled Gradient Descent [72.1517476116743]
  近年のMLLMは、大規模マルチモーダルデータセットで事前訓練された後に、視覚的理解と推論能力の発達を見せている。 直接微調整や連続学習といった既存のアプローチでは、この問題に明示的に対処することができない。 本稿では,視覚的表現を忘れることの劣化を定量化するために,効果的なランクを活用する新しい視点を提案する。 視覚表現の効果的なランクを維持するために勾配更新を規制するMDGD法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T12:26:34Z)
• Why Vision Language Models Struggle with Visual Arithmetic? Towards Enhanced Chart and Geometry Understanding [94.64781599202882]
  視覚言語モデル(VLM)はマルチモーダルタスクにおいて顕著な進歩を遂げた。 彼らはしばしば、オブジェクトのカウントや長さ比較のような一見単純な機能である視覚的算術に苦しむ。 我々は、ピアジェの認知発達理論に触発された新しいポストトレーニング戦略であるCogAlignを提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:54:49Z)
• Learning to Localize Objects Improves Spatial Reasoning in Visual-LLMs [38.02017186215372]
  大きな言語モデル(LLM)を視覚領域タスクに統合し、視覚的なLLM(V-LLM)を実現することにより、視覚言語タスクにおける例外的なパフォーマンスを実現している。 しかし、既存のV-LLMは空間的推論と局所化認識が弱い。 画像空間座標に基づく微調整目標が空間認識をV-LLMに注入する方法について検討する。
  論文  参考訳（メタデータ） (2024-04-11T03:09:34Z)
• Co-Grounding Networks with Semantic Attention for Referring Expression Comprehension in Videos [96.85840365678649]
  エレガントなワンステージの枠組みで動画の表現理解を参照する問題に取り組みます。 意味的注意学習により単フレーム接地精度を高め、クロスフレーム接地一貫性を向上させます。 私たちのモデルは、RefCOCOデータセットのパフォーマンス改善によって示される、画像の表現理解の参照にも適用できます。
  論文  参考訳（メタデータ） (2021-03-23T06:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。