論文の概要: Diagnosing the Reference Gap: What Visual Scaffolds Can and Cannot Fix in Multimodal Reasoning

• arxiv url: http://arxiv.org/abs/2610.39419v1
• Date: Thu, 29 Oct 2026 06:00:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 23:48:04.615223
• Title: Diagnosing the Reference Gap: What Visual Scaffolds Can and Cannot Fix in Multimodal Reasoning
• Title（参考訳）: 参照ギャップの診断:マルチモーダル推論で視覚障害者ができることとできないこと
• Abstract要約: マルチモーダルな大規模言語モデルは、視覚的コンテンツを認識できるが、複数のステップをまたいでそれらを確実に理解するのに苦労する。 カウントでは、モデルはすべてのオブジェクトを見るが、カウントしたオブジェクトのトラックを失う。 数値化などの外部参照が、このギャップを狭めることができるかどうかをテストする。
• 参考スコア（独自算出の注目度）: 67.89652154476596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models can recognize visual content yet struggle to reason reliably over it across multiple steps. In counting, a model may see all objects but lose track of which ones it has counted. We argue that such failures, commonly attributed to perception, reveal a reference gap: the failure to bind language to the relevant visual entities, regions, or locations. Motivated by the theory of visual routines, we test whether external references such as numbering can narrow this gap. We introduce ReGap-Bench, a paired benchmark of five visual reasoning tasks in which the scene, question, and answer are fixed and only the reference varies. Results show that task-matched references improve accuracy by up to 25\%, while mismatched references provide little benefit or even hurt performance. These findings identify the reference gap as a bottleneck distinct from visual perception and show that constructing task-appropriate visual references can serve as a training-free visual skill for improving multimodal reasoning.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルは、視覚的コンテンツを認識できるが、複数のステップをまたいでそれらを確実に理解するのに苦労する。 カウントでは、モデルはすべてのオブジェクトを見るが、カウントしたオブジェクトのトラックを失う。 このような失敗は、一般的に知覚によって引き起こされるもので、言語を関連ある視覚的実体、地域、場所と結び付けることの失敗という、参照ギャップが明らかである、と私たちは主張する。 視覚的ルーチンの理論に触発されて、数値化などの外部参照がこのギャップを狭めることができるかどうかを検証する。 ReGap-Benchは、シーン、質問、回答が固定され、参照のみが異なる5つの視覚的推論タスクのペアベンチマークである。 結果から,タスクマッチング参照の精度は最大25\%向上し,ミスマッチ参照のメリットはほとんどなく,パフォーマンスが損なわれていることがわかった。 これらの知見は,参照ギャップを視覚的知覚と異なるボトルネックとして認識し,タスクに適した視覚的参照を構築することが,マルチモーダル推論を改善するためのトレーニング不要な視覚的スキルとして有効であることを示す。

関連論文リスト

• Look Before You Reason: Implicit Visual Thinking for Efficient Multimodal Reasoning [53.33244807951443]
  視覚言語モデル(VLM)は多モーダル推論において急速に進歩している。 画像による最近の思考は、ズーム、トリミング、コード実行などの操作を通じて、モデルを検査することで、この制限を緩和する。 単ターンVLMインタラクションにおける効率的な視覚的推論のための暗黙的な視覚的思考フレームワークであるLook Before You Reason(LoRe)を提案する。
  論文  参考訳（メタデータ） (2026-10-19T22:11:24Z)
• VD-DeepStack: Bridging Visual Comparison and Language Reasoning for Few-Shot Anomaly Detection [58.68055399195302]
  少数ショットの視覚異常検出では、通常の参照に対するクエリのきめ細かい検査が必要となる。 Visual difference DeepStack (VD-DeepStack) は、クエリ参照の視覚的差異に基づいて言語推論を明示的に規定する。 4つの産業用および2つの医療用異常ベンチマークの実験は、基準線に対する数発の異常検出において大幅に改善された。
  論文  参考訳（メタデータ） (2026-09-28T11:40:26Z)
• Is Visual Prompting All You Need? Studying VLM Spatial Reasoning under Progressive Visual Scaffolds [12.841957617988148]
  本研究では,タスクの視覚的提示がモデル性能と障害モードを,基礎となる推論問題が変化しない場合にどのように形成するかを検討する。 空間構造をより使いやすくしながら、視覚的モダリティを保ちつつ、軽量な入力側足場を導入する。 視覚提示は,VLMベンチマークが基底認識,下流推論,あるいは両者の混合を計測するかどうかを決定する中心的な要因であることがわかった。
  論文  参考訳（メタデータ） (2026-08-21T14:40:26Z)
• Where To Look? : Causal Tracing of Vision Encoders in VLM [0.6980863185266349]
  視覚言語モデルは、驚くべき精度で画像を記述することができる。 因果的追跡を通してこの問題を考察し、高い因果的視覚トークンが標的領域の外側にしばしば存在することを観察する。 さらに,これらのモデルでは外見の手がかりが取り除かれたときの視覚構造を保存できるのか,また視覚的手がかりが視覚構造を理解するために活用されているかを見出した。
  論文  参考訳（メタデータ） (2026-08-11T10:17:34Z)
• MemEye: A Visual-Centric Evaluation Framework for Multimodal Agent Memory [80.97855900579512]
  既存の評価では、エージェントが後続の推論に必要な視覚的証拠を保存するかどうかを検査することはめったにない。 メモリ性能を2次元から評価するフレームワークであるMemEyeを紹介する。 本フレームワークでは,8つのライフシナリオタスクにまたがる新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2026-05-14T17:37:52Z)
• When Visuals Aren't the Problem: Evaluating Vision-Language Models on Misleading Data Visualizations [29.03749623289173]
  視覚言語モデル (VLM) は, 推論誤りの微粒な分類法を基礎とした, 誤解を招くビジュアル・キャプション・ペアについて評価する。 我々は、現実世界の視覚化と、人間が書いたキュレートされた誤解を招くキャプションを組み合わせたベンチマークを開発する。
  論文  参考訳（メタデータ） (2026-03-23T05:34:47Z)
• BLINK-Twice: You see, but do you observe? A Reasoning Benchmark on Visual Perception [67.89135437537179]
  我々は視覚中心の推論ベンチマークであるBLINK-Twiceを紹介した。 外部の知識に頼るのではなく、私たちのタスクは視覚的コンテンツのみから推論するモデルを必要とします。 事前の知覚ベンチマークと比較すると、浅い知覚を超越し、きめ細かい観察と分析的推論を必要とする。
  論文  参考訳（メタデータ） (2025-10-10T13:14:13Z)
• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• Interpretable Visual Question Answering via Reasoning Supervision [4.76359068115052]
  トランスフォーマーベースのアーキテクチャは、最近Visual Question Answering (VQA)タスクで顕著なパフォーマンスを示している。 本稿では,視覚的質問応答のための新しいアーキテクチャを提案する。 提案手法がモデルの視覚知覚能力を向上し,性能向上につながることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2023-09-07T14:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。