論文の概要: The Answer Knows Where to Look: Zooming before MLLMs Answer under Visual-Token Budgets

• arxiv url: http://arxiv.org/abs/2610.32664v1
• Date: Fri, 23 Oct 2026 14:07:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.540932
• Title: The Answer Knows Where to Look: Zooming before MLLMs Answer under Visual-Token Budgets
• Title（参考訳）: MLLMが視覚的予算で答える前にズームする「どこを見るべきか」
• Abstract要約: MLLM(Multimodal large language model)は、視覚トークンを通して画像を読み取る。 ズームインは証拠を回収するが、モデルが答える前に領域を選択する必要がある。 MLLMは証拠がどこにあるかを知っているが、答える前に読むことができる形式ではない。 問合せ前の注意をポイントに監督することは読みを劣化させ、ズームの利点は各画像の情報ギャップによって制御される。
• 参考スコア（独自算出の注目度）: 0.3823356975862005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) read images through visual tokens, and under the small per-image budgets that efficient deployment requires, the fine text of documents, charts and infographics becomes illegible. Zooming in recovers the evidence, but the region must be chosen before the model answers. We find that MLLMs know where the evidence is, but not in a form that can be read before they answer: the answer tokens localize it from the middle layers on, whereas the attention available before answering does so only in the top layers, at a depth that varies across models, and diffusely. Supervising the pre-answer attention to point degrades reading, and the benefit of zooming is governed by each image's information gap. Building on these findings, we introduce ours, which lets an MLLM look where its answer would. A dedicated look token, processed in a single prefill and kept out of the answering pass, learns in hindsight to attend as the model's own correct answers do, extracting this knowledge into a concentrated pointer before any answer exists. Its hidden state then selects how to look, from no zoom to crops, square windows, windows that adapt to the pointer and foveated warps, supervised by the counterfactual outcome of every view. ours needs no box annotations, per-model layer search, external localizers or generation before the answer. On Qwen3-VL at three scales and five text-rich benchmarks, it surpasses the strongest baseline by 4.8-9.1 points at 98 visual tokens per view and attention-guided zooming by 11.1-17.0 points, while running faster than attention-guided and grounding-based zooming.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は、視覚トークンを通して画像を読み取ることができ、効率的な配置を必要とする画像当たりの予算が小さくなると、文書、チャート、インフォグラフィックの微細なテキストは不可解になる。 ズームインは証拠を回収するが、モデルが答える前に領域を選択する必要がある。 答えトークンは、中間層からローカライズしますが、回答の前に得られる注意は、上位層でのみ、モデルによって異なる深さで、拡散的にのみ行われます。 問合せ前の注意をポイントに監督することは読みを劣化させ、ズームの利点は各画像の情報ギャップによって制御される。 これらの結果に基づいて,MLLMが答の出所を判断する手法を提案する。 専用ルックトークンは、1つのプリフィルで処理され、応答パスから外され、モデル自身の正しい回答がそうであるように、後から学習し、答えが存在する前にこの知識を集中ポインタに抽出する。 その隠れた状態は、ズームなしから、作物、四角い窓、ポインターに適応する窓、そして全てのビューの反現実的な結果によって監督されるワープの見え方を選択する。 ボックスアノテーション、モデル毎のレイヤサーチ、外部ローカライザ、あるいは応答前の生成は不要です。 Qwen3-VLの3つのスケールと5つのテキストリッチなベンチマークでは、ビュー当たり98の視覚トークンで4.8-9.1ポイント、注目誘導ズームで11.1-17.0ポイント、注目誘導と接地に基づくズームよりも高速である。

関連論文リスト

• Attention Sinks in VLMs Are Borrowed, Not Seen [76.79123104039475]
  ビジュアルアテンションシンク(Visual attention sink)は、クエリやタスクに関わらず、画像上の大きな注意を吸収する画像トークンである。 画像トークンのキーと言語モデルのテキストシンクのキーとの間の中心的なコサイン類似性だけが、視覚的なシンクを検出する。 本稿では,まず注意マップをクリーニングし,次に最も注目された領域を抽出し,推論トレースに挿入する,トレーニングフリーでエントロピートリガー付きリルックを提案する。
  論文  参考訳（メタデータ） (2026-10-11T19:20:41Z)
• Mixture of Layers: Dynamic Layer Routing for Visual Reasoning [60.01800406551151]
  Mixture of Layers (MoL) は、視覚パッチレベルでの命令条件付きレイヤルーティング手法である。 MoLは中間視覚エンコーダ層からクエリ関連潜在表現を集約する。 7つのきめ細かい視覚的推論タスクに対する実験は、大幅なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2026-10-07T04:50:48Z)
• AnswerMap: Faithful Spatial Interpretability of VLMs from Answer Posteriors [3.260444867039254]
  出力ヘッドから構築されたトレーニング不要、タスク非依存、ブラックボックスの視覚的理性であるAnswerMapを紹介する。 行と円柱の後方の積は、クエリ条件付き空間写像を与える。 2つのテストで4つのモデルと3つのクエリ分布でAnswerMapを検証する。
  論文  参考訳（メタデータ） (2026-09-28T14:17:08Z)
• The Earth in One Gaze: Training-Free Active Focus for UHR Remote Sensing Understanding [39.27641770509501]
  マルチモーダル大言語モデル(MLLM)は、限られた視覚入力予算内で超高解像度(UHR)リモートセンシング(RS)画像を解釈する際に、シーンコンテキストに対して局所的な詳細をバランスさせなければならない。 GazeEarth(ガゼアース)は,質問誘導型領域選択とフルシーンフェーブ付き観測とを結合した,単純なyet効果のトレーニングフリーフレームワークである。 分析の結果、既存のMLLMは、自力でUHR画像を見る場所を案内でき、選択された証拠から推測できることは、その証拠がどのように提示されるかによって異なることがわかった。
  論文  参考訳（メタデータ） (2026-09-23T07:38:41Z)
• ReVA: A Region-Aware Visual Assistant for Visually Grounded Question Answering [0.0]
  凍結したCLIP ViT-L/14 Vision Transformer (ViT) と Qwen2.5-7B-Instruct large language model (LLM) を用いた領域対応VQAモデルであるReVAを提案する。 我々は、ReVAがPOPE上で82.85%の平均F1を達成するのに対し、画像トークンのないベースラインでは81.14%であることを示した。 その結果、明示的な領域認識視覚表現は、対象の幻覚を減らし、MLLMの現実的な接地を改善することが示されている。
  論文  参考訳（メタデータ） (2026-08-27T20:33:13Z)
• PAINT: Paying Attention to INformed Tokens to Mitigate Hallucination in Large Vision-Language Model [0.0]
  幻覚は、しばしば注意重みの進歩的な弱体化から視覚的トークンへと生じる。 textbfPAINT (textbfPaying textbfAttention to textbfINformed textbfTokens) は、大規模視覚言語モデルの自己保持機構を介するプラグイン・アンド・プレイフレームワークである。
  論文  参考訳（メタデータ） (2025-01-21T15:22:31Z)
• Performance Gap in Entity Knowledge Extraction Across Modalities in Vision Language Models [36.18155629835474]
  視覚言語モデル(VLM)は、画像から情報を取り出し、推論するのに優れている。 しかし、特定のエンティティに関する内部知識を活用する能力は、まだ探索されていない。 本研究は,テキストで記述されたエンティティと画像で表現されたエンティティについて,現実的な質問に答える際のモデル性能の相違について検討する。
  論文  参考訳（メタデータ） (2024-12-18T18:22:30Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。