論文の概要: Look at Where You Think: Localization-Head Alignment for Fine-Grained Perception in Thinking VLMs

• arxiv url: http://arxiv.org/abs/2610.39649v1
• Date: Thu, 29 Oct 2026 09:06:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 23:04:07.669668
• Title: Look at Where You Think: Localization-Head Alignment for Fine-Grained Perception in Thinking VLMs
• Title（参考訳）: ローカライゼーション・ヘッドアライメントによるVLMの微視的認識
• Abstract要約: ローカライゼーションヘッドと呼ばれるいくつかの注意ヘッドが、数千の視覚トークンから証拠を抽出していることが示されています。 そこで我々は,LHA(Localization-Head Alignment)を提案する。 LHAはQwen3.5-4Bを74.1%から76.6%に引き上げる。
• 参考スコア（独自算出の注目度）: 44.97431914209497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Thinking vision-language models reason for thousands of tokens, yet still miss small details in high-resolution images. Zooming methods pay for extra inference passes, and outcome rewards never tell the model where to look at. In Qwen3.5-4B, we find that the bottleneck is selection, not seeing: a few attention heads, which we call localization heads, pick the evidence out of thousands of visual tokens; ablating four of them costs 13.2 points more than ablating four random heads, and their focus fades as the reasoning grows. We therefore propose Localization-Head Alignment (LHA), which makes attention a training signal: whenever the reasoning states a visual fact, these heads learn to look at the focal region rather than the background, as an auxiliary loss in both SFT and RL training. On benchmarks of V*, HR-Bench 4K and TreeBench, LHA lifts Qwen3.5-4B from 74.1% to 76.6% accuracy, the best single-pass 4B result we evaluate, ahead of multi-pass zooming and released 7B models. Alignment alone adds 1.8 points over otherwise identical training while shortening reasoning by 20%, and the gains carry over to Qwen2.5-VL-3B.
• Abstract（参考訳）: 視覚言語モデルを考えると、何千ものトークンが当てはまるが、高解像度画像の小さな詳細は見逃せない。 ズームメソッドは余分な推論パスを支払うので、結果の報酬はモデルに何を見るべきかを伝えることはありません。 Qwen3.5-4Bでは、ボトルネックは選択ではなく選択であることがわかった: ローカライゼーションヘッドと呼ばれるいくつかの注意頭は、数千の視覚トークンから証拠を抽出し、そのうち4つを非難することは、4つのランダムヘッドを非難するよりも13.2ポイント高い。 そこで我々は,LHA(Localization-Head Alignment, 局所頭部アライメント, 局所頭部アライメント, 局所頭部アライメント)を提案する。 V*、HR-Bench 4K、TreeBenchのベンチマークでは、LHAはQwen3.5-4Bを74.1%から76.6%の精度で持ち上げる。 アライメント単独では、同じトレーニングよりも1.8ポイントを加算し、推論を20%短縮し、ゲインはQwen2.5-VL-3Bに引き継がれた。

関連論文リスト

• Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
  テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。 自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。 選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
  論文  参考訳（メタデータ） (2026-09-28T05:07:24Z)
• Look Where It Counts: A Free, Label-Free Visual Evidence Signal for Fine-Grained Vision-Language Reasoning [0.0]
  我々は,モデルが出力に割り当てる対向的エビデンスギャップ,対数的対数的比を形式化する。 単一ビューでラベルなしの基準を用いて、バウンディングボックス、トレーニング、ラベルのない応答を持つ領域を見つける。 目標の4.4から5.1倍の精度でローカライズし、精度を70%から85%に引き上げる。
  論文  参考訳（メタデータ） (2026-09-21T08:09:18Z)
• LOCI: A Locator-Critic with Refinement Loop [65.51043732421378]
  VLM(Vision-Language Models)は、複雑な視覚的理解を必要とするタスクに苦戦している。 中心的な問題は、高レベルの推論ではなく、画像に重要な詳細を見つけることに失敗している、と我々は主張する。 証拠検証から視覚検索を分離する学習自由フレームワークであるLocator-Critic(LOCI)を提案する。
  論文  参考訳（メタデータ） (2026-08-31T15:26:00Z)
• Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning [73.40085256022111]
  P2R(Perceive-to-Reason)は、2段階のプロセスとして微細な視覚的推論を定式化する統合フレームワークである。 P2RはPerceiverとして質問関連エビデンスをローカライズし、アノテートされた画像と収穫された領域に基づいて質問をReasonerとして答える。 PRA-GRPOは、認識重視と推論重視の更新を交互に行うロールアウェア強化学習戦略である。
  論文  参考訳（メタデータ） (2026-07-01T17:24:26Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• 20/20 Vision Language Models: A Prescription for Better VLMs through Data Curation Alone [17.84750728317393]
  データキュレーションは、20のVLMベンチマークにおいて、平均で+11.7ppの性能を向上できることを示す。 2BではInternVL3.5-2Bを9.9ppで17倍のトレーニング計算で上回りました。 データキュレーションは、より良いVLMを構築するための高平均ツールであり、最大150倍のトレーニング計算で最前線の精度に達する。
  論文  参考訳（メタデータ） (2026-05-12T01:51:03Z)
• Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology [87.65242416688146]
  TreeBenchは、ビジュアルグラウンド推論の診断ベンチマークである。 TreeVGRは、強化学習と共同でローカライゼーションと推論を監督する訓練パラダイムである。
  論文  参考訳（メタデータ） (2025-07-10T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。