論文の概要: NAS-PO: Native Attention-Strategy Policy Optimization for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2611.02008v1
• Date: Sun, 01 Nov 2026 15:51:21 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:21:31.728452
• Title: NAS-PO: Native Attention-Strategy Policy Optimization for Vision-Language Models
• Title（参考訳）: NAS-PO:ビジョンランゲージモデルのためのネイティブアテンション・ストラテジーポリシー最適化
• Abstract要約: 我々は,Native Attention-Strategy Policy OptimizationフレームワークであるNAS-POを提案する。 NAS-POは、視覚的アロケーションを定量化する視覚的マスポリシーと、視覚的トークン上の空間的ルーティングをキャプチャする条件付き視覚ポリシーを用いて、ネイティブアテンションを分析する。 実験により、NAS-POは7つの領域外推論と知覚のベンチマークでRL調整されたVLMを大幅に上回っていることが示された。
• 参考スコア（独自算出の注目度）: 17.67177361964102
• License:
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has become an effective post-training paradigm for vision-language models (VLMs). Standard RLVR, however, assigns identical outcome-derived credit to all generated tokens regardless of their perceptual relevance. Recent perception-aware methods estimate visual reliance through image perturbation or masking. These indirect proxies require perturbation branches, while corruption sensitivity does not necessarily identify the visual evidence used for reasoning. We instead shape model perception through native attention, an intrinsic model signal. Rather than treating attention as a post-hoc explanation, we formulate it as a reward-anchored, token-aligned routing signal that encourages attention patterns supporting visually grounded reasoning. To this end, we propose NAS-PO, a Native Attention-Strategy Policy Optimization framework. NAS-PO analyzes native attention with a visual mass policy that quantifies visual allocation and a conditional visual policy that captures spatial routing over visual tokens, making the optimization well-posed. Based on this, Native Attention-Strategy Advantage Shaping (NAS-AS) draws on the visual-mass policy to redistribute signed policy-gradient credit for visually engaged rollouts. The Adaptive Attention-Coupled (AAC) loss then aligns the visual-mass policy on all response tokens and the conditional visual policy on visually active ones, consolidating the visual-routing patterns that drive successful trajectories. Experiments demonstrate that NAS-PO substantially surpasses leading RL-tuned VLMs across 7 out-of-domain reasoning and perception benchmarks, with its effectiveness consistently validated across 8B and 32B. Visual-Routing Sensitivity (VRS) analysis further indicates that the optimized attention prioritizes visually load-bearing regions.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、視覚言語モデル(VLM)の効果的な後学習パラダイムとなっている。 しかし、標準RLVRは、知覚的関連性に関係なく、同じ結果由来のクレジットを全ての生成されたトークンに割り当てる。 最近の知覚認識手法は、画像摂動やマスキングによる視覚依存を推定する。 これらの間接的プロキシは摂動枝を必要とするが、汚職感受性は推論に使用される視覚的証拠を必ずしも特定しない。 代わりに、本質的なモデル信号であるネイティブアテンションを通してモデル知覚を形作る。 注意をポストホックな説明として扱うのではなく、視覚的根拠に基づく推論を支援する注意パターンを奨励する報奨型トークン整列ルーティング信号として定式化する。 そこで我々は,Native Attention-Strategy Policy OptimizationフレームワークであるNAS-POを提案する。 NAS-POは、視覚的アロケーションを定量化する視覚的マスポリシーと、視覚的トークン上の空間的ルーティングをキャプチャする条件付き視覚ポリシーを用いて、ネイティブな注目を分析する。 これに基づいて、Native Attention-Strategy Advantage Shaping (NAS-AS)は、視覚的に係わるロールアウトに対して、署名付きポリシー段階のクレジットを再配布する、視覚的マスポリシーに基づいている。 アダプティブ・アテンション・カップリング(AAC)損失は、すべての応答トークンに対する視覚マスポリシーと、視覚的にアクティブなトークンに対する条件付き視覚ポリシーを整合させ、軌道を成功させる視覚ルーティングパターンを統合する。 実験により、NAS-POはドメイン外推論と知覚の7つのベンチマークでRL調整されたVLMを大幅に上回っており、その有効性は8Bと32Bで一貫して検証されている。 視線追従感度(VRS)分析は、最適化された注意が視覚的負荷のある領域を優先することを示している。

関連論文リスト

• P$^2$-DPO: Grounding Hallucination in Perceptual Processing via Calibration Direct Preference Optimization [55.74731799669337]
  幻覚は近年、LVLM(Large Vision-Language Models)において大きな研究の注目を集めている。 直接選好最適化(DPO)は、人間が提供した修正選好から直接学習することを目的としている。 既存の選好ペアは視覚に依存しないことが多く、その本質的に非政治的な性質は、モデル学習を導く上での有効性を制限している。 本稿では、モデルが独自の選好ペアから生成し学習する新しい訓練パラダイムである知覚処理直接選好最適化(P$2$-DPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-02T09:22:53Z)
• Visually-Guided Policy Optimization for Multimodal Reasoning [60.035908460318126]
  本稿では,VGPO(Visually-Guided Policy Optimization)を提案する。 VGPOは当初、視覚的類似性を活用して視覚的手がかりをローカライズし増幅する視覚的注意補償機構を導入した。 VGPOは、数学的多モーダル推論や視覚依存タスクにおいて、より優れた視覚的活性化と優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-04-10T14:22:38Z)
• Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
  Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。 PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。 理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
  論文  参考訳（メタデータ） (2026-04-02T09:53:20Z)
• Bridging Perception and Reasoning: Token Reweighting for RLVR in Multimodal LLMs [51.60575965819268]
  本稿では,この相互依存を明示的にモデル化するToken-Reweighting(ToR)戦略を提案する。 ToRは複数のマルチモーダル推論ベンチマークで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-26T06:25:27Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• Attentive Feature Aggregation or: How Policies Learn to Stop Worrying about Robustness and Attend to Task-Relevant Visual Cues [69.24378760740171]
  本稿では,乱れたシーンにおけるロバスト性の欠如に対する解決策として,ビジュモータ・ポリシー・プールについて考察する。 AFA(Attentive Feature Aggregation)は、タスク関連視覚的キューに自然に出席することを学ぶ軽量でトレーニング可能なプール機構である。 以上の結果から,視覚情報を無視することは,堅牢で汎用的な視覚運動ポリシーの展開に向けた重要なステップであることが示唆された。
  論文  参考訳（メタデータ） (2025-11-13T19:31:05Z)
• Spotlight on Token Perception for Multimodal Reinforcement Learning [65.97597482517425]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、LVLM(Large Vision-Language Models)の推論能力を向上した。 本稿では,トークン認識の新しい視点を通して,マルチモーダルRLVRの先駆的な探索を行う。 本稿では、トークン認識を明示的に活用して学習信号を洗練する新しいポリシー勾配アルゴリズムである視覚知覚政策最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-10T11:25:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。