論文の概要: VAttnPO: Visual Attention-Guided Policy Optimization
- arxiv url: http://arxiv.org/abs/2610.16735v1
- Date: Mon, 12 Oct 2026 13:04:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.374963
- Title: VAttnPO: Visual Attention-Guided Policy Optimization
- Title（参考訳）: VAttnPO: 視覚的注意誘導ポリシー最適化
- Abstract要約: VAttnPOは、トークンレベルの信用を洗練するために、応答条件付き視覚的注意を使用する。
凍結した古いポリシーは、既知の正解を強制する教師による視覚的参照を構築する。
軌道中心、相対位置重み付け、信用バランスは、この合意をゼロ平均位置対応補正に変換する。
- 参考スコア（独自算出の注目度）: 32.80475611792639
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal reinforcement learning with verifiable rewards commonly assigns one sequence advantage to an entire response. This outcome-level signal distinguishes overall response quality but leaves changes in visual-evidence use across generated tokens implicit. We introduce VAttnPO (Visual Attention-Guided Policy Optimization), which uses answer-conditioned visual attention to refine token-level credit while preserving the verifier-derived trajectory-mean advantage. A frozen old policy constructs a visual reference by teacher forcing the known correct answer and produces a visual distribution for each rollout token. VAttnPO measures their agreement in visual-attention space using Jensen--Shannon divergence, rather than reading guidance from teacher output-token distributions or introducing an attention-matching objective. Trajectory centering, relative-position weighting, and credit balancing turn this agreement into a zero-mean, position-aware correction to the GRPO sequence advantage. Token intervention, visual-index permutation, and trajectory analysis provide diagnostic evidence linking this signal to model behavior, visual correspondence, and generation position. On Qwen3-VL-8B-Instruct, VAttnPO raises six-task image AVE from 70.97 with GRPO to 73.50 and scores higher on every reported structured, video, and MME metric. Gains over GRPO also hold on Qwen2.5-VL-7B-Instruct and InternVL3-8B-Instruct.
- Abstract（参考訳）: 検証可能な報酬を持つマルチモーダル強化学習は、一般的に1つのシーケンスの利点を全応答に割り当てる。
この結果レベルの信号は、全体的な応答品質を区別するが、生成されたトークン間での視覚的エビデンスの使用の変化は暗黙的に残る。
VAttnPO (Visual Attention-Guided Policy Optimization) を導入し,検証器由来のトラジェクトリ・平均的優位性を保ちながら,応答条件付き視覚的注意を用いてトークンレベルの信用を洗練させる。
凍結した古いポリシーは、教師が既知の正解を強制して視覚的参照を構築し、ロールアウトトークン毎に視覚的分布を生成する。
VAttnPOは,教師のアウトプット・トケン分布からのガイダンスを読むか,注意マッチングの目的を導入するかではなく,ジェンセン・シャノン分岐を用いた視覚的アテンション空間における合意度を測定した。
軌道中心、相対位置重み付け、信用バランスは、この合意をGRPOシーケンスの利点に対するゼロ平均位置対応補正に変換する。
トークン介入、視覚的インデックス置換、軌跡解析は、このシグナルをモデル行動、視覚的対応、生成位置にリンクする診断的証拠を提供する。
Qwen3-VL-8B-インストラクタでは、VAttnPOは、70.97からGRPO 73.50までの6タスク画像AVEを上昇させ、レポートされた構造化、ビデオ、およびMMEメトリクスのスコアを高くする。
GRPOはQwen2.5-VL-7B-インストラクトとInternVL3-8B-インストラクトも保有している。
関連論文リスト
- When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment [30.535425747356125]
Unified Entropy-Calibrated Credit Redistribution for GRPOは、単一のGRPOスタイルの更新に検証器と教師信号を統合する。
emphPath-Utility Unification (PUU)は、検証者報酬と教師対教師パスの対数比を単一のKL正規化目的に組み合わせている。
emphEntropy-Calibrated Redistribution (ECR) は、署名された教師-旧来のトークンギャップを使用して、検証者由来のコンポーネントを再配布する。
論文 参考訳（メタデータ） (2026-09-23T16:58:26Z) - HISPO: Hierarchical Importance-Sampling Policy Optimization with Entropy-Derived Segments [3.6883184884620004]
検証可能な報酬(RLVR)を用いた強化学習は、言語モデルにおける数学的推論を改善するための中心的なアプローチとなっている。
解トレースの異なる部分が最終的な正しさに不均一に寄与する可能性がある。
ロールアウト時間エントロピー由来の連続セグメントを構成するセグメントレベルのポリシー最適化手法である階層的重要度サンプリングポリシー最適化(HISPO)を導入する。
論文 参考訳（メタデータ） (2026-09-14T12:29:00Z) - Learning Where Outcomes Change:Credit-Addressable Reasoning for Multimodal Geometry [105.89493240787861]
推論中に露出したセマンティックユニットは、学習が代替品と比較し、クレジットを割り当てる場所を定義する。
我々は,この原理を,ライン順応可能な実行可能コードとして視覚的関係を表すCode-CoTでインスタンス化し,推論を型付きイベントに整理する。
9つの幾何ベンチマークで、CE-GRPOは平均76.04の精度を達成し、Qwen3-VL-8Bと軌跡レベルGRPOをそれぞれ8.09$と3.43ポイント上回る。
論文 参考訳（メタデータ） (2026-08-31T08:44:36Z) - Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。
標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。
トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
論文 参考訳（メタデータ） (2026-04-14T09:48:46Z) - Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。
PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。
理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
論文 参考訳（メタデータ） (2026-04-02T09:53:20Z) - Beyond Attention Magnitude: Leveraging Inter-layer Rank Consistency for Efficient Vision-Language-Action Models [75.27089289058613]
textbfTIES(textbfTau-guided textbfInter-layer textbfEfficient textbfSelection)は、層間トークンランキングの整合性によって導かれる動的フレームワークである。
CogACT + SIMPLERベンチマークでは、TIESは平均成功率を6%改善し、トークン使用率を78%削減した。
論文 参考訳（メタデータ） (2026-03-26T02:13:03Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳（メタデータ） (2025-11-15T02:50:23Z) - Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。
本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。
推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
論文 参考訳（メタデータ） (2025-10-20T09:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。