Fugu-MT 論文翻訳(概要): Reinforcement Learning with Visually Attributable On-Policy Self-Distillation

論文の概要: Reinforcement Learning with Visually Attributable On-Policy Self-Distillation

arxiv url: http://arxiv.org/abs/2610.26856v1
Date: Mon, 19 Oct 2026 17:59:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-23 00:48:35.375514
Title: Reinforcement Learning with Visually Attributable On-Policy Self-Distillation
Title（参考訳）: 視覚的帰属型自己蒸留による強化学習
Abstract要約: VAG(Visual-Attribution Gating)は、視覚的証拠に基づく特権的トークンレベルの補正によってタスクレベルのRLVR監督を強化するエビデンス一貫性パラダイムである。 VAGはGRPO法とOPSD法を一貫して上回り、新しい最先端の平均性能を確立した。
参考スコア（独自算出の注目度）: 18.23931657441057
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal reinforcement learning with verifiable rewards (RLVR) provides reliable task-level supervision, yet offers limited guidance for localizing errors in visual reasoning. On-policy self-distillation (OPSD) complements this supervision with dense token-level corrections from a privileged teacher equipped with an evidence-centered visual view. However, the resulting corrections may conflate visual evidence with non-visual shifts induced by linguistic priors, response style, or the privileged view itself. We formalize this phenomenon as privileged-correction contamination: a token-level correction is contaminated when its update direction cannot be consistently attributed to the privileged visual evidence. Directly distilling contaminated corrections may therefore reinforce erroneous token-level updates. To address this issue, we propose reinforcement learning with visually attributable on-policy self-distillation, an evidence-consistent paradigm that augments task-level RLVR supervision with privileged token-level corrections grounded in visual evidence. We instantiate this paradigm with Visual-Attribution Gating (VAG), which uses the verifier-derived advantage as the optimization anchor and validates each privileged correction against the contrast between evidence-present and evidence-degraded teacher views. By admitting only corrections directionally supported by this visual contrast, VAG preserves visually grounded guidance while suppressing inconsistent residuals. Experiments across six visual reasoning benchmarks show that VAG consistently outperforms GRPO and OPSD methods, establishing new state-of-the-art average performance.
Abstract（参考訳）: 検証可能な報酬付きマルチモーダル強化学習(RLVR)は、信頼性の高いタスクレベルの監視を提供するが、視覚的推論におけるエラーのローカライズのための限定的なガイダンスを提供する。 On-policy Self-distillation (OPSD)はこの監督を、証拠中心の視覚的視点を備えた特権教師からの密集したトークンレベルの修正で補完する。しかし、結果として得られた補正は、言語的先行性や応答様式、特権的な視点そのものによって引き起こされる非視覚的変化と視覚的証拠を区別することができる。トークンレベルの補正は、その更新方向が特権化された視覚的証拠に一貫して帰属できない場合に汚染される。汚染された補正を直接蒸留すると、誤ったトークンレベルの更新が強化される可能性がある。そこで我々は,視覚的証拠に基づく特権的トークンレベルの補正によってタスクレベルのRLVR監督を強化するエビデンス一貫性のパラダイムである,視覚的に帰属する自己蒸留による強化学習を提案する。このパラダイムを視覚属性ゲーティング(VAG)によりインスタンス化する。これは、検証者由来の利点を最適化アンカーとして使用し、エビデンスとエビデンスに劣化した教師の視点の対比に対して、それぞれの特権的補正を検証する。この視覚的コントラストによって指向的に支持される補正のみを認めることにより、VAGは、一貫性のない残差を抑えながら、視覚的に接地されたガイダンスを保持する。 6つの視覚的推論ベンチマークによる実験によると、VAGはGRPOとOPSDメソッドを一貫して上回り、新しい最先端の平均性能を確立している。

関連論文リスト

VC-OPD: Visual Counterfactual On-Policy Distillation for Grounded Vision-Language Reasoning [0.0]
VC-OPD (Visual Counterfactual On-Policy Distillation) は接地型蒸留法である。 VC-OPDは、画像固有の証拠に依存するトークンを優先する。マルチモーダル推論ベンチマークの実験は、VC-OPDが視覚的推論性能を改善することを示している。
論文参考訳（メタデータ） (2026-10-10T14:10:43Z)
CV-OPD: Contrastive Vision On-policy Distillation [84.9792886495258]
オンライン蒸留(OPD)は、VLM後の訓練において、多目的性と利便性を明らかにする。関連する視覚領域を隠蔽したりノイズに置き換えたりしても,蒸留したVLMが解答を精度良く行うことができることを示す。本稿では,正の作物と負の作物が引き起こす教師の分布を比較検討する,コントラシティブビジョンオン・ポリチィ蒸留(CV-OPD)を紹介する。
論文参考訳（メタデータ） (2026-10-09T09:15:34Z)
On-Policy Visual Evidence Distillation [29.145226066460193]
本稿では,視覚エージェントのオンライン蒸留法であるRe Reflection on Visual Evidence (ReVuE)を紹介する。 ReVuEは、同じクエリに対して複数の学生生成軌跡を比較し、観察された視覚的証拠を要約し、最初の失敗を診断する。我々は,これらの反射が教師の予測にどの程度強く影響するかに応じて,トークンレベルの蒸留損失をグループ化し,再重み付けする。
論文参考訳（メタデータ） (2026-09-29T06:47:11Z)
Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
論文参考訳（メタデータ） (2026-09-21T08:08:56Z)
CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction [12.346416465825627]
信頼できるオン・ポリシィ蒸留(CA-OPD)は、信頼性の高いロールアウト構築と適応的な監視を結合するフレームワークである。 GUIグラウンディングと光学文字認識のためのマルチ教師設定で評価され、CA-OPDはQwen3.5-0.8Bベースラインを大幅に改善する。
論文参考訳（メタデータ） (2026-09-02T10:11:59Z)
VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation [46.347555076026964]
マルチモーダル・オン・ポリティクス蒸留は、生徒が生成した軌跡を教師に監督することで、きめ細かい視覚的知識を伝達する。主な課題は、どの補正が、どのように蒸留するかだけでなく、視覚的証拠によって支えられているかを推定することである。本稿では,教師の補正の視覚的帰属部分を推定する対物目標再構成アルゴリズムである視覚属性蒸留(VAD)を紹介する。
論文参考訳（メタデータ） (2026-07-30T17:43:46Z)
HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文参考訳（メタデータ） (2026-06-10T01:35:34Z)
Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs [68.58207076756237]
本稿では,結果評価からメカニズム診断へ移行する摂動に基づく評価プロトコルProCauEvalを紹介する。因果推論において,ビデオコンテンツは体系的に過小評価されている。教師のネガティブなアライメントに基づく強化学習フレームワークであるADPOを提案する。
論文参考訳（メタデータ） (2026-05-10T08:48:58Z)
Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文参考訳（メタデータ） (2025-11-15T02:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。