論文の概要: VC-OPD: Visual Counterfactual On-Policy Distillation for Grounded Vision-Language Reasoning

• arxiv url: http://arxiv.org/abs/2610.14939v1
• Date: Sat, 10 Oct 2026 14:10:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.133023
• Title: VC-OPD: Visual Counterfactual On-Policy Distillation for Grounded Vision-Language Reasoning
• Title（参考訳）: VC-OPD:接地型ビジョンランゲージ推論のための視覚的対向型オンライン蒸留
• Abstract要約: VC-OPD (Visual Counterfactual On-Policy Distillation) は接地型蒸留法である。 VC-OPDは、画像固有の証拠に依存するトークンを優先する。 マルチモーダル推論ベンチマークの実験は、VC-OPDが視覚的推論性能を改善することを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GRPO-style reinforcement learning has advanced vision-language reasoning, but its sequence-level rewards provide limited credit assignment for individual reasoning tokens. On-policy distillation (OPD) addresses this issue by providing dense supervision on student-generated trajectories, yet standard OPD assigns similar importance to all teacher-preferred tokens, including template phrases and visually irrelevant continuations. We introduce Visual Counterfactual On-Policy Distillation (VC-OPD), a grounding-aware distillation method that prioritizes tokens whose correctness depends on image-specific evidence. After a teacher-supervised warm start that stabilizes response formats and reduces noisy rollouts, VC-OPD performs on-policy distillation with two teacher evaluations for each student trajectory: one under the original image and one under a counterfactual image with corrupted instance-specific evidence. The original-image teacher distribution determines the distillation target, while the original--counterfactual teacher gap estimates token-level visual dependence and softly reweights the loss. To avoid unstable response-level update scales, VC-OPD further applies mass-preserving normalization to the token weights. This design preserves the dense supervision of OPD while shifting learning capacity toward visually grounded reasoning tokens. Experiments on multimodal reasoning benchmarks show that VC-OPD improves visual reasoning performance and produces more effective token-level distillation.
• Abstract（参考訳）: GRPO型強化学習には高度な視覚言語推論があるが、シーケンスレベルの報酬は個々の推論トークンに対して限定的なクレジット代入を提供する。 オンライン蒸留(OPD)は、学生が生成する軌跡の厳密な管理を提供することによってこの問題に対処するが、標準的なOPDは、テンプレートフレーズや視覚的に無関係な継続を含む全ての教師が推奨するトークンに類似した重要性を割り当てている。 本稿では,画像特異的な証拠に依存したトークンを優先する接地型蒸留法であるVC-OPDについて紹介する。 反応形式を安定させノイズの多いロールアウトを減らす教師監督型ウォームスタートの後、VC-OPDは、各学生の軌跡に対して2つの教師評価を行い、一方は原画像下、もう一方はインスタンス固有の証拠が破損した反実画像下である。 原像教師分布は蒸留目標を決定する一方、原像教師ギャップはトークンレベルの視覚的依存を推定し、損失をソフトに軽減する。 不安定な応答レベル更新スケールを避けるため、VC-OPDはさらにトークン重みに大量保存正規化を適用する。 この設計は、学習能力を視覚的に根拠付けられた推論トークンにシフトさせながら、OPDの密集した監督を保っている。 マルチモーダル推論ベンチマークの実験は、VC-OPDが視覚的推論性能を改善し、より効果的なトークンレベルの蒸留を生成することを示している。

関連論文リスト

• CV-OPD: Contrastive Vision On-policy Distillation [84.9792886495258]
  オンライン蒸留(OPD)は、VLM後の訓練において、多目的性と利便性を明らかにする。 関連する視覚領域を隠蔽したりノイズに置き換えたりしても,蒸留したVLMが解答を精度良く行うことができることを示す。 本稿では,正の作物と負の作物が引き起こす教師の分布を比較検討する,コントラシティブビジョンオン・ポリチィ蒸留(CV-OPD)を紹介する。
  論文  参考訳（メタデータ） (2026-10-09T09:15:34Z)
• Is Better Teacher Supervision Enough? Unlocking Student-side Learning in Multimodal On-Policy Distillation [38.496745535296945]
  オンライン蒸留(OPD)は、学生自身の軌道上の教師からトークンレベルの監督を提供することにより、推論を改善する。 S-OPDは,学生の知覚学習を明示的に強化するシンプルなマルチモーダルオンライン蒸留フレームワークである。 我々のメソッドは既存のOPDフレームワークにシームレスにプラグインすることができ、追加のデータアノテーション、モデルパラメータ、推論操作を必要としない。
  論文  参考訳（メタデータ） (2026-09-30T06:55:48Z)
• On-Policy Visual Evidence Distillation [29.145226066460193]
  本稿では,視覚エージェントのオンライン蒸留法であるRe Reflection on Visual Evidence (ReVuE)を紹介する。 ReVuEは、同じクエリに対して複数の学生生成軌跡を比較し、観察された視覚的証拠を要約し、最初の失敗を診断する。 我々は,これらの反射が教師の予測にどの程度強く影響するかに応じて,トークンレベルの蒸留損失をグループ化し,再重み付けする。
  論文  参考訳（メタデータ） (2026-09-29T06:47:11Z)
• OPD-V: Visual On-Policy Self-Distillation with Modality Balance [60.972871141106886]
  On-Policy Self-Distillation (OPSD)は、大規模言語モデル(MLLM)における視覚的推論を改善するための訓練後の標準的なアプローチとなっている。 既存の方法は、様々な入力源から特権情報を引き出し、自己蒸留を誘導する。 我々は,視覚的OPSDパラダイムであるOPD-Vを紹介し,正の教師と負の教師を通してそのような情報をインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-05T17:53:06Z)
• VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation [46.347555076026964]
  マルチモーダル・オン・ポリティクス蒸留は、生徒が生成した軌跡を教師に監督することで、きめ細かい視覚的知識を伝達する。 主な課題は、どの補正が、どのように蒸留するかだけでなく、視覚的証拠によって支えられているかを推定することである。 本稿では,教師の補正の視覚的帰属部分を推定する対物目標再構成アルゴリズムである視覚属性蒸留(VAD)を紹介する。
  論文  参考訳（メタデータ） (2026-07-30T17:43:46Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。