論文の概要: CV-OPD: Contrastive Vision On-policy Distillation

• arxiv url: http://arxiv.org/abs/2610.13264v1
• Date: Fri, 09 Oct 2026 09:15:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.503296
• Title: CV-OPD: Contrastive Vision On-policy Distillation
• Title（参考訳）: CV-OPD: 政治的蒸留の対照的なビジョン
• Abstract要約: オンライン蒸留(OPD)は、VLM後の訓練において、多目的性と利便性を明らかにする。 関連する視覚領域を隠蔽したりノイズに置き換えたりしても,蒸留したVLMが解答を精度良く行うことができることを示す。 本稿では,正の作物と負の作物が引き起こす教師の分布を比較検討する,コントラシティブビジョンオン・ポリチィ蒸留(CV-OPD)を紹介する。
• 参考スコア（独自算出の注目度）: 84.9792886495258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) reveals versatility and convenience during VLM post-training, providing dense supervision for student from teacher. However, we observed an anomaly that the distilled VLM could still answer the questions accurately even when the related visual regions were masked or replaced with noise. Building on this observation, our quantitative and qualitative experiments demonstrate that OPD, which uses the answer as a hint, has failed to teach students to genuinely seek out and rely on visual evidence. Our theoretical analysis suggests that this failure arises from a shortcut enabled by the lack of visual constraints during distillation. To address the issue, we introduce Contrastive Vision On-policy Distillation (CV-OPD), which compares teacher distributions induced by positive and negative crops while conditioning on the same student prefix and augments optimization with a margin-based contrastive constraint, which is modulated with discrepancy gating across token and sample level. Specifically, CV-OPD first introduces a negative teacher unrelated to the answer and designs a Contrastive Divergence Loss (CDL) that constrains the feature distribution of student by contrasting the positive and negative teachers, correcting how the student exploits visual regions. The CV-OPD introduces a Discrepancy Aware Gate (DAG) that uses token-level and sample-level discrepancies to select visually relevant tokens for optimization, directing the student's attention toward visual content. Extensive experiments across a broad range of fine-grained visual benchmarks demonstrate that CV-OPD substantially alleviates shortcut and consistently improves the visual reasoning capabilities of existing VLMs.
• Abstract（参考訳）: オンライン蒸留(OPD)は、VLM後の訓練において、多目的性と利便性を明らかにし、教師から生徒に密接な監督を与える。 しかし, 蒸留したVLMは, 関連する視覚領域をマスクしたりノイズに置き換えたりしても, 正確な解答が可能であった。 この観察に基づいて、定量的および定性的な実験により、この答えをヒントとして用いたOPDが、学生に真に視覚的証拠を探求し、頼ることを教えるのに失敗したことを実証した。 以上より, 蒸留における視覚的制約の欠如によるショートカットにより, この故障が生じたことを理論的に示唆する。 そこで本研究では,同じ学生プレフィックスを条件付けしながら,正負の作物によって誘導される教師の分布を比較し,トークンとサンプルレベルの差分ゲーティングで変調した差分ベースのコントラスト制約を最適化するContrastive Vision On-policy Distillation (CV-OPD)を提案する。 具体的には、CV-OPDはまず、回答とは無関係な負の教師を導入し、学生が視覚領域をどのように活用するかを正負の教師と対比することにより、生徒の特徴分布を制限するコントラスト・ディバージェンス・ロス(CDL)を設計する。 CV-OPDは、トークンレベルとサンプルレベルの不一致を利用して、最適化のために視覚的に関連するトークンを選択し、学生の注意を視覚コンテンツに向ける、離散的認識ゲート(DAG)を導入している。 広範囲にわたる視覚的ベンチマーク実験により、CV-OPDはショートカットを大幅に軽減し、既存のVLMの視覚的推論能力を一貫して改善することを示した。

関連論文リスト

• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Is Better Teacher Supervision Enough? Unlocking Student-side Learning in Multimodal On-Policy Distillation [38.496745535296945]
  オンライン蒸留(OPD)は、学生自身の軌道上の教師からトークンレベルの監督を提供することにより、推論を改善する。 S-OPDは,学生の知覚学習を明示的に強化するシンプルなマルチモーダルオンライン蒸留フレームワークである。 我々のメソッドは既存のOPDフレームワークにシームレスにプラグインすることができ、追加のデータアノテーション、モデルパラメータ、推論操作を必要としない。
  論文  参考訳（メタデータ） (2026-09-30T06:55:48Z)
• On-Policy Visual Evidence Distillation [29.145226066460193]
  本稿では,視覚エージェントのオンライン蒸留法であるRe Reflection on Visual Evidence (ReVuE)を紹介する。 ReVuEは、同じクエリに対して複数の学生生成軌跡を比較し、観察された視覚的証拠を要約し、最初の失敗を診断する。 我々は,これらの反射が教師の予測にどの程度強く影響するかに応じて,トークンレベルの蒸留損失をグループ化し,再重み付けする。
  論文  参考訳（メタデータ） (2026-09-29T06:47:11Z)
• Distill What the Student Can See: Fisher-Projected On-Policy Distillation for Vision-Language Models [23.382646724389545]
  オンライン蒸留(OPD)は、現在の学生政策の軌跡をサンプリングし、学生と教師の次点分布のトークンレベルのばらつきを最小限にする。 本稿では,ローカルで実現可能な教師の訂正のみを蒸留するemphFisher-Projected On-Policy Distillation (FP-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-08-02T14:16:14Z)
• VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation [46.347555076026964]
  マルチモーダル・オン・ポリティクス蒸留は、生徒が生成した軌跡を教師に監督することで、きめ細かい視覚的知識を伝達する。 主な課題は、どの補正が、どのように蒸留するかだけでなく、視覚的証拠によって支えられているかを推定することである。 本稿では,教師の補正の視覚的帰属部分を推定する対物目標再構成アルゴリズムである視覚属性蒸留(VAD)を紹介する。
  論文  参考訳（メタデータ） (2026-07-30T17:43:46Z)
• DOPD: Dual On-policy Distillation [59.65986569617147]
  オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。 特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。 大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-06-29T17:55:53Z)
• Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
  MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。 本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Visual Perturbation-aware Collaborative Learning for Overcoming the Language Prior Problem [60.0878532426877]
  本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。 具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。 2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
  論文  参考訳（メタデータ） (2022-07-24T23:50:52Z)
• Compressing Visual-linguistic Model via Knowledge Distillation [43.73998154661652]
  変圧器を用いた大規模視覚言語モデルを小型モデルに圧縮するための知識蒸留の研究を行う。 提案した蒸留は,画像キャプションおよび視覚的質問応答タスクにおける小型VLモデルの性能を有意に向上させることを示した。
  論文  参考訳（メタデータ） (2021-04-05T18:02:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。