Fugu-MT 論文翻訳(概要): Visual Contrastive Self-Distillation

論文の概要: Visual Contrastive Self-Distillation

arxiv url: http://arxiv.org/abs/2607.21556v1
Date: Thu, 23 Jul 2026 17:37:37 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-24 18:26:25.506072
Title: Visual Contrastive Self-Distillation
Title（参考訳）: 視覚コントラスト自己蒸留
Abstract要約: 本稿では,視覚的コントラスト自己蒸留法を提案する。これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。
参考スコア（独自算出の注目度）: 61.298159957622886
License: http://creativecommons.org/licenses/by/4.0/
Abstract: On-policy self-distillation (OPSD) is promising as it removes the external teacher required by on-policy distillation (OPD), yet it still needs asymmetric information between teacher and student to ensure that the self-teacher provides a stronger learning signal than the student. Existing methods create this asymmetry either through privileged answers or visual evidence. We ask whether both can be removed, yielding a simpler form of OPSD driven purely by input conditioning. For this purpose, we propose Visual Contrastive Self-Distillation, namely VCSD, which converts image-content removal into an on-policy self-distillation signal. At each student-generated response prefix, the EMA teacher produces two next-token distributions under the same prompt and prefix -- one conditioned on the original image and the other on a content-erased control. Their token-wise log-probability difference highlights candidates whose likelihood is specifically increased by the instance-level visual content. We use this contrast to sharpen the teacher's original-image distribution within its plausible support, and distill the resulting full-distribution target into the student. Using ViRL39K dataset, VCSD consistently outperforms matched OPSD across Qwen3-VL and Qwen3.5 models. For example, on Qwen3-VL, it improves the seven-benchmark aggregate from $62.27\% \rightarrow 67.04\%$ at 2B, $71.30\% \rightarrow 73.16\%$ at 4B, and $72.51\% \rightarrow 76.26\%$ at 8B. Furthermore, VCSD requires no external teacher, privileged answers, visual evidence signals, reasoning traces, or additional inference-time cost.
Abstract（参考訳）: On-policy Self-distillation (OPSD) は、オンライン蒸留(OPD)で必要とされる外部教師を除去する上で有望であるが、教師と学生の間には、教師が生徒よりも強力な学習信号を提供するために、依然として非対称な情報が必要である。既存の方法は、特権的な答えや視覚的証拠を通じて、この非対称性を創出する。どちらも除去可能かどうかを問うとともに、入力条件付けによって純粋に駆動されるOPSDのより単純な形式が得られる。そこで本稿では,画像内容の除去をオンライン自己蒸留信号に変換するVCSD(Visual Contrastive Self-Distillation)を提案する。学生が生成した各応答プレフィックスでは、EMA教師は同じプロンプトとプレフィックスの下で2つの次のトケン分布を生成する。トークン単位のログ確率の違いは、インスタンスレベルのビジュアルコンテンツによって特に増加する可能性がある候補を強調します。これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。 ViRL39Kデータセットを使用することで、VCSDはQwen3-VLとQwen3.5モデルでOPSDにマッチするパフォーマンスを一貫して上回る。例えば、Qwen3-VLでは、6.27 % \rightarrow 67.04 %$を2Bで、7.30 % \rightarrow 73.16 %$を4Bで、7.2.51 % \rightarrow 76.26 %を8Bで改善している。さらに、VCSDは外部教師、特権的回答、視覚的証拠信号、推論トレース、追加の推論時間コストを必要としない。

関連論文リスト

Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement [27.122890248991556]
オンライン蒸留(OPD)は、証明可能な報酬(RLVR)による強化学習の希薄な結果レベルの利点の代替として、高密度トークンレベルの監督を提供する。我々は,OPD訓練中の教師の指導を定量的に分析し,教師の規模で有意な雑音が増大することを示した。学習は低ログ確率トークンに焦点を合わせ, 教師が提案したトークンの性能に一致した1つの負の優位性を用いる。
論文参考訳（メタデータ） (2026-08-31T16:22:10Z)
Self-Supervised Visual On-Policy Distillation [63.83705343579541]
視覚的オンライン蒸留は情報的教師-学生非対称性に大きく依存する。 S$2$VOPD(Self-Supervised Visual On-Policy Distillation)を紹介する。 S$2$VOPDは、オリジナルのイメージに条件付けられた教師の分布を、同じイメージの強く強化されたビューで条件付けられた学生の分布に蒸留する。
論文参考訳（メタデータ） (2026-08-14T09:52:01Z)
H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
Hybrid Hindsight Self-Distillation (MathrmH2mathrmSD$)は、教師のコンテキストに適応し、トラジェクティブの正確性に対処する。軌道を成功させるために,確認された応答と言い換え命令から教師の文脈を構築する。失敗した軌道に対して、検証者確認基準ヒントは、逆KL蒸留による補正ガイダンスを提供する。
論文参考訳（メタデータ） (2026-07-21T10:47:27Z)
DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文参考訳（メタデータ） (2026-07-02T17:58:29Z)
DOPD: Dual On-policy Distillation [59.65986569617147]
オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2026-06-29T17:55:53Z)
Visual-OPSD: Cross-Modal On-Policy Self-Distillation for Efficient Unified Multimodal Reasoning [30.851590309402436]
統一マルチモーダルモデル (UMM) は、空間的タスクを改善するためにテキスト推論で'視覚的思考' (VT) を生成する。これは、多段階拡散から大まかにマグニチュード推論コストを発生させる。本稿では、この問題を解決するために、ビジュアルオンポリシィ自己蒸留(Visual-OPSD)を提案する。
論文参考訳（メタデータ） (2026-06-17T11:59:15Z)
ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation [5.131753844398592]
ViCuRは視覚的に接地された特権型蒸留フレームワークである。答え側の特権を視覚的手がかりに置き換える。答えに基づく自己蒸留よりも継続的に改善される。
論文参考訳（メタデータ） (2026-06-04T05:18:13Z)
Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文参考訳（メタデータ） (2026-05-29T04:39:20Z)
AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals [65.71225905458182]
自己蒸留は、生徒と教師の両方と同じモデルを用いて、言語モデルが自身の軌道から政治学を学ぶことを可能にする。このセットアップは、別の外部モデルに頼ることなく、密集したトークンレベルのフィードバックを提供する。複数の特権情報ビューを持つ自己蒸留法であるAVSDを紹介する。
論文参考訳（メタデータ） (2026-05-20T03:06:36Z)
Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning [2.9029480541171107]
そこで我々は, 自己蒸留を推論するための効果的な新しい軸として, 適応型教師曝露を提案する。適応型自己蒸留(ATESD)は, 競争力のある自己蒸留とRLベースラインを一貫して上回ることを示す。
論文参考訳（メタデータ） (2026-05-12T03:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。