Visual Contrastive Self-Distillation
Abstractの概要
本論文は、外部の教師モデルや特権的な解答、推論の軌跡、明示的な視覚的根拠シグナルに依存しない、視覚言語モデル向けのオンポリシー自己蒸留手法であるVisual Contrastive Self-Distillation（VCSD）を提案している。生徒モデルが生成した各プレフィックスにおいて、EMA教師モデルは同じプロンプトとプレフィックスの下で、元の画像とコンテンツが消去された対照画像を用いて2回評価される。これら2つの条件におけるトークンレベルの対数確率の差を利用して、妥当性が制約されたサポート内で教師モデルの元の画像分布を鋭敏化し、得られた完全な分布が順方向KLダイバージェンスにより生徒モデルに蒸留される。本手法は、Qwen3-VLおよびQwen3.5モデルを使用し、7つの視覚言語ベンチマークにわたりViRL39K上で評価されている。
新規性
特徴的なアイデアは、オンポリシー自己蒸留に必要な教師と生徒の非対称性を、特権的な監督や証拠を重視した画像処理によってではなく、純粋に一致させた入力条件付けによって作り出す点にある。VCSDは、実際の画像とコンテンツが消去された対照画像の下での教師モデルの予測の対比を利用し、元の画像分布をアンカーとした、視覚的な情報に基づくフル分布のターゲットを形成する。
成果
6つのモデル構成全体にわたり、VCSDは7つのベンチマークの集計において、対応するベースモデルと同等のOPSDベースラインの両方を一貫して上回った。Qwen3-VLの場合、集計精度は2Bで62.27%から67.04%に、4Bで71.30%から73.16%に、8Bで72.51%から76.26%に向上し、Qwen3.5モデルではベースモデルからの精度向上が2.90%から4.27%の範囲に及んだ。さらにアブレーション実験により、妥当性の制限が学習を安定させること、中程度の対比強度が最も効果的であること、テストされた蒸留手法の中では順方向KLが最も強力であることが示された。
論文の注目点
- VCSDは、元の画像とコンテンツが消去された対照画像の下でEMA教師モデルの次トークン分布を対比させ、妥当性が制約され対比によって形成されたターゲットを生徒モデルに蒸留する。
- この手法により、外部の教師モデルや、特権的な解答、推論の軌跡、証拠のクロップ、推論時の余分なブランチといった補助的な監督が不要になる。
- Qwen3-VLおよびQwen3.5を用いたViRL39Kでの実験において、7つの視覚言語ベンチマーク全体で、ベースモデルおよび同等のOPSDを上回る一貫した総合的な精度向上が示された。
参考リンク
- arXiv: https://arxiv.org/abs/2607.21556v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2607.21556v1
- Hugging Face Papers: https://huggingface.co/papers/2607.21556