CODI: Improving Self-Supervised Vision Transformers with Cross Distillation
Abstractの概要
本論文では、自己教師ありVision Transformerが強力な画像レベルの表現を生成できる一方で、高密度予測タスクにおいてパッチレベルの特徴が弱くなる要因を検証しています。著者らは、[CLS]トークンが少数の代表的なパッチに集中する傾向があり、アテンションが低いパッチで高密度予測エラーが多く発生することを実証的に示しました。また局所勾配解析を通じて、画像レベルの自己蒸留による意味的勾配が[CLS]からパッチへのアテンション量で重み付けされ、パッチ間で不均一な意味的教師信号が生じることを明らかにしています。これに対処するため、モデル構造を変更することなく、教師側の各パッチトークンターゲットに教師側のクラストークン分布を微量混合するCross Distillation（CODI）を提案しています。
新規性
本研究の際立った貢献は、バックボーンの変更や個別の高密度学習ステージの追加を伴わず、マスクされたパッチの教師信号にグローバルなクラストークンの意味情報を直接注入するターゲット側のクロス蒸留手法を提案した点です。また、実証的証拠と[CLS]アテンション経路の勾配ベースの解析の両面から、高密度表現の弱さを「代表パッチ現象」に関連付けて説明しています。
成果
条件を揃えたImageNet-1Kの事前学習設定において、CODIは複数のモデルサイズで再現版DINOv2に対し高密度および画像レベルの転移性能を共に向上させました。セマンティックセグメンテーションでは、ViT-S/14、ViT-B/14、ViT-L/14でそれぞれ平均mIoUが+2.7、+1.7、+1.9向上したと報告されており、深度推定の27の指標比較中24項目でDINOv2と同等以上の結果を示しました。さらに、CODIはViT-L/14を用いてDAVISで66.0 J&Fを達成し、一貫した分類性能およびオクルージョン耐性の向上も示しています。
論文の注目点
- 自己教師ありViTにおける画像レベルとパッチレベルの学習の不一致を特定：[CLS]のアテンションは少数の代表パッチを強調する一方、高密度予測エラーはアテンションの低い領域に集中します。
- CODIは、教師パッチ分布に教師クラストークン分布を微量混合して各マスクパッチのターゲットを生成し、すべてのアスクパッチに対してアテンションに依存しないグローバルな意味的ガイダンスを提供します。
- セグメンテーション、深度推定、動画オブジェクトセグメンテーション、および分類タスクにわたる実験により、CODIは同等の事前学習設定下で画像レベルの性能を維持またはわずかに向上させつつ、高密度タスクへの転移性能を向上させることが示されています。