論文の概要: CODI: Improving Self-Supervised Vision Transformers with Cross Distillation

• arxiv url: http://arxiv.org/abs/2610.30639v1
• Date: Thu, 22 Oct 2026 03:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.195461
• Title: CODI: Improving Self-Supervised Vision Transformers with Cross Distillation
• Title（参考訳）: CODI:クロス蒸留による自己監督型視覚変換器の改良
• Abstract要約: 自己監督型視覚変換器は画像レベルの強い表現を学習するが、そのパッチレベルの表現は高密度な予測では信頼できない。 そこで我々は,教師のクラストケン分布の少量を各教師のパッチトケンターゲットに混合するクロス蒸留(CODI)を提案する。 実験により、CODIは調整済みの事前学習環境下での濃密および画像レベルのパフォーマンスを改善することが示された。
• 参考スコア（独自算出の注目度）: 116.71428535119146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised Vision Transformers learn strong image-level representations, but their patch-level representations can be unreliable for dense prediction. We study this mismatch and find that the class token concentrates global semantics on a small number of representative patches, while dense prediction errors often occur on low-attention regions. We provide a local gradient analysis showing that, along the [CLS] attention readout, image-level self-distillation gradients are weighted by [CLS]-to-patch attention mass. To provide masked patches with global semantics without changing the architecture, we propose Cross Distillation (CODI), which mixes a small amount of the teacher class-token distribution into each teacher patch-token target. CODI gives every masked patch an attention-independent semantic correction while preserving the standard self-distillation architecture. Experiments on dense and image-level benchmarks show that CODI improves both dense and image-level performance under aligned pretraining settings. Code is available at https://github.com/EldercatSAM/CODI.
• Abstract（参考訳）: 自己監督型視覚変換器は画像レベルの強い表現を学習するが、そのパッチレベルの表現は高密度な予測では信頼できない。 このミスマッチを調べた結果,クラストークンは少数の代表パッチに大域的意味論を集中させるが,低アテンション領域では高密度な予測誤差が発生することが多かった。 局所勾配解析により,[CLS]の注意読み出しとともに, [CLS]-to-patchの注意質量によって画像レベルの自己蒸留勾配が重み付けされていることを示す。 アーキテクチャを変更せずにグローバルな意味論を持つマスク付きパッチを提供するために,教師のクラストケン分布の少量を各教師のパッチトケンターゲットに混合するクロス蒸留(CODI)を提案する。 CODIは、標準的な自己蒸留アーキテクチャを維持しながら、すべてのマスクされたパッチに注意非依存のセマンティック修正を与える。 濃密および画像レベルのベンチマーク実験により、CODIは整列事前トレーニング設定下での濃密および画像レベルのパフォーマンスを改善することが示された。 コードはhttps://github.com/EldercatSAM/CODI.comで入手できる。

関連論文リスト

• [CLS] is Not Enough: Multi-Label Recognition via Patch-Level Inference and Adaptive Aggregation [20.637119409165418]
  PIAAは、アダプティブアグリゲーション(Adaptive Aggregation)によって、パッチレベルの推論として予測を定式化する。 パッチレベルのスコアを最終的なマルチラベル予測に集約するアダプティブアグリゲーションモジュールを導入する。 実験の結果,提案手法は最小限の余剰計算で強い改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2026-05-25T13:19:12Z)
• Locality-Attending Vision Transformer [39.7650646299574]
  グローバルな自己注意は、セグメンテーションのようなタスクに不可欠な、きめ細かい空間的詳細を曖昧にすることができる。 本稿では,視覚変換器のイメージレベルの認識能力を維持しつつ,セグメンテーションタスクの性能を向上させる,シンプルで効果的なアドオンを提案する。
  論文  参考訳（メタデータ） (2026-03-05T07:31:49Z)
• Revisiting [CLS] and Patch Token Interaction in Vision Transformers [16.71411137558127]
  視覚変換器は、強力でスケーラブルで汎用的な表現学習器として登場した。 我々は,異なる事前学習戦略の下で,グローバルな特徴学習とローカルな特徴学習の摩擦について検討する。 本稿では,クラスとパッチトークンの計算フローを選択的に切り離す特殊な処理経路を提案する。
  論文  参考訳（メタデータ） (2026-02-09T13:16:01Z)
• What matters for Representation Alignment: Global Information or Spatial Structure? [64.67092609921816]
  表現アライメント(REPA)は、強い事前訓練された視覚エンコーダから中間拡散特徴への表現を蒸留することにより、生成訓練を導く。 本稿では,対象表現のどの側面が生成に重要であるか,そのテクスト・グロバル・リビジョン・セマンティック・情報について検討する。 我々はREPAの標準射影層を単純な畳み込み層に置き換え、外部表現のための空間正規化層を導入する。
  論文  参考訳（メタデータ） (2025-12-11T16:39:53Z)
• MoRe: Class Patch Attention Needs Regularization for Weakly Supervised Semantic Segmentation [12.308473939796945]
  そこで本研究では,最小のセマンティック関連性を持つパッチ領域を誤動作させる問題に対処するため,MoReを提案する。 以上の結果から,クラスパッチ注意にさらなる正規化を加える必要があることが示唆された。 MoReはアーティファクトの問題を効果的に解決し、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-15T06:20:41Z)
• Spatial Action Unit Cues for Interpretable Deep Facial Expression Recognition [55.97779732051921]
  表情認識(FER)のための最先端の分類器は、エンドユーザーにとって重要な特徴である解釈可能性に欠ける。 新しい学習戦略が提案され、AU cues を分類器訓練に明示的に組み込むことで、深い解釈可能なモデルを訓練することができる。 我々の新しい戦略は汎用的であり、アーキテクチャの変更や追加のトレーニング時間を必要とすることなく、ディープCNNやトランスフォーマーベースの分類器に適用できます。
  論文  参考訳（メタデータ） (2024-10-01T10:42:55Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)
• Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
  視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。 我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。 階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
  論文  参考訳（メタデータ） (2022-07-19T15:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。