論文の概要: Rethinking Random Masking in Self Distillation on ViT

• arxiv url: http://arxiv.org/abs/2506.10582v1
• Date: Thu, 12 Jun 2025 11:19:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.699306
• Title: Rethinking Random Masking in Self Distillation on ViT
• Title（参考訳）: ViTの自己蒸留におけるランダムマスキングの再考
• Authors: Jihyeon Seong, Hyunkyung Han,
• Abstract要約: 本研究は,DINOフレームワークに焦点をあて,自己蒸留におけるランダムマスキングの役割に焦点を当てた。 具体的には、学生のローカルな視点と教師のグローバルな視点を元の、マスキングされていない形で保ちながら、学生のグローバルな視点にのみランダムマスキングを適用する。 ミニ画像Netデータセット上でDINO-Tinyを用いてアプローチを評価し、この非対称な設定下でのランダムマスキングにより、より堅牢できめ細かな注意マップが得られ、最終的に下流の性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers (ViTs) have demonstrated remarkable performance across a wide range of vision tasks. In particular, self-distillation frameworks such as DINO have contributed significantly to these advances. Within such frameworks, random masking is often utilized to improve training efficiency and introduce regularization. However, recent studies have raised concerns that indiscriminate random masking may inadvertently eliminate critical semantic information, motivating the development of more informed masking strategies. In this study, we explore the role of random masking in the self-distillation setting, focusing on the DINO framework. Specifically, we apply random masking exclusively to the student's global view, while preserving the student's local views and the teacher's global view in their original, unmasked forms. This design leverages DINO's multi-view augmentation scheme to retain clean supervision while inducing robustness through masked inputs. We evaluate our approach using DINO-Tiny on the mini-ImageNet dataset and show that random masking under this asymmetric setup yields more robust and fine-grained attention maps, ultimately enhancing downstream performance.
• Abstract（参考訳）: 視覚変換器 (ViT) は様々な視覚タスクにおいて顕著な性能を示した。 特に、DINOのような自己蒸留の枠組みは、これらの進歩に大きく貢献している。 このようなフレームワーク内では、ランダムマスキングはトレーニング効率の向上と正規化の導入にしばしば使用される。 しかし、近年の研究では、無差別なランダムマスキングが必然的に重要な意味情報を排除し、より情報のあるマスキング戦略の開発を動機付けているとの懸念が持ち上がっている。 本研究では,DINOフレームワークに着目し,自己蒸留環境におけるランダムマスキングの役割について検討する。 具体的には、学生のローカルな視点と教師のグローバルな視点を元の、マスキングされていない形で保ちながら、学生のグローバルな視点にのみランダムマスキングを適用する。 この設計は、DINOのマルチビュー拡張方式を利用して、マスク入力による堅牢性を誘導しながら、クリーンな監視を維持する。 ミニ画像Netデータセット上でDINO-Tinyを用いてアプローチを評価し、この非対称な設定下でのランダムマスキングにより、より堅牢できめ細かな注意マップが得られ、最終的に下流の性能が向上することを示す。

関連論文リスト

• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [40.78236375917571]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 マルチレベル最適化マスクオートエンコーダ(MLO-MAE)は,下流タスクからのエンドツーエンドフィードバックを利用して,事前トレーニング中に最適なマスキング戦略を学習する新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• Masking Improves Contrastive Self-Supervised Learning for ConvNets, and Saliency Tells You Where [63.61248884015162]
  我々は、畳み込みニューラルネットワークのためのコントラスト学習フレームワークにマスキング操作を組み込むことの負担を軽減することを目的としている。 マスクされた領域が、前景と背景の間に均等に分散されていることを考慮し、塩分濃度の制約を明示的に考慮することを提案する。
  論文  参考訳（メタデータ） (2023-09-22T09:58:38Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Improving self-supervised representation learning via sequential adversarial masking [12.176299580413097]
  マスキングベースのプレテキストタスクはNLPを超えて拡張され、コンピュータビジョンにおいて有用な事前学習の目的として機能する。 敵に異なる制約で連続的にマスクを生成する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-12-16T04:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。