論文の概要: LEAP: Layer-skipping Efficiency via Adaptive Progression for Vision Transformer Distillation

• arxiv url: http://arxiv.org/abs/2606.19483v1
• Date: Wed, 17 Jun 2026 18:14:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.47918
• Title: LEAP: Layer-skipping Efficiency via Adaptive Progression for Vision Transformer Distillation
• Title（参考訳）: LEAP:アダプティブ・プログレッシブ・プログレッシブ・プログレッシブ・バイ・アダプティブ・トランスフォーマー蒸留
• Authors: Jiaqi Zhang, Ashton Lee, Anthony Wong, John Zou, Sami BuGhanem, Randall Balestriero,
• Abstract要約: 本稿では,ViT特徴量に基づく知識蒸留のトレーニングカリキュラムであるAdaptive Progressionによるレイヤスキップ効率について提案する。 このパラダイムは適応的難易度選択による収束を著しく促進することを示す。 カリキュラムは、FLOPのトレーニングで25.1%、ImageNet-100のトレーニング時間で21%節約できる。
• 参考スコア（独自算出の注目度）: 21.96454507185653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Foundation Models (VFMs) with Vision Transformer (ViT) backbones, such as DINOv2, have become essential for downstream tasks like object recognition and semantic segmentation. The immense computational requirements of backbones often necessitate distillation into smaller architectures for edge deployment. Feature-based knowledge distillation (KD) often suffers from the teacher-student gap; the student struggles to imitate teacher's complex feature map due to its limited capacity. To mitigate this bottleneck, we propose LEAP: Layer-skipping Efficiency via Adaptive Progression, a training curriculum for ViT feature-based knowledge distillation. By utilizing the teacher's intermediate feature maps as a sequence of progressively more difficult targets, our curriculum allows the student to build a foundational representation before tackling higher-level abstractions. Our results demonstrate that this paradigm significantly accelerates convergence through adaptive difficulty selection across various student model sizes and dataset scales. With our curriculum, the LEAP-distilled ViT-S achieves 90.1% accuracy on ImageNet-100, a +12.24% improvement compared with baseline. On ImageNet-1K, LEAP achieves +3.84% and +7.75% improvement for the instance retrieval task on the Oxford and Paris datasets, respectively. Furthermore, the curriculum enables 25.1% savings in training FLOPs and 21% savings in training time on ImageNet-100 by implementing early-stopping for teacher inference during the initial stages of training. Code is available at https://github.com/KevinZ0217/LEAP
• Abstract（参考訳）: ビジョン・ファンデーション・モデル(VFM)とビジョン・トランスフォーマー(ViT)のバックボーン(例えばDINOv2)は、オブジェクト認識やセマンティックセグメンテーションといった下流タスクに欠かせないものとなっている。 バックボーンの膨大な計算要求は、しばしばエッジ展開のためにより小さなアーキテクチャに蒸留を必要とする。 特徴に基づく知識蒸留(KD)は、しばしば教師と学生のギャップに悩まされる。 このボトルネックを緩和するために、我々はLEAPを提案する: アダプティブプログレッシブ・プログレッシション(Adaptive Progression)による層スキップ効率(Layer-skipping efficiency)。 本カリキュラムでは,教師の中間的特徴マップを,段階的に難しい目標の列として活用することにより,より高度な抽象化に取り組む前に,基礎的な表現を構築することができる。 このパラダイムは,様々な学生モデルサイズとデータセットスケールの適応的難易度選択を通じて,コンバージェンスを著しく加速することを示す。 我々のカリキュラムでは、LEAPで蒸留したViT-SはImageNet-100で90.1%の精度で、ベースラインに比べて+12.24%改善している。 ImageNet-1Kでは、LEAPはオックスフォードとパリのデータセットのインスタンス検索タスクを+3.84%、+7.75%改善した。 さらに、このカリキュラムは、トレーニングの初期段階において、教師の推論を早期に行うことで、トレーニングFLOPの25.1%の節約と、ImageNet-100のトレーニング時間の21%の削減を可能にしている。 コードはhttps://github.com/KevinZ0217/LEAPで入手できる。

関連論文リスト

• Next-Embedding Prediction Makes Strong Vision Learners [68.55755328850634]
  モデルをトレーニングして埋め込みを生成し、予測タスクを直接実行します。 Next-Embedding Predictive Autoregression (NEPA)はタスク間で強力な結果をもたらす。 埋め込みから生成する事前学習は、視覚的な自己教師型学習に代わる、シンプルでスケーラブルで、潜在的にモダリティに依存しない代替手段を提供する、と私たちは信じています。
  論文  参考訳（メタデータ） (2025-12-18T18:59:58Z)
• Underlying Semantic Diffusion for Effective and Efficient In-Context Learning [113.4003355229632]
  Underlying Semantic Diffusion (US-Diffusion)は、セマンティック学習、計算効率、文脈内学習能力を高める拡張拡散モデルである。 本稿では,フィードバック信号を利用したフィードバック支援学習(FAL)フレームワークを提案する。 また,高雑音レベルの時間ステップで高密度サンプリングを行うためのプラグイン・アンド・プレイの効率的なサンプリング戦略(ESS)を提案する。
  論文  参考訳（メタデータ） (2025-03-06T03:06:22Z)
• ScaleKD: Strong Vision Transformers Could Be Excellent Teachers [15.446480934024652]
  本稿では, 簡便かつ効果的な知識蒸留法であるScaleKDを提案する。 本手法は,画像分類データセット上で,さまざまな畳み込みニューラルネットワーク(CNN),多層パーセプトロン(MLP),ViTアーキテクチャにまたがる学生のバックボーンを訓練することができる。 教師モデルやその事前学習データセットのサイズをスケールアップする際,提案手法は所望のスケーラブルな特性を示す。
  論文  参考訳（メタデータ） (2024-11-11T08:25:21Z)
• Local Masking Meets Progressive Freezing: Crafting Efficient Vision Transformers for Self-Supervised Learning [0.0]
  視覚変換器(ViT)のための自己教師型学習への革新的アプローチを提案する。 本手法は, ViTにおける初期層トレーニングの効率化と高速化に重点を置いている。 提案手法は,初期層における効率的な学習を促進する,新しいマルチスケール再構築プロセスを採用する。
  論文  参考訳（メタデータ） (2023-12-02T11:10:09Z)
• Effective Whole-body Pose Estimation with Two-stages Distillation [52.92064408970796]
  全体ポーズ推定は、画像内の人体、手、顔、足のキーポイントをローカライズする。 textbfWhole-body textbfPose 推定器の2段階ポーズ textbfDistillation を提案し,その有効性と効率性について検討した。
  論文  参考訳（メタデータ） (2023-07-29T03:49:28Z)
• Getting More Juice Out of Your Data: Hard Pair Refinement Enhances Visual-Language Models Without Extra Data [122.282521548393]
  コントラスト言語-画像事前学習 (CLIP) は, クロスモーダルな画像-テキスト表現学習の標準となっている。 HELIPは、CLIPモデルを改善するためのコスト効率のよい戦略であり、継続的なトレーニングにおいて既存のデータセット内の挑戦的なテキストイメージペアを利用することで、CLIPモデルを改善する。
  論文  参考訳（メタデータ） (2023-05-09T07:00:17Z)
• DisWOT: Student Architecture Search for Distillation WithOut Training [0.0]
  我々は,教師にとって最高の学生アーキテクチャを探すための,新しい学習自由フレームワークを探究する。 我々の研究は、バニラトレーニングにおける最適モデルが蒸留の勝者にはならないことを実証的に示している。 CIFAR, ImageNet, NAS-Bench-201 を用いた実験により, 異なる検索空間における最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-03-28T01:58:45Z)
• A Simple and Generic Framework for Feature Distillation via Channel-wise Transformation [35.233203757760066]
  学習可能な非線形チャネルワイズ変換を提案し,教師モデルと生徒の特徴を一致させる。 本手法は,様々なコンピュータビジョンタスクにおいて,大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2023-03-23T12:13:29Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。