論文の概要: DearKD: Data-Efficient Early Knowledge Distillation for Vision Transformers

• arxiv url: http://arxiv.org/abs/2204.12997v2
• Date: Thu, 28 Apr 2022 14:36:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 10:35:01.633957
• Title: DearKD: Data-Efficient Early Knowledge Distillation for Vision Transformers
• Title（参考訳）: DearKD:ビジョントランスのためのデータ効率の良い早期知識蒸留
• Authors: Xianing Chen, Qiong Cao, Yujie Zhong, Jing Zhang, Shenghua Gao, Dacheng Tao
• Abstract要約: 本稿では,変換器が必要とするデータ効率を向上させるために,DearKDと呼ばれる早期知識蒸留フレームワークを提案する。 私たちのDearKDは、2段階のフレームワークで、まずCNNの初期中間層から誘導バイアスを蒸留し、その後、蒸留なしでトレーニングによってフルプレイする。
• 参考スコア（独自算出の注目度）: 91.6129538027725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers are successfully applied to computer vision due to their powerful modeling capacity with self-attention. However, the excellent performance of transformers heavily depends on enormous training images. Thus, a data-efficient transformer solution is urgently needed. In this work, we propose an early knowledge distillation framework, which is termed as DearKD, to improve the data efficiency required by transformers. Our DearKD is a two-stage framework that first distills the inductive biases from the early intermediate layers of a CNN and then gives the transformer full play by training without distillation. Further, our DearKD can be readily applied to the extreme data-free case where no real images are available. In this case, we propose a boundary-preserving intra-divergence loss based on DeepInversion to further close the performance gap against the full-data counterpart. Extensive experiments on ImageNet, partial ImageNet, data-free setting and other downstream tasks prove the superiority of DearKD over its baselines and state-of-the-art methods.
• Abstract（参考訳）: トランスフォーマーは、自己着脱を伴う強力なモデリング能力のため、コンピュータビジョンにうまく適用できる。 しかし、トランスの優れた性能は、膨大なトレーニング画像に大きく依存する。 これにより、データ効率の良いトランスソリューションが緊急に必要となる。 本研究では,変換器が必要とするデータ効率を改善するために,DearKDと呼ばれる早期知識蒸留フレームワークを提案する。 私たちのDearKDは、2段階のフレームワークで、まずCNNの初期中間層から誘導バイアスを蒸留し、その後、蒸留なしでトレーニングによってフルプレイする。 さらに、DearKDは、実際の画像が利用できない極端なデータフリーケースにも容易に適用できます。 そこで本研究では,deepinversionに基づく境界保存型領域内損失法を提案する。 ImageNet、部分的なImageNet、データフリー設定、その他の下流タスクに関する大規模な実験は、そのベースラインと最先端メソッドよりもDearKDの方が優れていることを証明している。

関連論文リスト

• Image-Conditional Diffusion Transformer for Underwater Image Enhancement [4.555168682310286]
  画像条件拡散変換器(ICDT)を用いた新しいUIE法を提案する。 本手法は, 劣化した水中画像を条件入力とし, ICDTを適用した潜時空間に変換する。 我々の最大のモデルであるICDT-XL/2は、画像強調の最先端(SOTA)品質を達成するため、全ての比較手法より優れています。
  論文  参考訳（メタデータ） (2024-07-07T14:34:31Z)
• Remote Sensing Change Detection With Transformers Trained from Scratch [62.96911491252686]
  トランスフォーマーベースの変更検出(CD)アプローチでは、大規模なイメージ分類でトレーニングされた事前トレーニングモデルを使用するか、別のCDデータセットで最初の事前トレーニングを頼りにしてから、ターゲットのベンチマークを微調整する。 我々は、4つの公開ベンチマークにおいて、スクラッチからトレーニングされながら最先端のパフォーマンスを実現するトランスフォーマーを用いたエンドツーエンドCDアプローチを開発した。
  論文  参考訳（メタデータ） (2023-04-13T17:57:54Z)
• Supervised Masked Knowledge Distillation for Few-Shot Transformers [36.46755346410219]
  そこで本稿では,少数のトランスフォーマーを対象としたSMKD(Supervised Masked Knowledge Distillation Model)を提案する。 従来の自己管理手法と比較して,クラストークンとパッチトークンの両方でクラス内知識蒸留が可能である。 簡単な設計による手法は,従来の手法を大きなマージンで上回り,新たなスタート・オブ・ザ・アーティファクトを実現する。
  論文  参考訳（メタデータ） (2023-03-25T03:31:46Z)
• Q-ViT: Accurate and Fully Quantized Low-bit Vision Transformer [56.87383229709899]
  我々は、完全量子化視覚変換器(Q-ViT)のための情報修正モジュール(IRM)と分配誘導蒸留法を開発した。 我々の手法は、先行技術よりもはるかに優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-13T04:00:29Z)
• AdaViT: Adaptive Vision Transformers for Efficient Image Recognition [78.07924262215181]
  AdaViTは、パッチ、セルフアテンションヘッド、およびトランスフォーマーブロックを使用するための利用ポリシーを導出する適応フレームワークである。 本手法は,0.8%の精度で,最先端のビジョントランスに比べて2倍以上の効率向上を実現している。
  論文  参考訳（メタデータ） (2021-11-30T18:57:02Z)
• Efficient Vision Transformers via Fine-Grained Manifold Distillation [96.50513363752836]
  視覚変換器のアーキテクチャは多くのコンピュータビジョンタスクで異常な性能を示した。 ネットワーク性能は向上するが、トランスフォーマーはより多くの計算資源を必要とすることが多い。 本稿では,教師のトランスフォーマーから,画像と分割パッチの関係を通して有用な情報を抽出することを提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:28:34Z)
• Pre-Trained Image Processing Transformer [95.93031793337613]
  我々は、新しい事前学習モデル、すなわち、画像処理変換器(IPT)を開発する。 本稿では、よく知られたImageNetベンチマークを用いて、大量の画像ペアを生成する。 IPTモデルは、これらの画像をマルチヘッドとマルチテールでトレーニングする。
  論文  参考訳（メタデータ） (2020-12-01T09:42:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。