論文の概要: AMD: Automatic Multi-step Distillation of Large-scale Vision Models

• arxiv url: http://arxiv.org/abs/2407.04208v1
• Date: Fri, 5 Jul 2024 01:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 14:50:59.579142
• Title: AMD: Automatic Multi-step Distillation of Large-scale Vision Models
• Title（参考訳）: AMD:大規模視覚モデルの多段階自動蒸留
• Authors: Cheng Han, Qifan Wang, Sohail A. Dianat, Majid Rabbani, Raghuveer M. Rao, Yi Fang, Qiang Guan, Lifu Huang, Dongfang Liu,
• Abstract要約: 本稿では,大規模視覚モデル圧縮のための自動多段階蒸留法(AMD)を提案する。 生徒のパフォーマンスを最大化する最適な教師支援者を自動的に識別する,効率的かつ効果的な最適化フレームワークが導入された。
• 参考スコア（独自算出の注目度）: 39.70559487432038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based architectures have become the de-facto standard models for diverse vision tasks owing to their superior performance. As the size of the models continues to scale up, model distillation becomes extremely important in various real applications, particularly on devices limited by computational resources. However, prevailing knowledge distillation methods exhibit diminished efficacy when confronted with a large capacity gap between the teacher and the student, e.g, 10x compression rate. In this paper, we present a novel approach named Automatic Multi-step Distillation (AMD) for large-scale vision model compression. In particular, our distillation process unfolds across multiple steps. Initially, the teacher undergoes distillation to form an intermediate teacher-assistant model, which is subsequently distilled further to the student. An efficient and effective optimization framework is introduced to automatically identify the optimal teacher-assistant that leads to the maximal student performance. We conduct extensive experiments on multiple image classification datasets, including CIFAR-10, CIFAR-100, and ImageNet. The findings consistently reveal that our approach outperforms several established baselines, paving a path for future knowledge distillation methods on large-scale vision models.
• Abstract（参考訳）: トランスフォーマーベースのアーキテクチャは、優れた性能のため、様々な視覚タスクのためのデファクト標準モデルとなっている。 モデルのサイズが拡大し続ければ、様々な実アプリケーション、特に計算資源に制限されたデバイスにおいて、モデルの蒸留は非常に重要になる。 しかし, 従来の知識蒸留法では, 10倍圧縮率など, 教師と生徒の容量ギャップが大きくなると, 効果が低下する。 本稿では,大規模視覚モデル圧縮のための自動多段階蒸留法(AMD)を提案する。 特に、蒸留プロセスは複数のステップにまたがって展開する。 当初、教師は蒸留を行い、中間教師補助モデルを形成し、さらに学生に蒸留する。 生徒のパフォーマンスを最大化する最適な教師支援者を自動的に識別する,効率的かつ効果的な最適化フレームワークが導入された。 CIFAR-10, CIFAR-100, ImageNetを含む複数の画像分類データセットについて広範な実験を行った。 以上の結果から,本手法は確立されたベースラインよりも優れており,大規模視覚モデルにおける将来的な知識蒸留手法の道筋をたどっていることが明らかとなった。

関連論文リスト

• Progressive Distillation Based on Masked Generation Feature Method for Knowledge Graph Completion [29.297959023968165]
  そこで本稿では,KGCタスクのためのマスク生成機能に基づくプログレッシブ蒸留法を提案する。 具体的には、PLMの予蒸留を行い、高品質の教師モデルを取得し、PLMネットワークを圧縮し、マルチグレードの学生モデルを得る。 実験により, 予蒸留段階のモデルが, 既存の最先端手法を超越していることが実証された。
  論文  参考訳（メタデータ） (2024-01-19T07:34:36Z)
• One-Step Diffusion Distillation via Deep Equilibrium Models [64.11782639697883]
  本稿では,拡散モデルを初期雑音から得られた画像に直接蒸留する簡易かつ効果的な方法を提案する。 本手法は,拡散モデルからノイズ/イメージペアのみによる完全オフライントレーニングを可能にする。 GET は FID スコアの点で 5 倍の ViT と一致するので,DEC アーキテクチャがこの能力に不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-12T07:28:40Z)
• Education distillation:getting student models to learn in shcools [15.473668050280304]
  本稿では,知識蒸留における動的漸進学習を紹介する。 完全学生モデルから分割した断片化された学生モデルを下級モデルとして扱うことが提案されている。
  論文  参考訳（メタデータ） (2023-11-23T05:20:18Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Extracting knowledge from features with multilevel abstraction [3.4443503349903124]
  自己知識蒸留(SKD)は、大きな教師モデルから小さな学生モデルに知識を移すことを目的としている。 本稿では,本手法と異なる方法で,新しいSKD手法を提案する。 実験とアブレーション研究は、様々なタスクにおいて、その大きな効果と一般化を示している。
  論文  参考訳（メタデータ） (2021-12-04T02:25:46Z)
• Efficient Vision Transformers via Fine-Grained Manifold Distillation [96.50513363752836]
  視覚変換器のアーキテクチャは多くのコンピュータビジョンタスクで異常な性能を示した。 ネットワーク性能は向上するが、トランスフォーマーはより多くの計算資源を必要とすることが多い。 本稿では,教師のトランスフォーマーから,画像と分割パッチの関係を通して有用な情報を抽出することを提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:28:34Z)
• Knowledge distillation: A good teacher is patient and consistent [71.14922743774864]
  最先端のパフォーマンスを実現する大規模モデルと、実用的な用途で手頃な価格のモデルとの間には、コンピュータビジョンの相違が増えている。 蒸留の有効性に大きな影響を及ぼす可能性のある,特定の暗黙的な設計選択を同定する。 ImageNetの最先端ResNet-50モデルが82.8%の精度で実現されている。
  論文  参考訳（メタデータ） (2021-06-09T17:20:40Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• Online Knowledge Distillation via Multi-branch Diversity Enhancement [15.523646047674717]
  複数の学生モデル間の多様性を高めるため,新しい蒸留法を提案する。 ネットワークにおけるアテンション機構の性能を向上させる機能融合モジュール(FFM)を用いる。 また,学生モデルの違いを強化するために,多変量化(CD)損失関数を用いた。
  論文  参考訳（メタデータ） (2020-10-02T05:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。