論文の概要: UNIC: Universal Classification Models via Multi-teacher Distillation

• arxiv url: http://arxiv.org/abs/2408.05088v1
• Date: Fri, 9 Aug 2024 14:18:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 15:37:31.438054
• Title: UNIC: Universal Classification Models via Multi-teacher Distillation
• Title（参考訳）: UNIC:マルチ教師蒸留によるユニバーサル分類モデル
• Authors: Mert Bulent Sariyildiz, Philippe Weinzaepfel, Thomas Lucas, Diane Larlus, Yannis Kalantidis,
• Abstract要約: 我々は、いくつかの補完的な事前訓練されたモデルから得られるユニークなエンコーダを学ぼうとしている。 このようなエンコーダをマルチティーチンガー蒸留により学習することを提案する。
• 参考スコア（独自算出の注目度）: 29.299698704883813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained models have become a commodity and offer strong results on a broad range of tasks. In this work, we focus on classification and seek to learn a unique encoder able to take from several complementary pretrained models. We aim at even stronger generalization across a variety of classification tasks. We propose to learn such an encoder via multi-teacher distillation. We first thoroughly analyse standard distillation when driven by multiple strong teachers with complementary strengths. Guided by this analysis, we gradually propose improvements to the basic distillation setup. Among those, we enrich the architecture of the encoder with a ladder of expendable projectors, which increases the impact of intermediate features during distillation, and we introduce teacher dropping, a regularization mechanism that better balances the teachers' influence. Our final distillation strategy leads to student models of the same capacity as any of the teachers, while retaining or improving upon the performance of the best teacher for each task. Project page and code: https://europe.naverlabs.com/unic
• Abstract（参考訳）: 事前訓練されたモデルはコモディティになり、幅広いタスクに対して強力な結果をもたらしている。 本研究は分類に焦点をあて,いくつかの補完的な事前学習モデルから得られるユニークなエンコーダを学習する。 我々は、様々な分類タスクにおけるより強力な一般化を目指しています。 このようなエンコーダをマルチティーチンガー蒸留により学習することを提案する。 我々はまず, 補足力を持つ複数の強い教師が推進する標準蒸留を徹底的に分析した。 そこで本研究では, 基本蒸留装置の改良を徐々に提案する。 このうち, 拡張可能なプロジェクタのはしごでエンコーダのアーキテクチャを充実させ, 蒸留中の中間的特徴の影響を増大させるとともに, 教師の影響力のバランスを良くする正規化機構である教師ドロップを導入する。 最終蒸留戦略は,どの教師と同じ能力の学生モデルにつながり,各課題における最高の教師のパフォーマンスを維持・改善する。 プロジェクトページとコード:https://europe.naverlabs.com/unic

関連論文リスト

• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
  蒸留した学生の一般化行動について検討する。 この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。 オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
  論文  参考訳（メタデータ） (2023-01-28T16:34:47Z)
• Efficient Knowledge Distillation from Model Checkpoints [36.329429655242535]
  同じ訓練軌道から複数の中間モデルの弱いスナップショットアンサンブルは、独立に訓練された完全収束モデルの強いアンサンブルより優れていることを示す。 本稿では,タスク関連相互情報の最大化に基づく最適中間教師選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:55:30Z)
• Knowledge Distillation with the Reused Teacher Classifier [31.22117343316628]
  簡単な知識蒸留技術では,教師と学生のパフォーマンスギャップを大幅に狭めるのに十分であることを示す。 提案手法は, プロジェクタの追加による圧縮率の最小コストで, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-03-26T06:28:46Z)
• Delta Distillation for Efficient Video Processing [68.81730245303591]
  デルタ蒸留と呼ばれる新しい知識蒸留方式を提案する。 ビデオフレーム内の時間的冗長性により,これらの時間的変動を効果的に蒸留できることを実証した。 副産物として、デルタ蒸留は教師モデルの時間的一貫性を向上させる。
  論文  参考訳（メタデータ） (2022-03-17T20:13:30Z)
• Representation Consolidation for Training Expert Students [54.90754502493968]
  マルチヘッド多タスク蒸留法は,タスク固有の教師の表現を集約し,下流のパフォーマンスを向上させるのに十分であることを示す。 また,本手法では,複数のドメインで訓練された複数の教師の表現的知識を1つのモデルに組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-16T17:58:18Z)
• Teacher's pet: understanding and mitigating biases in distillation [61.44867470297283]
  いくつかの研究により、蒸留によって学生の全体的なパフォーマンスが著しく向上することが示されている。 しかし、これらのゲインはすべてのデータサブグループに均一なのでしょうか? 蒸留が特定の部分群の性能に悪影響を及ぼすことを示す。 信頼性の低いサブグループに対して,教師の影響を和らげる手法を提案する。
  論文  参考訳（メタデータ） (2021-06-19T13:06:25Z)
• Distilling Knowledge via Intermediate Classifier Heads [0.5584060970507505]
  知識蒸留は、事前訓練されたより大きな教師モデルのガイドを用いて、リソース限定の学生モデルを訓練するためのトランスファーラーニングアプローチである。 キャパシティギャップの影響を軽減するため,中間頭部による知識蒸留を導入する。 種々の教師と学生のペアとデータセットに関する実験により,提案手法が標準知識蒸留法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-02-28T12:52:52Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• Cascaded channel pruning using hierarchical self-distillation [26.498907514590165]
  本稿では,教師,教員,学生の枠組みに基づく階層的知識蒸留によるフィルタレベルのプルーニング手法を提案する。 本手法では, 対象学生と同じアーキテクチャと重みを共有する中間的プルーニングレベルにおいて, アシスタントを活用できる。
  論文  参考訳（メタデータ） (2020-08-16T00:19:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。