論文の概要: Knowledge Distillation Beyond Model Compression

• arxiv url: http://arxiv.org/abs/2007.01922v1
• Date: Fri, 3 Jul 2020 19:54:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 04:26:32.227629
• Title: Knowledge Distillation Beyond Model Compression
• Title（参考訳）: モデル圧縮を超えた知識蒸留
• Authors: Fahad Sarfraz, Elahe Arani and Bahram Zonooz
• Abstract要約: 知識蒸留(KD)は、より大規模な事前訓練されたモデルや(教師)モデルのアンサンブルの監督の下で、コンパクトモデル(学生)を訓練する効果的なモデル圧縮技術として一般的に考えられている。 本研究では,9つの異なるKD手法について広範な研究を行い,知識の獲得と伝達に関する幅広いアプローチについて述べる。
• 参考スコア（独自算出の注目度）: 13.041607703862724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) is commonly deemed as an effective model compression technique in which a compact model (student) is trained under the supervision of a larger pretrained model or an ensemble of models (teacher). Various techniques have been proposed since the original formulation, which mimic different aspects of the teacher such as the representation space, decision boundary, or intra-data relationship. Some methods replace the one-way knowledge distillation from a static teacher with collaborative learning between a cohort of students. Despite the recent advances, a clear understanding of where knowledge resides in a deep neural network and an optimal method for capturing knowledge from teacher and transferring it to student remains an open question. In this study, we provide an extensive study on nine different KD methods which covers a broad spectrum of approaches to capture and transfer knowledge. We demonstrate the versatility of the KD framework on different datasets and network architectures under varying capacity gaps between the teacher and student. The study provides intuition for the effects of mimicking different aspects of the teacher and derives insights from the performance of the different distillation approaches to guide the design of more effective KD methods. Furthermore, our study shows the effectiveness of the KD framework in learning efficiently under varying severity levels of label noise and class imbalance, consistently providing generalization gains over standard training. We emphasize that the efficacy of KD goes much beyond a model compression technique and it should be considered as a general-purpose training paradigm which offers more robustness to common challenges in the real-world datasets compared to the standard training procedure.
• Abstract（参考訳）: 知識蒸留(KD)は、より大規模な事前訓練されたモデルやモデルのアンサンブル(教師)の監督の下で、コンパクトモデル(学生)を訓練する効果的なモデル圧縮技術として一般的に考えられている。 表象空間や意思決定境界,データ内関係など,教師の異なる側面を模倣する独自の定式化以来,様々な手法が提案されている。 いくつかの方法は、静的教師からの片道知識蒸留を学生のコホート間の協調学習に置き換える。 近年の進歩にもかかわらず、深いニューラルネットワークに知識がどこにあるのかを明確に理解し、教師から知識を抽出し、学生に伝達する最適な方法が未解決の課題である。 本研究では,知識を捕捉・伝達するための幅広いアプローチをカバーする9つの異なるkd手法に関する広範囲な研究を行う。 教師と生徒のキャパシティギャップの異なる状況下で,異なるデータセットとネットワークアーキテクチャ上でのkdフレームワークの汎用性を示す。 この研究は、教師の異なる側面を模倣する効果の直感を提供し、より効果的なKD手法の設計を導くために、異なる蒸留方法のパフォーマンスから洞察を導き出す。 さらに,ラベルノイズやクラス不均衡の程度が多様である場合,kdフレームワークの有効性が示され,標準訓練よりも一般化が期待できることを示した。 我々は、KDの有効性はモデル圧縮技術を超えており、標準的なトレーニング手法と比較して、現実世界のデータセットにおける共通の課題に対してより堅牢性を提供する汎用トレーニングパラダイムとして見なされるべきである、と強調する。

関連論文リスト

• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Practical Insights into Knowledge Distillation for Pre-Trained Models [6.085875355032475]
  本研究では,事前学習モデルにおける知識蒸留(KD)プロセスの強化について検討する。 事前訓練されたモデル間で知識を伝達するための多くのKDアプローチが採用されているにもかかわらず、KDの応用に関する包括的な理解は欠如している。 本研究は,標準KD,調整KD(最適化温度および重みパラメータ),深層相互学習,データ分割KDなど,複数のKD技術の比較を行った。
  論文  参考訳（メタデータ） (2024-02-22T19:07:08Z)
• Revisiting Knowledge Distillation for Autoregressive Language Models [88.80146574509195]
  知識蒸留(KD)を改善するための簡易かつ効果的な適応型教育法(ATKD)を提案する。 ATKDの中核は、ロート学習を減らし、教育をより多様で柔軟なものにすることだ。 8つのLMタスクの実験は、ATKDの助けを借りて、様々なベースラインのKD手法が一貫した、重要なパフォーマンス向上を達成することを示した。
  論文  参考訳（メタデータ） (2024-02-19T07:01:10Z)
• Comparative Knowledge Distillation [102.35425896967791]
  伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。 本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。 CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2023-11-03T21:55:33Z)
• Leveraging Different Learning Styles for Improved Knowledge Distillation in Biomedical Imaging [0.9208007322096533]
  我々の研究は知識多様化の概念を活用して、知識蒸留(KD)や相互学習(ML)といったモデル圧縮技術の性能を向上させる。 我々は,教師から学生(KD)への知識伝達を可能にすると同時に,学生(ML)間の協調学習を促進する統一的な枠組みで,一教師と二学生のネットワークを利用する。 教師が学生ネットワークと予測や特徴表現の形で同じ知識を共有する従来の手法とは異なり,提案手法では,教師の予測と特徴マップの学習により,より多様化した戦略を採用する。
  論文  参考訳（メタデータ） (2022-12-06T12:40:45Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)
• Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
  教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。 提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
  論文  参考訳（メタデータ） (2020-05-02T06:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。