論文の概要: StableKD: Breaking Inter-block Optimization Entanglement for Stable Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2312.13223v2
• Date: Mon, 23 Sep 2024 14:37:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 09:05:28.699600
• Title: StableKD: Breaking Inter-block Optimization Entanglement for Stable Knowledge Distillation
• Title（参考訳）: 安定KD:安定な知識蒸留のためのブロック間最適化の絡み合いを破る
• Authors: Shiu-hong Kao, Jierun Chen, S. H. Gary Chan,
• Abstract要約: IBOEを破り、より安定した最適化を実現する新しいKDフレームワークであるStableKDを提案する。 他のKD手法と比較して、我々の単純で効果的なStableKDはモデルの精度を1%向上させ、収束を最大10倍に高速化し、トレーニングデータのわずか40%でそれらを上回ります。
• 参考スコア（独自算出の注目度）: 11.0282391137938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) has been recognized as an effective tool to compress and accelerate models. However, current KD approaches generally suffer from an accuracy drop and/or an excruciatingly long distillation process. In this paper, we tackle the issue by first providing a new insight into a phenomenon that we call the Inter-Block Optimization Entanglement (IBOE), which makes the conventional end-to-end KD approaches unstable with noisy gradients. We then propose StableKD, a novel KD framework that breaks the IBOE and achieves more stable optimization. StableKD distinguishes itself through two operations: Decomposition and Recomposition, where the former divides a pair of teacher and student networks into several blocks for separate distillation, and the latter progressively merges them back, evolving towards end-to-end distillation. We conduct extensive experiments on CIFAR100, Imagewoof, and ImageNet datasets with various teacher-student pairs. Compared to other KD approaches, our simple yet effective StableKD greatly boosts the model accuracy by 1% ~ 18%, speeds up the convergence up to 10 times, and outperforms them with only 40% of the training data.
• Abstract（参考訳）: 知識蒸留(KD)はモデルを圧縮・加速する有効なツールとして認識されている。 しかしながら、現在のKDアプローチは一般的に、精度低下または/または極端に長い蒸留プロセスに悩まされる。 本稿では,従来のKDアプローチをノイズ勾配で不安定にするIBOE(Inter-Block Optimization Entanglement)と呼ばれる現象について,まず新たな知見を提供することにより,この問題に対処する。 そして、IBOEを破り、より安定した最適化を実現する新しいKDフレームワークであるStableKDを提案する。 分解と再分解(Decomposition and Recomposition)では、前者は教師と学生のネットワークを複数のブロックに分けて蒸留し、後者は徐々に融合し、エンドツーエンドの蒸留へと進化する。 我々はCIFAR100, Imagewoof, ImageNetのデータセットを様々な教師と学生のペアで広範囲に実験する。 他のKD手法と比較して、我々の単純で効果的なStableKDはモデルの精度を1%から18%大きく向上させ、収束を最大10倍に高速化し、トレーニングデータのわずか40%でそれらを上回ります。

関連論文リスト

• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• Grouped Knowledge Distillation for Deep Face Recognition [53.57402723008569]
  軽量の学生ネットワークは、モデル容量が低いため、ターゲットロジットの適合が困難である。 一次KDと二元KDを保持するが、最終的なKD損失計算では二次KDを省略するグループ知識蒸留(GKD)を提案する。
  論文  参考訳（メタデータ） (2023-04-10T09:04:38Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Aligning Logits Generatively for Principled Black-Box Knowledge Distillation [49.43567344782207]
  Black-Box Knowledge Distillation (B2KD)は、クラウドからエッジへのモデル圧縮において、サーバ上にホストされる見えないデータとモデルによって定式化された問題である。 民営化と蒸留による2段階のワークフローを形式化する。 そこで本研究では,ブラックボックスの煩雑なモデルを軽量に蒸留するKD (MEKD) を新たに提案する。
  論文  参考訳（メタデータ） (2022-05-21T02:38:16Z)
• Self-Distillation from the Last Mini-Batch for Consistency Regularization [14.388479145440636]
  我々は、Last Mini-Batch (DLB) からの自己蒸留という、効率的で信頼性の高い自己蒸留フレームワークを提案する。 提案手法はトレーニングの安定性と一貫性を導出し,ノイズのラベル付けに堅牢性をもたらす。 3つの分類ベンチマークによる実験結果から、我々の手法は最先端の自己蒸留手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2022-03-30T09:50:24Z)
• Up to 100x Faster Data-free Knowledge Distillation [52.666615987503995]
  我々はFastDFKDを導入し、FastDFKDを桁違いに高速化する。 データの集合を個別に最適化する従来の方法とは異なり、共通の特徴を求めるメタシンセサイザーを学習することを提案する。 FastDFKDはほんの数ステップでデータ合成を実現し、データフリートレーニングの効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-12-12T14:56:58Z)
• DisCo: Effective Knowledge Distillation For Contrastive Learning of Sentence Embeddings [36.37939188680754]
  ディスティルコントラスト(DisCo)と呼ばれる知識蒸留フレームワークを提案する。 DisCoは、大きな文埋め込みモデルの能力を、大きな未ラベルデータ上で小さな学生モデルに転送する。 また,教師モデルトレーニング,KD,学生モデルファインタニングのコントラスト的知識蒸留(CKD)を提案する。
  論文  参考訳（メタデータ） (2021-12-10T16:11:23Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)
• Confidence Conditioned Knowledge Distillation [8.09591217280048]
  教師モデルから学生モデルに知識を伝達するための信頼性条件付き知識蒸留(CCKD)方式を提案する。 CCKDは、教師モデルに割り当てられた信頼度を正しいクラスに利用して、サンプル固有の損失関数とターゲットを考案することで、これらの問題に対処する。 いくつかのベンチマークデータセットに対する実証的な評価は、CCKD法が他の最先端手法と同等以上の一般化性能を達成していることを示している。
  論文  参考訳（メタデータ） (2021-07-06T00:33:25Z)
• Knowledge Distillation Thrives on Data Augmentation [65.58705111863814]
  知識蒸留(KD)は、教師モデルを用いて学生モデルをガイドする一般的なディープニューラルネットワークトレーニングフレームワークである。 多くの研究がその成功の根拠を探っているが、データ強化(DA)との相互作用は未だよく認識されていない。 本稿では,KD損失は,クロスエントロピー損失を伴わないが,拡張トレーニングイテレーションの恩恵を受けることができることを示す。 KD損失は、DAがもたらす異なる入力ビューから余分な情報をタップすることができる。
  論文  参考訳（メタデータ） (2020-12-05T00:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。