論文の概要: LumiNet: The Bright Side of Perceptual Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2310.03669v1
• Date: Thu, 5 Oct 2023 16:43:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 15:23:49.696172
• Title: LumiNet: The Bright Side of Perceptual Knowledge Distillation
• Title（参考訳）: LumiNet: 知覚的知識蒸留の明るい側面
• Authors: Md. Ismail Hossain, M M Lutfe Elahi, Sameera Ramasinghe, Ali Cheraghian, Fuad Rahman, Nabeel Mohammed, Shafin Rahman
• Abstract要約: 本稿では,ロジットに基づく蒸留の高度化を目的とした知識伝達アルゴリズムLumiNetを提案する。 LumiNetはクラス間のよりきめ細かい関係を再構築し、学生モデルがより豊富な知識を学習できるようにする。 ベンチマークデータセットの厳密なテストは、LumiNetの有効性を証明する。
• 参考スコア（独自算出の注目度）: 18.126581058419713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In knowledge distillation research, feature-based methods have dominated due to their ability to effectively tap into extensive teacher models. In contrast, logit-based approaches are considered to be less adept at extracting hidden 'dark knowledge' from teachers. To bridge this gap, we present LumiNet, a novel knowledge-transfer algorithm designed to enhance logit-based distillation. We introduce a perception matrix that aims to recalibrate logits through adjustments based on the model's representation capability. By meticulously analyzing intra-class dynamics, LumiNet reconstructs more granular inter-class relationships, enabling the student model to learn a richer breadth of knowledge. Both teacher and student models are mapped onto this refined matrix, with the student's goal being to minimize representational discrepancies. Rigorous testing on benchmark datasets (CIFAR-100, ImageNet, and MSCOCO) attests to LumiNet's efficacy, revealing its competitive edge over leading feature-based methods. Moreover, in exploring the realm of transfer learning, we assess how effectively the student model, trained using our method, adapts to downstream tasks. Notably, when applied to Tiny ImageNet, the transferred features exhibit remarkable performance, further underscoring LumiNet's versatility and robustness in diverse settings. With LumiNet, we hope to steer the research discourse towards a renewed interest in the latent capabilities of logit-based knowledge distillation.
• Abstract（参考訳）: 知識蒸留研究において,広範な教員モデルに効果的にアクセスできるため,機能的手法が主流となっている。 対照的に、ロジットに基づくアプローチは教師から隠れた「暗黒の知識」を抽出するのに適さないと考えられている。 このギャップを埋めるために,我々はlogitベースの蒸留を強化するために設計された新しい知識伝達アルゴリズムluminetを提案する。 モデル表現能力に基づいた調整によりロジットの校正を目的とした知覚行列を導入する。 クラス内ダイナミクスを慎重に分析することにより、LumiNetはクラス間関係を再構築し、学生モデルがより豊富な知識を学習できるようにする。 教師モデルと生徒モデルの両方がこの洗練された行列にマッピングされ、生徒の目標は表現の相違を最小限にすることである。 ベンチマークデータセット(CIFAR-100、ImageNet、MSCOCO)の厳密なテストは、LumiNetの有効性を証明し、主要な機能ベースのメソッドよりも競争力があることを示している。 さらに, 転校学習の領域を探求するにあたって, 本手法を用いて学習した学生モデルが, いかに効果的に下流タスクに適応するかを評価する。 特に、Tiny ImageNetに適用すると、転送された機能は優れたパフォーマンスを示し、さまざまな設定におけるLumiNetの汎用性と堅牢性をさらに強調する。 LumiNetでは、ロジットベースの知識蒸留の潜在能力に新たな関心を向け、研究談話の推進を期待する。

関連論文リスト

• Cross-View Consistency Regularisation for Knowledge Distillation [13.918476599394603]
  この研究は、半教師付き学習のような分野におけるクロスビュー学習の成功に触発されている。 標準ロジット蒸留フレームワークにインテリアビューおよびクロスビューレギュラー化を導入する。 また,教師の蒸留信号の品質向上のために,信頼性に基づくソフトラベルマイニングを実施している。
  論文  参考訳（メタデータ） (2024-12-21T05:41:47Z)
• Decoupling Dark Knowledge via Block-wise Logit Distillation for Feature-level Alignment [6.223632538498386]
  知識蒸留(英: Knowledge Distillation、KD)は、暗黒の知識を教師から学生にロジットや中間的特徴を通じて伝達する。 最近の研究は、ロジットベースの手法の可能性を明らかにし、ロジットに基づく単純なKDフォームをライムライトに戻す。
  論文  参考訳（メタデータ） (2024-11-03T12:42:16Z)
• Adaptive Explicit Knowledge Transfer for Knowledge Distillation [17.739979156009696]
  教師モデルから,非目標クラスの確率分布を効果的に提供することにより,ロジットに基づく知識蒸留の性能を向上させることができることを示す。 本研究では,学習者が暗黙的な知識を適応的に学習できる新たな損失を提案する。 実験結果から, 適応的明示的知識伝達法(AEKT)は, 最先端KD法と比較して性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-03T07:42:59Z)
• Class-aware Information for Logit-based Knowledge Distillation [16.634819319915923]
  そこで本研究では,ロジット蒸留をインスタンスレベルとクラスレベルの両方で拡張する,クラス対応ロジット知識蒸留法を提案する。 CLKDにより、教師モデルからより高度な意味情報を模倣し、蒸留性能を向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T09:27:50Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• Localization Distillation for Object Detection [134.12664548771534]
  物体検出のための従来の知識蒸留法(KD)は、分類ロジットを模倣するのではなく、主に特徴模倣に焦点を当てている。 本稿では,教師から生徒に効率よくローカライズ知識を伝達できる新しいローカライズ蒸留法を提案する。 われわれは,ロジット模倣が特徴模倣より優れることを示すとともに,ロージット模倣が何年もの間,ロージット模倣が不十分であった理由として,ロージット蒸留が欠如していることが重要である。
  論文  参考訳（メタデータ） (2022-04-12T17:14:34Z)
• Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification [57.5041270212206]
  本稿では,アンカー画像のためのソフトターゲットを生成するために,BAtch Knowledge Ensembling (BAKE)を提案する。 BAKEは、1つのネットワークだけで複数のサンプルを網羅するオンライン知識を実現する。 既存の知識集合法と比較して計算とメモリのオーバーヘッドは最小限である。
  論文  参考訳（メタデータ） (2021-04-27T16:11:45Z)
• Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup [91.1317510066954]
  我々は, 知識蒸留効率という, ささやかだが重要な質問について研究する。 我々のゴールは、訓練中に計算コストの低い従来の知識蒸留に匹敵する性能を達成することである。 我々は,Uncertainty-aware mIXup (UNIX) がクリーンで効果的なソリューションであることを示す。
  論文  参考訳（メタデータ） (2020-12-17T06:52:16Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。