論文の概要: LumiNet: The Bright Side of Perceptual Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2310.03669v2
• Date: Sat, 9 Mar 2024 07:15:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 16:00:15.286721
• Title: LumiNet: The Bright Side of Perceptual Knowledge Distillation
• Title（参考訳）: LumiNet: 知覚的知識蒸留の明るい側面
• Authors: Md. Ismail Hossain, M M Lutfe Elahi, Sameera Ramasinghe, Ali Cheraghian, Fuad Rahman, Nabeel Mohammed, Shafin Rahman
• Abstract要約: 本稿では,ロジットに基づく蒸留を促進するために設計された新しい知識蒸留アルゴリズムであるLumiNetを紹介する。 LumiNetは、ロジットベースの蒸留法における過信問題に対処しつつ、教師からの知識を蒸留する新しい方法を導入した。 CIFAR-100、ImageNet、MSCOCOなどのベンチマークを上回り、主要な機能ベースのメソッドよりも優れています。
• 参考スコア（独自算出の注目度）: 18.126581058419713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In knowledge distillation literature, feature-based methods have dominated due to their ability to effectively tap into extensive teacher models. In contrast, logit-based approaches, which aim to distill `dark knowledge' from teachers, typically exhibit inferior performance compared to feature-based methods. To bridge this gap, we present LumiNet, a novel knowledge distillation algorithm designed to enhance logit-based distillation. We introduce the concept of 'perception', aiming to calibrate logits based on the model's representation capability. This concept addresses overconfidence issues in logit-based distillation method while also introducing a novel method to distill knowledge from the teacher. It reconstructs the logits of a sample/instances by considering relationships with other samples in the batch. LumiNet excels on benchmarks like CIFAR-100, ImageNet, and MSCOCO, outperforming leading feature-based methods, e.g., compared to KD with ResNet18 and MobileNetV2 on ImageNet, it shows improvements of 1.5% and 2.05%, respectively.
• Abstract（参考訳）: 知識蒸留文学では,広範な教員モデルに効果的にアクセスできるため,機能ベースの手法が主流となっている。 対照的に、教師から「暗黒知識」を抽出することを目的としたロジットベースのアプローチは、機能ベースの手法に比べてパフォーマンスが劣る。 このギャップを埋めるために、ロジットに基づく蒸留を強化するために設計された新しい知識蒸留アルゴリズムであるLumiNetを提案する。 モデル表現能力に基づいてロジットを校正することを目的としたパーセプションの概念を導入する。 本概念は,ロジット蒸留法における過信問題に対処しつつ,教師の知識を抽出する新たな方法を導入する。 バッチ内の他のサンプルとの関係を考慮して、サンプル/インスタンスのロジットを再構築する。 LumiNetは、CIFAR-100、ImageNet、MSCOCOなどのベンチマークを抜いて、例えば、ImageNet上のResNet18とMobileNetV2のKDと比較して、主要な機能ベースのメソッドよりも優れている。

関連論文リスト

• Cross-View Consistency Regularisation for Knowledge Distillation [13.918476599394603]
  この研究は、半教師付き学習のような分野におけるクロスビュー学習の成功に触発されている。 標準ロジット蒸留フレームワークにインテリアビューおよびクロスビューレギュラー化を導入する。 また,教師の蒸留信号の品質向上のために,信頼性に基づくソフトラベルマイニングを実施している。
  論文  参考訳（メタデータ） (2024-12-21T05:41:47Z)
• Decoupling Dark Knowledge via Block-wise Logit Distillation for Feature-level Alignment [6.223632538498386]
  知識蒸留(英: Knowledge Distillation、KD)は、暗黒の知識を教師から学生にロジットや中間的特徴を通じて伝達する。 最近の研究は、ロジットベースの手法の可能性を明らかにし、ロジットに基づく単純なKDフォームをライムライトに戻す。
  論文  参考訳（メタデータ） (2024-11-03T12:42:16Z)
• Adaptive Explicit Knowledge Transfer for Knowledge Distillation [17.739979156009696]
  教師モデルから,非目標クラスの確率分布を効果的に提供することにより,ロジットに基づく知識蒸留の性能を向上させることができることを示す。 本研究では,学習者が暗黙的な知識を適応的に学習できる新たな損失を提案する。 実験結果から, 適応的明示的知識伝達法(AEKT)は, 最先端KD法と比較して性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-03T07:42:59Z)
• Class-aware Information for Logit-based Knowledge Distillation [16.634819319915923]
  そこで本研究では,ロジット蒸留をインスタンスレベルとクラスレベルの両方で拡張する,クラス対応ロジット知識蒸留法を提案する。 CLKDにより、教師モデルからより高度な意味情報を模倣し、蒸留性能を向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T09:27:50Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• Localization Distillation for Object Detection [134.12664548771534]
  物体検出のための従来の知識蒸留法(KD)は、分類ロジットを模倣するのではなく、主に特徴模倣に焦点を当てている。 本稿では,教師から生徒に効率よくローカライズ知識を伝達できる新しいローカライズ蒸留法を提案する。 われわれは,ロジット模倣が特徴模倣より優れることを示すとともに,ロージット模倣が何年もの間,ロージット模倣が不十分であった理由として,ロージット蒸留が欠如していることが重要である。
  論文  参考訳（メタデータ） (2022-04-12T17:14:34Z)
• Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification [57.5041270212206]
  本稿では,アンカー画像のためのソフトターゲットを生成するために,BAtch Knowledge Ensembling (BAKE)を提案する。 BAKEは、1つのネットワークだけで複数のサンプルを網羅するオンライン知識を実現する。 既存の知識集合法と比較して計算とメモリのオーバーヘッドは最小限である。
  論文  参考訳（メタデータ） (2021-04-27T16:11:45Z)
• Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup [91.1317510066954]
  我々は, 知識蒸留効率という, ささやかだが重要な質問について研究する。 我々のゴールは、訓練中に計算コストの低い従来の知識蒸留に匹敵する性能を達成することである。 我々は,Uncertainty-aware mIXup (UNIX) がクリーンで効果的なソリューションであることを示す。
  論文  参考訳（メタデータ） (2020-12-17T06:52:16Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。