論文の概要: Instance Temperature Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2407.00115v3
• Date: Sun, 7 Jul 2024 15:25:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 00:50:23.789448
• Title: Instance Temperature Knowledge Distillation
• Title（参考訳）: インスタンス温度知識蒸留
• Authors: Zhengbo Zhang, Yuxi Zhou, Jia Gong, Jun Liu, Zhigang Tu,
• Abstract要約: 既存の学習方法は、学生ネットワークが様々な学習困難に適応できるように、動的に温度調整を行う。 本稿では,温度調整を逐次意思決定タスクとして定式化し,強化学習に基づく手法を提案する。 我々のフレームワークは、様々なKDメソッドに簡単に挿入できるプラグイン・アンド・プレイ技術として機能する。
• 参考スコア（独自算出の注目度）: 15.095465128404161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) enhances the performance of a student network by allowing it to learn the knowledge transferred from a teacher network incrementally. Existing methods dynamically adjust the temperature to enable the student network to adapt to the varying learning difficulties at different learning stages of KD. KD is a continuous process, but when adjusting the temperature, these methods consider only the immediate benefits of the operation in the current learning phase and fail to take into account its future returns. To address this issue, we formulate the adjustment of temperature as a sequential decision-making task and propose a method based on reinforcement learning, termed RLKD. Importantly, we design a novel state representation to enable the agent to make more informed action (i.e. instance temperature adjustment). To handle the problem of delayed rewards in our method due to the KD setting, we explore an instance reward calibration approach. In addition,we devise an efficient exploration strategy that enables the agent to learn valuable instance temperature adjustment policy more efficiently. Our framework can serve as a plug-and-play technique to be inserted into various KD methods easily, and we validate its effectiveness on both image classification and object detection tasks. Our project is at https://www.zayx.me/ITKD.github.io/.
• Abstract（参考訳）: 知識蒸留(KD)は,教師ネットワークから移行した知識を段階的に学習することで,学生ネットワークの性能を向上させる。 既存の学習方法は、KDの異なる学習段階において、学生ネットワークが様々な学習困難に適応できるように、動的に温度調整を行う。 KDは連続的なプロセスであるが、温度を調整する際、これらの手法は現在の学習段階における操作の即時的な利点のみを考慮し、将来の効果を考慮しない。 この問題に対処するため、温度調整を逐次意思決定タスクとして定式化し、RLKDと呼ばれる強化学習に基づく手法を提案する。 重要なことは、エージェントがより情報的な行動(例えば温度調整)を行えるように、新しい状態表現を設計することである。 KD設定による遅延報酬問題に対処するため,ケース報酬校正手法を提案する。 さらに,有効な探索戦略を考案し,有効なインスタンス温度調整ポリシーを学習できるようにする。 本フレームワークは,様々なKDメソッドに挿入可能なプラグイン・アンド・プレイ技術として機能し,画像分類とオブジェクト検出の両タスクにおいて,その有効性を検証する。 私たちのプロジェクトはhttps://www.zayx.me/ITKD.github.io/にあります。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Dynamic Temperature Knowledge Distillation [9.6046915661065]
  知識蒸留(KD)領域におけるラベルソフトネスの調整における温度の役割 従来のアプローチでは、KDプロセス全体を通して静的な温度を用いることが多い。 本研究では,教師モデルと学生モデルの両方に対して,動的かつ協調的な温度制御を同時に導入する動的温度知識蒸留(DTKD)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:40:52Z)
• Temperature Balancing, Layer-wise Weight Analysis, and Neural Network Training [58.20089993899729]
  本稿では,直感的で効果的な階層学習手法であるTempBalanceを提案する。 我々は、TempBalanceが通常のSGDと注意深く調整されたスペクトルノルム正規化より著しく優れていることを示す。 また、TempBalanceは最先端のメトリクスやスケジューラよりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T05:38:17Z)
• Adapt Your Teacher: Improving Knowledge Distillation for Exemplar-free Continual Learning [14.379472108242235]
  正規化戦略として知識蒸留(KD)を併用した模範自由クラスインクリメンタルラーニング(CIL)について検討した。 KDベースの手法はCILでうまく使われているが、以前のタスクからトレーニングデータの例にアクセスできることなくモデルを規則化するのに苦労することが多い。 近年の試験時間適応法に触発されて,インクリメンタルトレーニング中に教師と主要モデルを同時に更新する手法であるTeacher Adaptation (TA)を紹介した。
  論文  参考訳（メタデータ） (2023-08-18T13:22:59Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Curriculum Temperature for Knowledge Distillation [30.94721463833605]
  知識蒸留のためのカリキュラム温度(CTKD)と呼ばれるカリキュラムベースの手法を提案する。 CTKDは、動的で学習可能な温度で、学生の学習キャリアにおけるタスクの難易度を制御する。 簡便なプラグイン技術として、CTKDは既存の知識蒸留フレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2022-11-29T14:10:35Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)
• Undistillable: Making A Nasty Teacher That CANNOT teach students [84.6111281091602]
  本論文では,ナスティ・ティーチング(Nasty Teacher)という,通常の教師とほぼ同じパフォーマンスを得られる特別に訓練されたティーチング・ネットワークについて紹介し,研究する。 本稿では, 自負知識蒸留法という, シンプルで効果的な教師構築アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-16T08:41:30Z)
• Annealing Knowledge Distillation [5.396407687999048]
  教師のソフトターゲットから得られる豊富な情報を段階的かつ効率的にフィードバックし、知識蒸留法(アニーリングKD)の改善を提案します。 本稿では,Anaaling-KD法の有効性を裏付ける理論的および実証的な証拠と実用的実験を含む。
  論文  参考訳（メタデータ） (2021-04-14T23:45:03Z)
• Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
  教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。 提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
  論文  参考訳（メタデータ） (2020-05-02T06:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。