論文の概要: Learn from Balance: Rectifying Knowledge Transfer for Long-Tailed Scenarios

• arxiv url: http://arxiv.org/abs/2409.07694v1
• Date: Thu, 12 Sep 2024 01:58:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 18:02:00.563305
• Title: Learn from Balance: Rectifying Knowledge Transfer for Long-Tailed Scenarios
• Title（参考訳）: バランスから学ぶ:長期シナリオにおける知識伝達の明確化
• Authors: Xinlei Huang, Jialiang Tang, Xubin Zheng, Jinjia Zhou, Wenxin Yu, Ning Jiang,
• Abstract要約: 知識蒸留(KD)は,教師ネットワークから生徒ネットワークへ知識を伝達する。 本稿では,教師ネットワークに継承された不均衡な知識に対処するため,KRDistill(Knowledge Rectification Distillation)という新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.804625474114948
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Knowledge Distillation (KD) transfers knowledge from a large pre-trained teacher network to a compact and efficient student network, making it suitable for deployment on resource-limited media terminals. However, traditional KD methods require balanced data to ensure robust training, which is often unavailable in practical applications. In such scenarios, a few head categories occupy a substantial proportion of examples. This imbalance biases the trained teacher network towards the head categories, resulting in severe performance degradation on the less represented tail categories for both the teacher and student networks. In this paper, we propose a novel framework called Knowledge Rectification Distillation (KRDistill) to address the imbalanced knowledge inherited in the teacher network through the incorporation of the balanced category priors. Furthermore, we rectify the biased predictions produced by the teacher network, particularly focusing on the tail categories. Consequently, the teacher network can provide balanced and accurate knowledge to train a reliable student network. Intensive experiments conducted on various long-tailed datasets demonstrate that our KRDistill can effectively train reliable student networks in realistic scenarios of data imbalance.
• Abstract（参考訳）: 知識蒸留(KD)は、学習前の大きな教師ネットワークから、コンパクトで効率的な学生ネットワークへ知識を伝達し、リソース制限メディア端末への展開に適している。 しかし、従来のKD手法では、堅牢なトレーニングを保証するためにバランスの取れたデータが必要である。 このようなシナリオでは、いくつかの主要なカテゴリがかなりの割合の例を占める。 この不均衡は、訓練された教師ネットワークをヘッドカテゴリに偏り、教師ネットワークと学生ネットワークの両方において、あまり表現されていない末尾カテゴリに深刻なパフォーマンス劣化をもたらす。 本稿では,教師ネットワークで継承された不均衡な知識を,バランスの取れたカテゴリーの事前の組み入れによって解決する,KRDistill(Knowledge Rectification Distillation)という新しいフレームワークを提案する。 さらに,教師ネットワークが生み出す偏りのある予測を,特に尾のカテゴリーに着目して修正する。 これにより、教師ネットワークは、信頼性の高い学生ネットワークを訓練するためのバランスのとれた正確な知識を提供することができる。 我々のKRDistillは、データ不均衡の現実的なシナリオにおいて、信頼性の高い学生ネットワークを効果的に訓練できることを示す。

関連論文リスト

• Adaptive Teaching with Shared Classifier for Knowledge Distillation [6.03477652126575]
  知識蒸留(KD)は、教師ネットワークから学生ネットワークへ知識を伝達する技術である。 共有分類器(ATSC)を用いた適応型授業を提案する。 提案手法は,CIFAR-100とImageNetのデータセットに対して,単教師と多教師の両方のシナリオで最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-06-12T08:51:08Z)
• Distribution Shift Matters for Knowledge Distillation with Webly Collected Images [91.66661969598755]
  異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。 まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。 また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
  論文  参考訳（メタデータ） (2023-07-21T10:08:58Z)
• BD-KD: Balancing the Divergences for Online Knowledge Distillation [12.27903419909491]
  我々はBD-KD: オンライン知識蒸留のための多様性のバランスをとることを提案する。 逆発散と前方発散の適応的バランスは、訓練戦略の焦点をコンパクトな学生ネットワークにシフトさせることを示す。 本研究では,このバランス設計を学生蒸留損失のレベルで実施することにより,コンパクトな学生ネットワークの性能精度と校正性を両立させることを実証する。
  論文  参考訳（メタデータ） (2022-12-25T22:27:32Z)
• Deep Reinforcement Learning for Multi-class Imbalanced Training [64.9100301614621]
  我々は、極めて不均衡なデータセットをトレーニングするために、強化学習に基づく不均衡な分類フレームワークを導入する。 特注報酬関数とエピソード学習手順を定式化し、特にマルチクラス不均衡トレーニングを扱えるようにした。 実世界の臨床ケーススタディを用いて,提案手法が現状の非バランス学習法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T13:39:59Z)
• Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis [8.87104231451079]
  知識蒸留(KD)は、ディープニューラルネットワーク圧縮に有効なアプローチであることが証明されている。 従来のkdでは、転送された知識は通常、トレーニングサンプルを教師ネットワークに供給することで得られる。 元のトレーニングデータセットは、ストレージコストやプライバシーの問題のために常に利用できるとは限らない。 本研究では,教師の中間特徴空間をモデル化し,データフリーなKD手法を提案する。
  論文  参考訳（メタデータ） (2021-04-10T22:42:14Z)
• Knowledge Distillation in Wide Neural Networks: Risk Bound, Data Efficiency and Imperfect Teacher [40.74624021934218]
  知識蒸留は、教師ネットワークからのソフトアウトプットのガイドで学生ネットワークを訓練する戦略である。 ニューラル・タンジェント・カーネルの最近の発見により、ネットワークのランダムな特徴の線形モデルを用いて、広いニューラルネットワークを近似することができる。
  論文  参考訳（メタデータ） (2020-10-20T07:33:21Z)
• Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition [79.75964372862279]
  本稿では,表情認識における認識精度を向上させるために,PASM(Point Adversarial Self Mining)を提案する。 PASMは、目標タスクに関連する最も情報性の高い位置を見つけるために、ポイント敵攻撃法と訓練された教師ネットワークを使用する。 適応学習教材の生成と教師/学生の更新を複数回行うことができ、ネットワーク能力が反復的に向上する。
  論文  参考訳（メタデータ） (2020-08-26T06:39:24Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Student-Teacher Curriculum Learning via Reinforcement Learning: Predicting Hospital Inpatient Admission Location [4.359338565775979]
  本研究では,この問題に対処するための強化学習を通して,学生と教師のネットワークを提案する。 生徒ネットワークの重みの表現を状態として扱い、教師ネットワークへの入力として供給する。 教師ネットワークの行動は、エントロピーに応じてソートされたトレーニングセットから、生徒ネットワークをトレーニングするための最も適切なデータのバッチを選択することである。
  論文  参考訳（メタデータ） (2020-07-01T15:00:43Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。