論文の概要: Gradient Reweighting: Towards Imbalanced Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2402.18528v2
• Date: Fri, 29 Mar 2024 23:41:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 13:54:43.866108
• Title: Gradient Reweighting: Towards Imbalanced Class-Incremental Learning
• Title（参考訳）: グラディエント再重み付け:不均衡なクラスインクリメンタルラーニングを目指して
• Authors: Jiangpeng He, Fengqing Zhu,
• Abstract要約: CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
• 参考スコア（独自算出の注目度）: 8.438092346233054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-Incremental Learning (CIL) trains a model to continually recognize new classes from non-stationary data while retaining learned knowledge. A major challenge of CIL arises when applying to real-world data characterized by non-uniform distribution, which introduces a dual imbalance problem involving (i) disparities between stored exemplars of old tasks and new class data (inter-phase imbalance), and (ii) severe class imbalances within each individual task (intra-phase imbalance). We show that this dual imbalance issue causes skewed gradient updates with biased weights in FC layers, thus inducing over/under-fitting and catastrophic forgetting in CIL. Our method addresses it by reweighting the gradients towards balanced optimization and unbiased classifier learning. Additionally, we observe imbalanced forgetting where paradoxically the instance-rich classes suffer higher performance degradation during CIL due to a larger amount of training data becoming unavailable in subsequent learning phases. To tackle this, we further introduce a distribution-aware knowledge distillation loss to mitigate forgetting by aligning output logits proportionally with the distribution of lost training data. We validate our method on CIFAR-100, ImageNetSubset, and Food101 across various evaluation protocols and demonstrate consistent improvements compared to existing works, showing great potential to apply CIL in real-world scenarios with enhanced robustness and effectiveness.
• Abstract（参考訳）: CIL(Class-Incremental Learning)は、学習知識を維持しながら、非定常データから新しいクラスを継続的に認識するようにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する際に生じる。 一 古タスクの記憶された例と新クラスデータ(段階間不均衡)の相違 (II)個々の作業(段階的不均衡)内での厳しいクラス不均衡。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。 本手法は、バランスの取れた最適化と偏りのない分類器学習への勾配を重み付けすることでこの問題に対処する。 さらに, 学習段階において, 学習データ量が多くなるため, CIL中において, パラドックス的にインスタンスリッチクラスが高い性能劣化を被る不均衡な記憶を観察する。 これを解決するために、我々は、出力ロジットを、失われたトレーニングデータの分布に比例して整合させることにより、忘れを緩和するために、分布認識の知識蒸留損失を更に導入する。 CIFAR-100, ImageNetSubset, およびFood101の各種評価プロトコルに対する検証を行い, 実世界のシナリオにおけるCILの適用可能性を示した。

関連論文リスト

• Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
  実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。 クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。 バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-05T05:52:44Z)
• Online Continual Learning via Logit Adjusted Softmax [24.327176079085703]
  訓練中のクラス間の不均衡は、忘れる主な原因として特定されている。 トレーニング中のモデルロジットの簡単な調整は、事前クラスバイアスに効果的に抵抗することができる。 提案手法であるLogit Adjusted Softmaxは,クラス増分だけでなく,現実的な一般設定においても,クラス間不均衡の影響を軽減することができる。
  論文  参考訳（メタデータ） (2023-11-11T03:03:33Z)
• An Embarrassingly Simple Baseline for Imbalanced Semi-Supervised Learning [103.65758569417702]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルのパフォーマンスを向上させるという大きな約束を示している。 我々は、ラベル付きデータとラベルなしデータの両方で不均衡なクラス分散が発生する不均衡SSLという、より現実的で困難な設定について検討する。 我々は、ラベル付きデータを擬似ラベルで単純に補うことで、データの不均衡に取り組む単純なベースライン、SimiSについて研究する。
  論文  参考訳（メタデータ） (2022-11-20T21:18:41Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• Phased Progressive Learning with Coupling-Regulation-Imbalance Loss for Imbalanced Classification [11.673344551762822]
  ディープニューラルネットワークは、一般に、異なるクラス間の量不均衡と分類困難の不均衡に苦しむデータセットで性能が良くない。 表象学習から上位クラス化学習への学習強調を円滑に伝達する段階的な進行学習スケジュールが提案された。 私たちのコードはまもなくオープンソースになります。
  論文  参考訳（メタデータ） (2022-05-24T14:46:39Z)
• Deep Reinforcement Learning for Multi-class Imbalanced Training [64.9100301614621]
  我々は、極めて不均衡なデータセットをトレーニングするために、強化学習に基づく不均衡な分類フレームワークを導入する。 特注報酬関数とエピソード学習手順を定式化し、特にマルチクラス不均衡トレーニングを扱えるようにした。 実世界の臨床ケーススタディを用いて,提案手法が現状の非バランス学習法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T13:39:59Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Mitigating Dataset Imbalance via Joint Generation and Classification [17.57577266707809]
  教師付きディープラーニング手法は、コンピュータビジョンの多くの実践的応用において大きな成功を収めている。 バイアスや不均衡データに対する顕著な性能劣化は、これらの手法の信頼性に疑問を投げかける。 ニューラルネットワーク分類器とGAN(Generative Adversarial Networks)を組み合わせた共同データセット修復戦略を提案する。 重度のクラス不均衡に対する分類器とGANの堅牢性向上に寄与することを示す。
  論文  参考訳（メタデータ） (2020-08-12T18:40:38Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。