論文の概要: A Theoretical Analysis of the Learning Dynamics under Class Imbalance

• arxiv url: http://arxiv.org/abs/2207.00391v3
• Date: Thu, 1 Jun 2023 15:07:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-03 01:52:40.781996
• Title: A Theoretical Analysis of the Learning Dynamics under Class Imbalance
• Title（参考訳）: クラス不均衡下における学習ダイナミクスの理論解析
• Authors: Emanuele Francazi, Marco Baity-Jesi, Aurelien Lucchi
• Abstract要約: 本研究では,少数クラスと多数クラスの学習曲線が,勾配に基づく学習において,準最適軌跡に従うことを示す。 この減速は不均衡比に関連しており、異なるクラスの最適化の競合に遡ることができる。 GDはクラスごとの損失を減らすことは保証されていないが、勾配のクラスごとの正規化を行うことでこの問題に対処できる。
• 参考スコア（独自算出の注目度）: 0.28647133890966986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data imbalance is a common problem in machine learning that can have a critical effect on the performance of a model. Various solutions exist but their impact on the convergence of the learning dynamics is not understood. Here, we elucidate the significant negative impact of data imbalance on learning, showing that the learning curves for minority and majority classes follow sub-optimal trajectories when training with a gradient-based optimizer. This slowdown is related to the imbalance ratio and can be traced back to a competition between the optimization of different classes. Our main contribution is the analysis of the convergence of full-batch (GD) and stochastic gradient descent (SGD), and of variants that renormalize the contribution of each per-class gradient. We find that GD is not guaranteed to decrease the loss for each class but that this problem can be addressed by performing a per-class normalization of the gradient. With SGD, class imbalance has an additional effect on the direction of the gradients: the minority class suffers from a higher directional noise, which reduces the effectiveness of the per-class gradient normalization. Our findings not only allow us to understand the potential and limitations of strategies involving the per-class gradients, but also the reason for the effectiveness of previously used solutions for class imbalance such as oversampling.
• Abstract（参考訳）: データ不均衡は機械学習において一般的な問題であり、モデルの性能に重大な影響を与える可能性がある。 様々な解決策が存在するが、その学習ダイナミクスの収束への影響は理解されていない。 ここでは,データ不均衡が学習に与える影響を解明し,マイノリティクラスとマイノリティクラスの学習曲線が,グラデーションに基づくオプティマイザを用いた学習において,準最適軌道に従うことを示した。 この減速は不均衡比に関連しており、異なるクラスの最適化の競合に遡ることができる。 我々の主な貢献は、全バッチ(GD)と確率勾配降下(SGD)の収束の解析と、各クラスごとの勾配の寄与を再正規化する変種の分析である。 GDはクラスごとの損失を減らすことは保証されていないが、勾配のクラスごとの正規化を行うことでこの問題に対処できる。 SGDでは、クラス不均衡が勾配の方向に付加的な影響を与え、マイノリティクラスは高い指向性ノイズに悩まされ、クラスごとの勾配正規化の有効性が低下する。 以上の結果から,クラス毎の勾配を含む戦略の可能性と限界を把握できるだけでなく,従来使用されていたオーバーサンプリングなどのクラス不均衡に対するソリューションの有効性も把握できた。

関連論文リスト

• Gradient-based Class Weighting for Unsupervised Domain Adaptation in Dense Prediction Visual Tasks [3.776249047528669]
  本稿では,クラスウェイトをUDA学習損失に組み込んだクラスバランス緩和戦略を提案する。 損失勾配を通してこれらの重みを動的に推定する斬新さは、グラディエントに基づくクラス重み付け(GBW)学習を定義する。 GBWは、大きな表現されたクラスによって学習が妨げられるクラスの貢献を自然に増大させる。
  論文  参考訳（メタデータ） (2024-07-01T14:34:25Z)
• Gradient-Aware Logit Adjustment Loss for Long-tailed Classifier [30.931850375858573]
  実世界の環境では、データは長い尾の分布に従い、ヘッドクラスはテールクラスよりもはるかに多くのトレーニングサンプルを含む。 本稿では、最適化プロセスのバランスをとるために、累積勾配に基づいてロジットを調整するグラディエント・アウェア・ロジット調整(GALA)の損失を提案する。 提案手法は,一般的なロングテール認識ベンチマークデータセットにおいて,48.5%,41.4%,73.3%のTop-1精度を実現する。
  論文  参考訳（メタデータ） (2024-03-14T02:21:01Z)
• Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
  CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
  論文  参考訳（メタデータ） (2024-02-28T18:08:03Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• Long-Tailed Learning as Multi-Objective Optimization [29.012779934262973]
  シーソージレンマは、異なるクラスの勾配不均衡に由来すると論じる。 そこで我々は,同じような勾配方向のクラスを収集するグラディエント・バランシング・グループ(GBG)戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-31T14:30:31Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition [84.51875325962061]
  本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-10-11T16:00:36Z)
• Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning [97.81549071978789]
  勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。 大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-04-19T08:23:23Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。