論文の概要: Characterizing the Effect of Class Imbalance on the Learning Dynamics

• arxiv url: http://arxiv.org/abs/2207.00391v1
• Date: Fri, 1 Jul 2022 12:54:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 12:44:06.958096
• Title: Characterizing the Effect of Class Imbalance on the Learning Dynamics
• Title（参考訳）: 授業不均衡が学習ダイナミクスに及ぼす影響について
• Authors: Emanuele Francazi, Marco Baity-Jesi, Aurelien Lucchi
• Abstract要約: 勾配に基づく一般化学習において,少数クラスと多数クラスの学習曲線が準最適軌跡に従うことを示す。 本稿では,その収束挙動を詳細に解析するアルゴリズム解を提案する。 我々は,このアルゴリズムが各クラスに対してより安定した学習曲線を持つより優れた挙動を示し,より優れた一般化性能を示すことを理論的および実証的に示す。
• 参考スコア（独自算出の注目度）: 0.28647133890966986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data imbalance is a common problem in the machine learning literature that can have a critical effect on the performance of a model. Various solutions exist - such as the ones that focus on resampling or data generation - but their impact on the convergence of gradient-based optimizers used in deep learning is not understood. We here elucidate the significant negative impact of data imbalance on learning, showing that the learning curves for minority and majority classes follow sub-optimal trajectories when training with a gradient-based optimizer. The reason is not only that the gradient signal neglects the minority classes, but also that the minority classes are subject to a larger directional noise, which slows their learning by an amount related to the imbalance ratio. To address this problem, we propose a new algorithmic solution, for which we provide a detailed analysis of its convergence behavior. We show both theoretically and empirically that this new algorithm exhibits a better behavior with more stable learning curves for each class, as well as a better generalization performance.
• Abstract（参考訳）: データの不均衡は機械学習の文献において一般的な問題であり、モデルの性能に重大な影響を及ぼす可能性がある。 再サンプリングやデータ生成など、さまざまなソリューションが存在するが、ディープラーニングで使用される勾配ベースのオプティマイザの収束への影響は理解されていない。 ここでは,データ不均衡が学習に与える影響を明らかにし,マイノリティクラスとマイノリティクラスの学習曲線が,勾配に基づくオプティマイザで学習する場合の最適軌道に従うことを示した。 理由は、勾配信号がマイノリティクラスを無視しているだけでなく、マイノリティクラスはより大きな指向性ノイズを受けており、不均衡比に関連する量で学習を遅らせているからである。 この問題に対処するため,我々は,その収束挙動を詳細に解析する新しいアルゴリズム解を提案する。 我々は,このアルゴリズムが各クラスに対してより安定した学習曲線を持つより優れた挙動を示し,より優れた一般化性能を示すことを理論的および実証的に示す。

関連論文リスト

• Gradient-based Class Weighting for Unsupervised Domain Adaptation in Dense Prediction Visual Tasks [3.776249047528669]
  本稿では,クラスウェイトをUDA学習損失に組み込んだクラスバランス緩和戦略を提案する。 損失勾配を通してこれらの重みを動的に推定する斬新さは、グラディエントに基づくクラス重み付け(GBW)学習を定義する。 GBWは、大きな表現されたクラスによって学習が妨げられるクラスの貢献を自然に増大させる。
  論文  参考訳（メタデータ） (2024-07-01T14:34:25Z)
• Gradient-Aware Logit Adjustment Loss for Long-tailed Classifier [30.931850375858573]
  実世界の環境では、データは長い尾の分布に従い、ヘッドクラスはテールクラスよりもはるかに多くのトレーニングサンプルを含む。 本稿では、最適化プロセスのバランスをとるために、累積勾配に基づいてロジットを調整するグラディエント・アウェア・ロジット調整(GALA)の損失を提案する。 提案手法は,一般的なロングテール認識ベンチマークデータセットにおいて,48.5%,41.4%,73.3%のTop-1精度を実現する。
  論文  参考訳（メタデータ） (2024-03-14T02:21:01Z)
• Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
  CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
  論文  参考訳（メタデータ） (2024-02-28T18:08:03Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• Long-Tailed Learning as Multi-Objective Optimization [29.012779934262973]
  シーソージレンマは、異なるクラスの勾配不均衡に由来すると論じる。 そこで我々は,同じような勾配方向のクラスを収集するグラディエント・バランシング・グループ(GBG)戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-31T14:30:31Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition [84.51875325962061]
  本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-10-11T16:00:36Z)
• Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning [97.81549071978789]
  勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。 大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-04-19T08:23:23Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。