論文の概要: Harmonized Gradient Descent for Class Imbalanced Data Stream Online Learning

• arxiv url: http://arxiv.org/abs/2508.11353v1
• Date: Fri, 15 Aug 2025 09:35:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.838349
• Title: Harmonized Gradient Descent for Class Imbalanced Data Stream Online Learning
• Title（参考訳）: クラス不均衡データストリームオンライン学習のための調和型グラディエントDescent
• Authors: Han Zhou, Hongpeng Yin, Xuanhong Deng, Yuyu Huang, Hao Ren,
• Abstract要約: 異なるクラス間の勾配のノルムを等化することを目的としたHGDアルゴリズムを導入する。 勾配の標準バランスを確保することで、HGDはマイナークラスの過小評価を軽減し、バランスの取れたオンライン学習を実現する。
• 参考スコア（独自算出の注目度）: 10.398611591652031
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world data are sequentially collected over time and often exhibit skewed class distributions, resulting in imbalanced data streams. While existing approaches have explored several strategies, such as resampling and reweighting, for imbalanced data stream learning, our work distinguishes itself by addressing the imbalance problem through training modification, particularly focusing on gradient descent techniques. We introduce the harmonized gradient descent (HGD) algorithm, which aims to equalize the norms of gradients across different classes. By ensuring the gradient norm balance, HGD mitigates under-fitting for minor classes and achieves balanced online learning. Notably, HGD operates in a streamlined implementation process, requiring no data-buffer, extra parameters, or prior knowledge, making it applicable to any learning models utilizing gradient descent for optimization. Theoretical analysis, based on a few common and mild assumptions, shows that HGD achieves a satisfied sub-linear regret bound. The proposed algorithm are compared with the commonly used online imbalance learning methods under several imbalanced data stream scenarios. Extensive experimental evaluations demonstrate the efficiency and effectiveness of HGD in learning imbalanced data streams.
• Abstract（参考訳）: 多くの実世界のデータは時間とともに順次収集され、しばしば歪んだクラス分布を示し、不均衡なデータストリームをもたらす。 既存のアプローチでは,不均衡なデータストリーム学習のための再サンプリングや再重み付けなど,いくつかの手法が検討されているが,トレーニング修正による不均衡問題に対処することで,特に勾配降下技術に重点を置いている。 異なるクラス間の勾配のノルムを等化することを目的としたHGDアルゴリズムを導入する。 勾配の標準バランスを確保することで、HGDはマイナークラスの過小評価を軽減し、バランスの取れたオンライン学習を実現する。 特に、HGDは、データバッファ、余分なパラメータ、あるいは事前知識を必要としない、合理化された実装プロセスで動作し、最適化のために勾配勾配を利用する任意の学習モデルに適用できる。 理論解析は、いくつかの一般的で穏やかな仮定に基づいており、HGDが満足な準線形後悔境界を達成することを示している。 提案アルゴリズムは、複数の不均衡なデータストリームシナリオでよく使用されるオンライン不均衡学習手法と比較する。 不均衡なデータストリームの学習におけるHGDの有効性と有効性を示す。

関連論文リスト

• Online-BLS: An Accurate and Efficient Online Broad Learning System for Data Stream Classification [52.251569042852815]
  オンライン更新毎にクローズドフォームソリューションを備えたオンライン広範学習システムフレームワークを導入する。 我々は,効果的な重み推定アルゴリズムと効率的なオンライン更新戦略を設計する。 我々のフレームワークは、コンセプトドリフトを伴うデータストリームシナリオに自然に拡張され、最先端のベースラインを超えます。
  論文  参考訳（メタデータ） (2025-01-28T13:21:59Z)
• Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
  CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
  論文  参考訳（メタデータ） (2024-02-28T18:08:03Z)
• Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
  実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。 クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。 バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-05T05:52:44Z)
• An Embarrassingly Simple Baseline for Imbalanced Semi-Supervised Learning [103.65758569417702]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルのパフォーマンスを向上させるという大きな約束を示している。 我々は、ラベル付きデータとラベルなしデータの両方で不均衡なクラス分散が発生する不均衡SSLという、より現実的で困難な設定について検討する。 我々は、ラベル付きデータを擬似ラベルで単純に補うことで、データの不均衡に取り組む単純なベースライン、SimiSについて研究する。
  論文  参考訳（メタデータ） (2022-11-20T21:18:41Z)
• A Theoretical Analysis of the Learning Dynamics under Class Imbalance [0.10231119246773925]
  本研究では,少数クラスと多数クラスの学習曲線が,勾配に基づく学習において,準最適軌跡に従うことを示す。 この減速は不均衡比に関連しており、異なるクラスの最適化の競合に遡ることができる。 GDはクラスごとの損失を減らすことは保証されていないが、勾配のクラスごとの正規化を行うことでこの問題に対処できる。
  論文  参考訳（メタデータ） (2022-07-01T12:54:38Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。