論文の概要: A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning

• arxiv url: http://arxiv.org/abs/2310.04752v1
• Date: Sat, 7 Oct 2023 09:15:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 15:57:57.945806
• Title: A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning
• Title（参考訳）: 不均衡学習のための再重み付けとロジット調整の統一一般化解析
• Authors: Zitai Wang and Qianqian Xu and Zhiyong Yang and Yuan He and Xiaochun Cao and Qingming Huang
• Abstract要約: そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
• 参考スコア（独自算出の注目度）: 129.63326990812234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world datasets are typically imbalanced in the sense that only a few classes have numerous samples, while many classes are associated with only a few samples. As a result, a na\"ive ERM learning process will be biased towards the majority classes, making it difficult to generalize to the minority classes. To address this issue, one simple but effective approach is to modify the loss function to emphasize the learning on minority classes, such as re-weighting the losses or adjusting the logits via class-dependent terms. However, existing generalization analysis of such losses is still coarse-grained and fragmented, failing to explain some empirical results. To bridge this gap, we propose a novel technique named data-dependent contraction to capture how these modified losses handle different classes. On top of this technique, a fine-grained generalization bound is established for imbalanced learning, which helps reveal the mystery of re-weighting and logit-adjustment in a unified manner. Furthermore, a principled learning algorithm is developed based on the theoretical insights. Finally, the empirical results on benchmark datasets not only validate the theoretical results but also demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: 実世界のデータセットは通常、少数のクラスが多数のサンプルを持つのに対して、多くのクラスは少数のサンプルにのみ関連付けられているという意味で不均衡である。 結果として、 na\ な ERM 学習プロセスが多数派に偏り、少数派に一般化することが困難になる。 この問題に対処するためには、損失関数を修正して、損失の再重み付けやクラス依存項によるロジットの調整など、マイノリティクラスでの学習を強調する方法がある。 しかし、そのような損失の既存の一般化分析はいまだに粗い粒度と断片化されており、いくつかの経験的結果の説明に失敗している。 このギャップを埋めるために,データ依存収縮(data-dependent shrink)と呼ばれる新しい手法を提案する。 この技術に加えて、不均衡学習のための微粒化一般化境界が確立され、統一された方法で再重み付けとロジット調整の謎を明らかにするのに役立つ。 さらに,理論的な洞察に基づいて原理学習アルゴリズムを開発した。 最後に, ベンチマークデータを用いた実験結果から, 理論的結果だけでなく, 提案手法の有効性も検証した。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Towards a Unified Analysis of Kernel-based Methods Under Covariate Shift [18.240776405802205]
  再生カーネルヒルベルト空間における一般非パラメトリック手法の統一解析を提案する。 本研究は, 損失関数ファミリーに属する一般損失について理論的に検討した。 この結果は,2乗損失を用いた文献の最適結果と一致する。
  論文  参考訳（メタデータ） (2023-10-12T11:33:15Z)
• CUDA: Curriculum of Data Augmentation for Long-Tailed Recognition [10.441880303257468]
  クラス不均衡問題は現実世界のタスクで頻繁に発生する。 この問題を軽減するために、多くのアプローチがトレーニングサンプルの再重み付けや再サンプリングによって、各クラス間でバランスをとることを目標にしている。 これらの再バランス手法は、マイノリティクラスの影響を増大させ、モデルの出力に対する多数派クラスの影響を減少させる。 多数サンプルの特徴によって少数サンプルの表現を増大させる手法が開発されている。
  論文  参考訳（メタデータ） (2023-02-10T20:30:22Z)
• Class-Imbalanced Complementary-Label Learning via Weighted Loss [8.934943507699131]
  補完ラベル学習(Complementary-label Learning, CLL)は、弱い教師付き分類において広く用いられている。 クラス不均衡のトレーニングサンプルに直面すると、現実世界のデータセットでは大きな課題に直面します。 多クラス分類のためのクラス不均衡補完ラベルからの学習を可能にする新しい問題設定を提案する。
  論文  参考訳（メタデータ） (2022-09-28T16:02:42Z)
• Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
  不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。 本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。 我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
  論文  参考訳（メタデータ） (2022-06-23T10:25:37Z)
• Imbalanced Classification via Explicit Gradient Learning From Augmented Data [0.0]
  本稿では、与えられた不均衡なデータセットを新しいマイノリティインスタンスに拡張する、新しい深層メタラーニング手法を提案する。 提案手法の利点は, 種々の不均衡比を持つ合成および実世界のデータセット上で実証される。
  論文  参考訳（メタデータ） (2022-02-21T22:16:50Z)
• Learning explanations that are hard to vary [75.30552491694066]
  例を越えた平均化は、異なる戦略を縫合する記憶とパッチワークのソリューションに有利であることを示す。 そこで我々は論理ANDに基づく単純な代替アルゴリズムを提案し,実験的に検証する。
  論文  参考訳（メタデータ） (2020-09-01T10:17:48Z)
• M2m: Imbalanced Classification via Major-to-minor Translation [79.09018382489506]
  ほとんどの実世界のシナリオでは、ラベル付きトレーニングデータセットは非常にクラス不均衡であり、ディープニューラルネットワークは、バランスの取れたテスト基準への一般化に苦しむ。 本稿では,より頻度の低いクラスを,より頻度の低いクラスからのサンプルを翻訳することによって,この問題を緩和する新しい方法を提案する。 提案手法は,従来の再サンプリング法や再重み付け法と比較して,マイノリティクラスの一般化を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-04-01T13:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。