論文の概要: Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning

• arxiv url: http://arxiv.org/abs/2204.08735v1
• Date: Tue, 19 Apr 2022 08:23:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 13:09:56.988392
• Title: Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning
• Title（参考訳）: 神経崩壊に触発されたアトラクション-リパルトバランス損失
• Authors: Liang Xie, Yibo Yang, Deng Cai, Dacheng Tao, Xiaofei He
• Abstract要約: 勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。 大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 97.81549071978789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class imbalance distribution widely exists in real-world engineering. However, the mainstream optimization algorithms that seek to minimize error will trap the deep learning model in sub-optimums when facing extreme class imbalance. It seriously harms the classification precision, especially on the minor classes. The essential reason is that the gradients of the classifier weights are imbalanced among the components from different classes. In this paper, we propose Attraction-Repulsion-Balanced Loss (ARB-Loss) to balance the different components of the gradients. We perform experiments on the large-scale classification and segmentation datasets and our ARB-Loss can achieve state-of-the-art performance via only one-stage training instead of 2-stage learning like nowadays SOTA works.
• Abstract（参考訳）: クラス不均衡分布は実世界工学において広く存在する。 しかし、エラーを最小限に抑えるために主流となる最適化アルゴリズムは、極度のクラス不均衡に直面した場合、サブ最適化においてディープラーニングモデルをトラップする。 これは分類の精度、特にマイナークラスに深刻な害を与える。 基本的な理由は、分類器の重みの勾配が異なるクラスの成分間で不均衡であるからである。 本稿では,勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。 大規模分類とセグメンテーションデータセットの実験を行い、最近のSOTAのように2段階の学習ではなく、1段階の訓練で最先端のパフォーマンスを達成できます。

関連論文リスト

• Gradient-Aware Logit Adjustment Loss for Long-tailed Classifier [30.931850375858573]
  実世界の環境では、データは長い尾の分布に従い、ヘッドクラスはテールクラスよりもはるかに多くのトレーニングサンプルを含む。 本稿では、最適化プロセスのバランスをとるために、累積勾配に基づいてロジットを調整するグラディエント・アウェア・ロジット調整(GALA)の損失を提案する。 提案手法は,一般的なロングテール認識ベンチマークデータセットにおいて,48.5%,41.4%,73.3%のTop-1精度を実現する。
  論文  参考訳（メタデータ） (2024-03-14T02:21:01Z)
• Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
  CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
  論文  参考訳（メタデータ） (2024-02-28T18:08:03Z)
• Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
  実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。 クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。 バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-05T05:52:44Z)
• Class-Imbalanced Graph Learning without Class Rebalancing [62.1368829847041]
  クラス不均衡は実世界のノード分類タスクでよく見られ、グラフ学習モデルには大きな課題がある。 本研究では、トポロジカルパラダイムからクラス不均衡バイアスの根本原因にアプローチする。 我々は,クラス再バランスを伴わずにクラス不均衡バイアスを軽減するために,軽量なトポロジカル拡張フレームワークであるBATを考案した。
  論文  参考訳（メタデータ） (2023-08-27T19:01:29Z)
• The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition [84.51875325962061]
  本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-10-11T16:00:36Z)
• A Theoretical Analysis of the Learning Dynamics under Class Imbalance [0.10231119246773925]
  本研究では,少数クラスと多数クラスの学習曲線が,勾配に基づく学習において,準最適軌跡に従うことを示す。 この減速は不均衡比に関連しており、異なるクラスの最適化の競合に遡ることができる。 GDはクラスごとの損失を減らすことは保証されていないが、勾配のクラスごとの正規化を行うことでこの問題に対処できる。
  論文  参考訳（メタデータ） (2022-07-01T12:54:38Z)
• Phased Progressive Learning with Coupling-Regulation-Imbalance Loss for Imbalanced Classification [11.673344551762822]
  ディープニューラルネットワークは、一般に、異なるクラス間の量不均衡と分類困難の不均衡に苦しむデータセットで性能が良くない。 表象学習から上位クラス化学習への学習強調を円滑に伝達する段階的な進行学習スケジュールが提案された。 私たちのコードはまもなくオープンソースになります。
  論文  参考訳（メタデータ） (2022-05-24T14:46:39Z)
• Long-Tailed Recognition via Weight Balancing [66.03068252811993]
  ナイーブトレーニングは、より高い精度で一般的なクラスに偏ったモデルを生成する。 重みのバランス、L2-正規化、重みの崩壊、MaxNormの3つの手法について検討する。 提案手法は,5つの標準ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-03-27T03:26:31Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。