論文の概要: Long-Tailed Learning as Multi-Objective Optimization

• arxiv url: http://arxiv.org/abs/2310.20490v2
• Date: Wed, 1 Nov 2023 11:28:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 10:36:52.784427
• Title: Long-Tailed Learning as Multi-Objective Optimization
• Title（参考訳）: 多目的最適化としての長期学習
• Authors: Weiqi Li, Fan Lyu, Fanhua Shang, Liang Wan, Wei Feng
• Abstract要約: シーソージレンマは、異なるクラスの勾配不均衡に由来すると論じる。 そこで我々は,同じような勾配方向のクラスを収集するグラディエント・バランシング・グループ(GBG)戦略を提案する。
• 参考スコア（独自算出の注目度）: 29.012779934262973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world data is extremely imbalanced and presents a long-tailed distribution, resulting in models that are biased towards classes with sufficient samples and perform poorly on rare classes. Recent methods propose to rebalance classes but they undertake the seesaw dilemma (what is increasing performance on tail classes may decrease that of head classes, and vice versa). In this paper, we argue that the seesaw dilemma is derived from gradient imbalance of different classes, in which gradients of inappropriate classes are set to important for updating, thus are prone to overcompensation or undercompensation on tail classes. To achieve ideal compensation, we formulate the long-tailed recognition as an multi-objective optimization problem, which fairly respects the contributions of head and tail classes simultaneously. For efficiency, we propose a Gradient-Balancing Grouping (GBG) strategy to gather the classes with similar gradient directions, thus approximately make every update under a Pareto descent direction. Our GBG method drives classes with similar gradient directions to form more representative gradient and provide ideal compensation to the tail classes. Moreover, We conduct extensive experiments on commonly used benchmarks in long-tailed learning and demonstrate the superiority of our method over existing SOTA methods.
• Abstract（参考訳）: 実世界のデータは極めて不均衡であり、ロングテールの分布を示し、十分なサンプルを持つクラスに偏り、まれなクラスでパフォーマンスの悪いモデルとなる。 近年の手法では,クラスの再バランスが提案されているが,シーソージレンマ(尾クラスの性能向上は,ヘッドクラスの性能を低下させる可能性がある。 本稿では,シーソージレンマが異なるクラスの勾配不均衡から導出され,不適切なクラスの勾配が更新に重要となるように設定されるため,末尾クラスに対する過剰補償や過補償になりがちであると主張する。 理想的補償を実現するために,多目的最適化問題としてロングテール認識を定式化し,ヘッドクラスとテールクラスの貢献を十分に尊重する。 効率向上のために,同じ勾配方向のクラスを収集するグラディエント・バランシング・グループ(GBG)戦略を提案する。 同様の勾配方向のクラスをgbg法で駆動し、より代表的な勾配を形成し、テールクラスに理想的な補償を与える。 さらに,長期学習においてよく用いられるベンチマークについて広範な実験を行い,既存のSOTA法よりも優れた方法を示す。

関連論文リスト

• Gradient-Aware Logit Adjustment Loss for Long-tailed Classifier [30.931850375858573]
  実世界の環境では、データは長い尾の分布に従い、ヘッドクラスはテールクラスよりもはるかに多くのトレーニングサンプルを含む。 本稿では、最適化プロセスのバランスをとるために、累積勾配に基づいてロジットを調整するグラディエント・アウェア・ロジット調整(GALA)の損失を提案する。 提案手法は,一般的なロングテール認識ベンチマークデータセットにおいて,48.5%,41.4%,73.3%のTop-1精度を実現する。
  論文  参考訳（メタデータ） (2024-03-14T02:21:01Z)
• Dual Compensation Residual Networks for Class Imbalanced Learning [98.35401757647749]
  そこで本研究では,尾と頭の両方に適合する2次元補償残差ネットワークを提案する。 オーバーフィッティングを引き起こす重要な要因は、トレーニングとテールクラスのテストデータの間に深刻な特徴ドリフトがあることである。 また,不適合問題を軽減するためにResidual Balanced Multi-Proxies分類器を提案する。
  論文  参考訳（メタデータ） (2023-08-25T04:06:30Z)
• The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition [84.51875325962061]
  本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-10-11T16:00:36Z)
• Improving GANs for Long-Tailed Data through Group Spectral Regularization [51.58250647277375]
  本稿では, スペクトル爆発によるモード崩壊を防止する新しいグループスペクトル正規化器 (gSR) を提案する。 我々は,gSRが既存の拡張および正規化技術と効果的に組み合わせることで,長期化データ上での最先端の画像生成性能が向上することを発見した。
  論文  参考訳（メタデータ） (2022-08-21T17:51:05Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• A Theoretical Analysis of the Learning Dynamics under Class Imbalance [0.10231119246773925]
  本研究では,少数クラスと多数クラスの学習曲線が,勾配に基づく学習において,準最適軌跡に従うことを示す。 この減速は不均衡比に関連しており、異なるクラスの最適化の競合に遡ることができる。 GDはクラスごとの損失を減らすことは保証されていないが、勾配のクラスごとの正規化を行うことでこの問題に対処できる。
  論文  参考訳（メタデータ） (2022-07-01T12:54:38Z)
• Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning [97.81549071978789]
  勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。 大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-04-19T08:23:23Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。