論文の概要: Long-Tailed Learning as Multi-Objective Optimization
- arxiv url: http://arxiv.org/abs/2310.20490v2
- Date: Wed, 1 Nov 2023 11:28:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 10:36:52.784427
- Title: Long-Tailed Learning as Multi-Objective Optimization
- Title(参考訳): 多目的最適化としての長期学習
- Authors: Weiqi Li, Fan Lyu, Fanhua Shang, Liang Wan, Wei Feng
- Abstract要約: シーソージレンマは、異なるクラスの勾配不均衡に由来すると論じる。
そこで我々は,同じような勾配方向のクラスを収集するグラディエント・バランシング・グループ(GBG)戦略を提案する。
- 参考スコア(独自算出の注目度): 29.012779934262973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world data is extremely imbalanced and presents a long-tailed
distribution, resulting in models that are biased towards classes with
sufficient samples and perform poorly on rare classes. Recent methods propose
to rebalance classes but they undertake the seesaw dilemma (what is increasing
performance on tail classes may decrease that of head classes, and vice versa).
In this paper, we argue that the seesaw dilemma is derived from gradient
imbalance of different classes, in which gradients of inappropriate classes are
set to important for updating, thus are prone to overcompensation or
undercompensation on tail classes. To achieve ideal compensation, we formulate
the long-tailed recognition as an multi-objective optimization problem, which
fairly respects the contributions of head and tail classes simultaneously. For
efficiency, we propose a Gradient-Balancing Grouping (GBG) strategy to gather
the classes with similar gradient directions, thus approximately make every
update under a Pareto descent direction. Our GBG method drives classes with
similar gradient directions to form more representative gradient and provide
ideal compensation to the tail classes. Moreover, We conduct extensive
experiments on commonly used benchmarks in long-tailed learning and demonstrate
the superiority of our method over existing SOTA methods.
- Abstract(参考訳): 実世界のデータは極めて不均衡であり、ロングテールの分布を示し、十分なサンプルを持つクラスに偏り、まれなクラスでパフォーマンスの悪いモデルとなる。
近年の手法では,クラスの再バランスが提案されているが,シーソージレンマ(尾クラスの性能向上は,ヘッドクラスの性能を低下させる可能性がある。
本稿では,シーソージレンマが異なるクラスの勾配不均衡から導出され,不適切なクラスの勾配が更新に重要となるように設定されるため,末尾クラスに対する過剰補償や過補償になりがちであると主張する。
理想的補償を実現するために,多目的最適化問題としてロングテール認識を定式化し,ヘッドクラスとテールクラスの貢献を十分に尊重する。
効率向上のために,同じ勾配方向のクラスを収集するグラディエント・バランシング・グループ(GBG)戦略を提案する。
同様の勾配方向のクラスをgbg法で駆動し、より代表的な勾配を形成し、テールクラスに理想的な補償を与える。
さらに,長期学習においてよく用いられるベンチマークについて広範な実験を行い,既存のSOTA法よりも優れた方法を示す。
関連論文リスト
- Gradient-Aware Logit Adjustment Loss for Long-tailed Classifier [30.931850375858573]
実世界の環境では、データは長い尾の分布に従い、ヘッドクラスはテールクラスよりもはるかに多くのトレーニングサンプルを含む。
本稿では、最適化プロセスのバランスをとるために、累積勾配に基づいてロジットを調整するグラディエント・アウェア・ロジット調整(GALA)の損失を提案する。
提案手法は,一般的なロングテール認識ベンチマークデータセットにおいて,48.5%,41.4%,73.3%のTop-1精度を実現する。
論文 参考訳(メタデータ) (2024-03-14T02:21:01Z) - Topological Augmentation for Class-Imbalanced Node Classification [64.20437487896343]
探索下トポロジ中心の視点から,クラス不均衡バイアスの源泉について検討した。
そこで我々は, アンビバシアン/ディスタントメッセージパッシングの影響を受けやすいノードを動的に修正する, 軽量なトポロジカル拡張手法TOBAを考案した。
ToBAはモデルに依存しない、効率的で多用途なソリューションであり、シームレスに組み合わせて、他の不均衡処理技術をさらに促進することができる。
論文 参考訳(メタデータ) (2023-08-27T19:01:29Z) - Dual Compensation Residual Networks for Class Imbalanced Learning [98.35401757647749]
そこで本研究では,尾と頭の両方に適合する2次元補償残差ネットワークを提案する。
オーバーフィッティングを引き起こす重要な要因は、トレーニングとテールクラスのテストデータの間に深刻な特徴ドリフトがあることである。
また,不適合問題を軽減するためにResidual Balanced Multi-Proxies分類器を提案する。
論文 参考訳(メタデータ) (2023-08-25T04:06:30Z) - Adjusting Logit in Gaussian Form for Long-Tailed Visual Recognition [41.38745794825594]
特徴量の観点から、長い尾の視覚認識の問題について検討する。
2つの新しいロジット調整法が提案され,計算オーバーヘッドの少ないモデル性能が向上した。
論文 参考訳(メタデータ) (2023-05-18T02:06:06Z) - Curvature-Balanced Feature Manifold Learning for Long-Tailed
Classification [52.021899899683675]
尾のクラスは必ずしも学習が難しいわけではなく、サンプルバランスのデータセットでモデルバイアスが観測されていることを示す。
本稿では, 曲率バランスと平らな知覚多様体の学習を容易にするため, 曲率正規化を提案する。
我々の研究は、モデルバイアスに関する幾何学的分析の視点を開き、非長い尾とサンプルバランスのデータセットのモデルバイアスに注意を払うよう研究者に促す。
論文 参考訳(メタデータ) (2023-03-22T04:49:23Z) - The Equalization Losses: Gradient-Driven Training for Long-tailed Object
Recognition [84.51875325962061]
本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。
我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。
我々の手法は一貫してベースラインモデルより優れています。
論文 参考訳(メタデータ) (2022-10-11T16:00:36Z) - Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。
従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。
ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。
提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
論文 参考訳(メタデータ) (2022-08-04T10:22:24Z) - A Theoretical Analysis of the Learning Dynamics under Class Imbalance [0.10231119246773925]
本研究では,少数クラスと多数クラスの学習曲線が,勾配に基づく学習において,準最適軌跡に従うことを示す。
この減速は不均衡比に関連しており、異なるクラスの最適化の競合に遡ることができる。
GDはクラスごとの損失を減らすことは保証されていないが、勾配のクラスごとの正規化を行うことでこの問題に対処できる。
論文 参考訳(メタデータ) (2022-07-01T12:54:38Z) - Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。
尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。
そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
論文 参考訳(メタデータ) (2022-01-08T07:48:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。