論文の概要: Robust Long-Tailed Learning via Label-Aware Bounded CVaR

• arxiv url: http://arxiv.org/abs/2308.15405v1
• Date: Tue, 29 Aug 2023 16:07:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 13:10:46.714408
• Title: Robust Long-Tailed Learning via Label-Aware Bounded CVaR
• Title（参考訳）: ラベル認識境界CVaRによるロバスト長期学習
• Authors: Hong Zhu, Runpeng Yu, Xing Tang, Yifei Wang, Yuan Fang, Yisen Wang
• Abstract要約: そこで本研究では,長期学習の性能向上のための2つの新しい手法を提案する。 具体的には,従来のCVaRの悲観的な結果を克服するために,ラベル認識境界CVaRの損失を導入する。 また,最適化プロセスの安定化を図るため,ロジット調整付きLAB-CVaRを提案する。
• 参考スコア（独自算出の注目度）: 36.26100472960534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data in the real-world classification problems are always imbalanced or long-tailed, wherein the majority classes have the most of the samples that dominate the model training. In such setting, the naive model tends to have poor performance on the minority classes. Previously, a variety of loss modifications have been proposed to address the long-tailed leaning problem, while these methods either treat the samples in the same class indiscriminatingly or lack a theoretical guarantee. In this paper, we propose two novel approaches based on CVaR (Conditional Value at Risk) to improve the performance of long-tailed learning with a solid theoretical ground. Specifically, we firstly introduce a Label-Aware Bounded CVaR (LAB-CVaR) loss to overcome the pessimistic result of the original CVaR, and further design the optimal weight bounds for LAB-CVaR theoretically. Based on LAB-CVaR, we additionally propose a LAB-CVaR with logit adjustment (LAB-CVaR-logit) loss to stabilize the optimization process, where we also offer the theoretical support. Extensive experiments on real-world datasets with long-tailed label distributions verify the superiority of our proposed methods.
• Abstract（参考訳）: 実世界の分類問題におけるデータは、常に不均衡または長い尾を持つため、大多数のクラスは、モデルトレーニングを支配するほとんどのサンプルを持っている。 このような環境では、単純モデルは少数派での性能が劣る傾向にある。 これまで、長い尾の傾きの問題に対処するために、様々な損失修正が提案されてきたが、これらの方法は同一クラスのサンプルを無差別に扱うか、理論的な保証を欠いている。 本稿では,CVaR(Conditional Value at Risk)に基づく2つの新しい手法を提案する。 具体的には,まず,従来のCVaRの悲観的な結果を克服するために,LAB-CVaR(Label-Aware bounded CVaR)の損失を導入する。 また,LAB-CVaRに基づいて最適化プロセスの安定化を図るため,ロジット調整(LAB-CVaR-logit)を施したLAB-CVaRを提案する。 長期ラベル分布を持つ実世界のデータセットに対する大規模な実験により,提案手法の優位性を検証した。

関連論文リスト

• DRAUC: An Instance-wise Distributionally Robust AUC Optimization Framework [133.26230331320963]
  ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。 本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-11-06T12:15:57Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Proposal Distribution Calibration for Few-Shot Object Detection [65.19808035019031]
  few-shot object detection (FSOD)では、重度のサンプル不均衡を軽減するために、2段階の訓練パラダイムが広く採用されている。 残念ながら、極端なデータ不足は、提案の分布バイアスを増大させ、RoIヘッドが新しいクラスに進化するのを妨げます。 本稿では,RoIヘッドのローカライゼーションと分類能力を高めるために,単純かつ効果的な提案分布キャリブレーション(PDC)手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T05:09:11Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Boosted CVaR Classification [44.731468512484824]
  モデル尾部性能を最大化するための一般的なアプローチは、CVaR損失を最小限に抑えることである。 モデルがゼロ1損失によって評価される分類タスクの場合、平均ゼロ1損失の最小化はCVaRゼロ1損失を最小化する。 本稿では,CVaR と LPBoost という古典的ブースティングアルゴリズムとの直接的な関係を動機としたBoosted CVaR 分類フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-26T18:27:25Z)
• Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning [23.465747123791772]
  少数の分類において、第一の目的は、新しいクラスをうまく一般化する表現を学ぶことである。 オルソショット(Ortho-Shot)と呼ばれる効率的な低変位ランク(LDR)正規化戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-18T14:58:36Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Model Rectification via Unknown Unknowns Extraction from Deployment Samples [8.0497115494227]
  本稿では, 訓練後のモデル修正を, 教師付き方式で実施することを目的とした, 汎用的なアルゴリズムフレームワークを提案する。 RTSCVは未知の未知(u.u.s)を抽出する RTSCVは最先端のアプローチよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-08T11:46:19Z)
• Learning with CVaR-based feedback under potentially heavy tails [8.572654816871873]
  条件付きリスク(CVaR)の最小化を目指す学習アルゴリズムについて検討する。 まず,重み付き確率変数に対するCVaRの汎用推定器について検討する。 次に、勾配駆動サブプロセスによって生成される候補の中から頑健に選択する新しい学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2020-06-03T01:08:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。