論文の概要: Boosted CVaR Classification

• arxiv url: http://arxiv.org/abs/2110.13948v1
• Date: Tue, 26 Oct 2021 18:27:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-31 12:48:18.499787
• Title: Boosted CVaR Classification
• Title（参考訳）: Boosted CVaR 分類
• Authors: Runtian Zhai, Chen Dan, Arun Sai Suggala, Zico Kolter, Pradeep Ravikumar
• Abstract要約: モデル尾部性能を最大化するための一般的なアプローチは、CVaR損失を最小限に抑えることである。 モデルがゼロ1損失によって評価される分類タスクの場合、平均ゼロ1損失の最小化はCVaRゼロ1損失を最小化する。 本稿では,CVaR と LPBoost という古典的ブースティングアルゴリズムとの直接的な関係を動機としたBoosted CVaR 分類フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 44.731468512484824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many modern machine learning tasks require models with high tail performance, i.e. high performance over the worst-off samples in the dataset. This problem has been widely studied in fields such as algorithmic fairness, class imbalance, and risk-sensitive decision making. A popular approach to maximize the model's tail performance is to minimize the CVaR (Conditional Value at Risk) loss, which computes the average risk over the tails of the loss. However, for classification tasks where models are evaluated by the zero-one loss, we show that if the classifiers are deterministic, then the minimizer of the average zero-one loss also minimizes the CVaR zero-one loss, suggesting that CVaR loss minimization is not helpful without additional assumptions. We circumvent this negative result by minimizing the CVaR loss over randomized classifiers, for which the minimizers of the average zero-one loss and the CVaR zero-one loss are no longer the same, so minimizing the latter can lead to better tail performance. To learn such randomized classifiers, we propose the Boosted CVaR Classification framework which is motivated by a direct relationship between CVaR and a classical boosting algorithm called LPBoost. Based on this framework, we design an algorithm called $\alpha$-AdaLPBoost. We empirically evaluate our proposed algorithm on four benchmark datasets and show that it achieves higher tail performance than deterministic model training methods.
• Abstract（参考訳）: 現代の機械学習タスクの多くは、データセットの最悪のサンプルよりも高いパフォーマンス、すなわち高いテールパフォーマンスのモデルを必要とする。 この問題はアルゴリズム的公正性、クラス不均衡、リスクに敏感な意思決定などの分野で広く研究されている。 モデルのテール性能を最大化するための一般的なアプローチは、損失のテール平均リスクを計算するCVaR(Conditional Value at Risk)損失を最小限にすることである。 しかし,ゼロ・ワン損失によってモデルが評価される分類タスクでは,分類器が決定論的であれば,ゼロ・ワン損失の最小化もCVaRゼロ・ワン損失の最小化であり,CVaR損失の最小化は追加の仮定なしでは役に立たないことを示す。 我々は、平均ゼロワン損失とcvarゼロワン損失の最小値がもはや同じではないランダム化分類器に対するcvar損失を最小化することで、この負の結果を回避し、後者を最小化することで末尾性能を改善することができる。 このようなランダム化分類を学習するために,CVaRとLPBoostという古典的ブースティングアルゴリズムとの直接的な関係を動機としたBoosted CVaR分類フレームワークを提案する。 このフレームワークに基づいて,$\alpha$-AdaLPBoostというアルゴリズムを設計する。 提案アルゴリズムを4つのベンチマークデータセット上で実証的に評価し,決定論的モデルトレーニング手法よりも高いテール性能を実現することを示す。

関連論文リスト

• Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
  リスクに敏感な強化学習(RL)について検討する。 本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。 提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2023-11-20T17:44:40Z)
• Robust Long-Tailed Learning via Label-Aware Bounded CVaR [36.26100472960534]
  そこで本研究では,長期学習の性能向上のための2つの新しい手法を提案する。 具体的には,従来のCVaRの悲観的な結果を克服するために,ラベル認識境界CVaRの損失を導入する。 また,最適化プロセスの安定化を図るため,ロジット調整付きLAB-CVaRを提案する。
  論文  参考訳（メタデータ） (2023-08-29T16:07:18Z)
• A Model-Based Method for Minimizing CVaR and Beyond [7.751691910877239]
  CVaR(Conditional Value-at-Risk)目標の最小化のために, Prox-linear 法の変種を開発した。 CVaRは最悪のケースのパフォーマンスを最小化することに焦点を当てたリスク尺度であり、損失の最上位量の平均として定義される。 機械学習では、そのようなリスク尺度はより堅牢なモデルをトレーニングするのに有用である。
  論文  参考訳（メタデータ） (2023-05-27T15:38:53Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
  論文  参考訳（メタデータ） (2020-10-05T01:58:32Z)
• Learning with CVaR-based feedback under potentially heavy tails [8.572654816871873]
  条件付きリスク(CVaR)の最小化を目指す学習アルゴリズムについて検討する。 まず,重み付き確率変数に対するCVaRの汎用推定器について検討する。 次に、勾配駆動サブプロセスによって生成される候補の中から頑健に選択する新しい学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2020-06-03T01:08:29Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)
• Statistical Learning with Conditional Value at Risk [35.4968603057034]
  本稿では,予測損失よりも損失の条件付き値付きリスク(CVaR)を用いて,学習アルゴリズムの性能を評価するリスク-逆統計学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-14T00:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。