論文の概要: A Model-Based Method for Minimizing CVaR and Beyond

• arxiv url: http://arxiv.org/abs/2305.17498v1
• Date: Sat, 27 May 2023 15:38:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 18:46:01.933129
• Title: A Model-Based Method for Minimizing CVaR and Beyond
• Title（参考訳）: CVaR以上の最小化のためのモデルベース手法
• Authors: Si Yi Meng, Robert M. Gower
• Abstract要約: CVaR(Conditional Value-at-Risk)目標の最小化のために, Prox-linear 法の変種を開発した。 CVaRは最悪のケースのパフォーマンスを最小化することに焦点を当てたリスク尺度であり、損失の最上位量の平均として定義される。 機械学習では、そのようなリスク尺度はより堅牢なモデルをトレーニングするのに有用である。
• 参考スコア（独自算出の注目度）: 7.751691910877239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a variant of the stochastic prox-linear method for minimizing the Conditional Value-at-Risk (CVaR) objective. CVaR is a risk measure focused on minimizing worst-case performance, defined as the average of the top quantile of the losses. In machine learning, such a risk measure is useful to train more robust models. Although the stochastic subgradient method (SGM) is a natural choice for minimizing the CVaR objective, we show that our stochastic prox-linear (SPL+) algorithm can better exploit the structure of the objective, while still providing a convenient closed form update. Our SPL+ method also adapts to the scaling of the loss function, which allows for easier tuning. We then specialize a general convergence theorem for SPL+ to our setting, and show that it allows for a wider selection of step sizes compared to SGM. We support this theoretical finding experimentally.
• Abstract（参考訳）: 本研究では,CVaR目標を最小化するための確率的 Prox-linear 法の変種を開発する。 CVaRは最悪のケースのパフォーマンスを最小化することに焦点を当てたリスク尺度であり、損失の最上位量の平均として定義される。 機械学習では、そのようなリスク尺度はより堅牢なモデルをトレーニングするのに有用である。 CVaRの目的を最小化するためには,SGM法が自然な選択であるが,我々の確率的 Prox-linear (SPL+) アルゴリズムは,その目的の構造をよりよく活用できる一方で,便利なクローズドフォーム更新を提供する。 我々のSPL+法は損失関数のスケーリングにも適応し、簡単にチューニングできる。 次に、SPL+の一般収束定理を我々の設定に特殊化し、SGMと比較してより広いステップサイズの選択を可能にすることを示す。 我々はこの理論的発見を実験的に支持する。

関連論文リスト

• Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
  リスクに敏感な強化学習(RL)について検討する。 本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。 提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2023-11-20T17:44:40Z)
• Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
  合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。 構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。 本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:57:21Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Boosted CVaR Classification [44.731468512484824]
  モデル尾部性能を最大化するための一般的なアプローチは、CVaR損失を最小限に抑えることである。 モデルがゼロ1損失によって評価される分類タスクの場合、平均ゼロ1損失の最小化はCVaRゼロ1損失を最小化する。 本稿では,CVaR と LPBoost という古典的ブースティングアルゴリズムとの直接的な関係を動機としたBoosted CVaR 分類フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-26T18:27:25Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)
• A Graduated Filter Method for Large Scale Robust Estimation [32.08441889054456]
  そこで我々は,ローカル・ミニマから逃れる強力な能力を有する,ロバストな推定のための新しい解法を提案する。 我々のアルゴリズムは、多くのローカルなミニマが不足している問題を解くために、最先端の手法に基づいて構築されている。
  論文  参考訳（メタデータ） (2020-03-20T02:51:31Z)
• Statistical Learning with Conditional Value at Risk [35.4968603057034]
  本稿では,予測損失よりも損失の条件付き値付きリスク(CVaR)を用いて,学習アルゴリズムの性能を評価するリスク-逆統計学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-14T00:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。