論文の概要: A Full Characterization of Excess Risk via Empirical Risk Landscape

• arxiv url: http://arxiv.org/abs/2012.02456v2
• Date: Fri, 29 Jan 2021 11:35:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-22 20:38:13.561210
• Title: A Full Characterization of Excess Risk via Empirical Risk Landscape
• Title（参考訳）: 経験的リスクランドスケープによる過剰リスクの完全な特徴付け
• Authors: Mingyang Yi, Ruoyu Wang, Zhi-Ming Ma
• Abstract要約: 本稿では,滑らかな凸関数と非損失関数の両方を持つ固有アルゴリズムにより訓練されたモデルのリスクを統一的に解析する。
• 参考スコア（独自算出の注目度）: 8.797852602680445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we provide a unified analysis of the excess risk of the model trained by a proper algorithm with both smooth convex and non-convex loss functions. In contrast to the existing bounds in the literature that depends on iteration steps, our bounds to the excess risk do not diverge with the number of iterations. This underscores that, at least for smooth loss functions, the excess risk can be guaranteed after training. To get the bounds to excess risk, we develop a technique based on algorithmic stability and non-asymptotic characterization of the empirical risk landscape. The model obtained by a proper algorithm is proved to generalize with this technique. Specifically, for non-convex loss, the conclusion is obtained via the technique and analyzing the stability of a constructed auxiliary algorithm. Combining this with some properties of the empirical risk landscape, we derive converged upper bounds to the excess risk in both convex and non-convex regime with the help of some classical optimization results.
• Abstract（参考訳）: 本稿では,滑らかな凸損失関数と非凸損失関数の両方を持つ固有アルゴリズムによって訓練されたモデルの過剰リスクの統一的解析を行う。 イテレーションのステップに依存する文献の既存の境界とは対照的に、過剰なリスクに対する我々の境界はイテレーションの数に偏らない。 これは、少なくともスムースな損失関数に対しては、トレーニング後に過剰なリスクが保証されることを強調する。 リスクを過大にするために,アルゴリズムの安定性と非漸近的なリスクランドスケープのキャラクタリゼーションに基づく手法を開発した。 適切なアルゴリズムで得られたモデルは、この手法で一般化することが証明された。 特に,非凸損失に対しては,構築した補助アルゴリズムの安定性と手法を用いて結論を得る。 これを経験的リスクランドスケープのいくつかの性質と組み合わせることで、古典的な最適化結果の助けを借りて、凸型と非凸型の両方の過剰なリスクに収束した上限を導出する。

関連論文リスト

• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• OPSurv: Orthogonal Polynomials Quadrature Algorithm for Survival Analysis [19.65859820376036]
  本稿では、生存分析のための直交多項式四分法アルゴリズム(OPSurv)を紹介する。 OPSurvは、生存分析における単一のリスクシナリオと競合するリスクシナリオの両方に対して、時間連続的な機能出力を提供する。
  論文  参考訳（メタデータ） (2024-02-02T23:26:09Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Pitfall of Optimism: Distributional Reinforcement Learning by Randomizing Risk Criterion [9.35556128467037]
  本稿では,リスクの一方的な傾向を避けるために,リスク基準のランダム化によって行動を選択する新しい分散強化学習アルゴリズムを提案する。 理論的結果は,提案手法がバイアス探索に該当せず,最適回帰に収束することが保証されていることを裏付けるものである。
  論文  参考訳（メタデータ） (2023-10-25T10:53:04Z)
• Risk-aware linear bandits with convex loss [0.0]
  提案手法は, 線形帯域幅の一般化に類似した, 最適リスク認識動作を学習するための楽観的 UCB アルゴリズムを提案する。 このアプローチではアルゴリズムの各ラウンドで凸問題を解く必要があり、オンライン勾配降下法によって得られる近似解のみを許すことで緩和することができる。
  論文  参考訳（メタデータ） (2022-09-15T09:09:53Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
  リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。 特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。 迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
  論文  参考訳（メタデータ） (2022-05-10T19:40:52Z)
• A Unifying Theory of Thompson Sampling for Continuous Risk-Averse Bandits [91.3755431537592]
  本稿では,多腕バンディット問題に対するリスク-逆トンプソンサンプリングアルゴリズムの解析を統一する。 大規模偏差理論における収縮原理を用いることで、連続リスク汎関数に対する新しい濃度境界が証明される。 リスク関数の幅広いクラスと「ニセ」関数が連続性条件を満たすことを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:09:01Z)
• Risk-Constrained Thompson Sampling for CVaR Bandits [82.47796318548306]
  CVaR(Conditional Value at Risk)として知られる量的ファイナンスにおける一般的なリスク尺度について考察する。 本稿では,トンプソンサンプリングに基づくCVaR-TSアルゴリズムの性能について検討する。
  論文  参考訳（メタデータ） (2020-11-16T15:53:22Z)
• Entropic Risk Constrained Soft-Robust Policy Optimization [12.362670630646805]
  モデル不確実性によって引き起こされるリスクを定量化し、管理することは、高リスク領域において重要である。 本稿では,モデルの不確実性に対するリスクに反する,エントロピー的リスク制約付きポリシー勾配とアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-20T23:48:28Z)
• A Stochastic Subgradient Method for Distributionally Robust Non-Convex Learning [2.007262412327553]
  堅牢性は、基礎となるデータ分布の不確実性に関するものです。 本手法は摂動条件を満たすことに収束することを示す。 また、実際のデータセット上でのアルゴリズムの性能についても解説する。
  論文  参考訳（メタデータ） (2020-06-08T18:52:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。