論文の概要: Efficient Stochastic Approximation of Minimax Excess Risk Optimization
- arxiv url: http://arxiv.org/abs/2306.00026v1
- Date: Wed, 31 May 2023 02:21:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 20:37:55.794435
- Title: Efficient Stochastic Approximation of Minimax Excess Risk Optimization
- Title（参考訳）: ミニマックス超過リスク最適化の効率的な確率近似
- Authors: Lijun Zhang, Wei-Wei Tu
- Abstract要約: 最小極超過リスク最適化(MERO)は、異なる分布における異種ノイズの影響を抑制する利点がある。
我々はMEROを直接対象とする効率的な近似手法を開発した。
最小リスクの推定誤差に起因するバイアスが制御下にあることを示す。
- 参考スコア（独自算出の注目度）: 38.56907677356602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While traditional distributionally robust optimization (DRO) aims to minimize
the maximal risk over a set of distributions, Agarwal and Zhang (2022) recently
proposed a variant that replaces risk with excess risk. Compared to DRO, the
new formulation -- minimax excess risk optimization (MERO) has the advantage of
suppressing the effect of heterogeneous noise in different distributions.
However, the choice of excess risk leads to a very challenging minimax
optimization problem, and currently there exists only an inefficient algorithm
for empirical MERO. In this paper, we develop efficient stochastic
approximation approaches which directly target MERO. Specifically, we leverage
techniques from stochastic convex optimization to estimate the minimal risk of
every distribution, and solve MERO as a stochastic convex-concave optimization
(SCCO) problem with biased gradients. The presence of bias makes existing
theoretical guarantees of SCCO inapplicable, and fortunately, we demonstrate
that the bias, caused by the estimation error of the minimal risk, is
under-control. Thus, MERO can still be optimized with a nearly optimal
convergence rate. Moreover, we investigate a practical scenario where the
quantity of samples drawn from each distribution may differ, and propose a
stochastic approach that delivers distribution-dependent convergence rates.
- Abstract（参考訳）: 従来の分散ロバスト最適化(DRO)は、分布の集合に対する最大リスクを最小限にすることを目的としているが、Agarwal と Zhang (2022) は先日、リスクを過剰リスクに置き換える変種を提案した。
DROと比較して、新しい定式化 -- 最小極超過リスク最適化(MERO)は、異なる分布における異種ノイズの影響を抑制する利点がある。
しかし、過剰リスクの選択は、非常に困難なミニマックス最適化問題を引き起こし、現在、経験的MEROの非効率アルゴリズムが存在するのみである。
本稿では,MEROを直接対象とする効率的な確率近似手法を提案する。
具体的には,各分布の最小リスクを推定するために,確率凸最適化の手法を活用し,偏り勾配を持つ確率凸凹最適化(SCCO)問題としてMEROを解く。
バイアスの存在は、SCCOの理論的保証を適用不可能にし、幸運なことに、最小リスクの推定誤差に起因するバイアスが制御下にあることを実証する。
したがって、MEROは依然としてほぼ最適な収束速度で最適化することができる。
さらに,各分布から抽出した試料の量が異なる場合の実用シナリオを考察し,分布依存性の収束率を提供する確率的アプローチを提案する。
関連論文リスト
- Zeroth-Order Stochastic Mirror Descent Algorithms for Minimax Excess Risk Optimization [3.802030070947573]
滑らかかつ非滑らかなMEROに対してゼロ階ミラー降下(ZO-SMD)アルゴリズムを提案する。
提案アルゴリズムは, 最適収束率$mathcalOleft (1/sqrttright)$と$mathcalOleft (1/sqrttright)$を, 滑らかかつ非滑らかなMEROの最適化誤差$で収束することが証明された。
論文 参考訳（メタデータ） (2024-08-22T08:35:41Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳（メタデータ） (2023-12-07T15:55:58Z) - Pitfall of Optimism: Distributional Reinforcement Learning by
Randomizing Risk Criterion [9.35556128467037]
本稿では,リスクの一方的な傾向を避けるために,リスク基準のランダム化によって行動を選択する新しい分散強化学習アルゴリズムを提案する。
理論的結果は,提案手法がバイアス探索に該当せず,最適回帰に収束することが保証されていることを裏付けるものである。
論文 参考訳（メタデータ） (2023-10-25T10:53:04Z) - Domain Generalization without Excess Empirical Risk [83.26052467843725]
一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。
我々は、このレシピの重大な失敗モードは、共同最適化における誤ったペナルティや難しさによる過度なリスクであると主張している。
我々は,この問題を解消するアプローチを提案し,経験的リスクと刑罰を同時に最小化する代わりに,経験的リスクの最適性の制約の下でのペナルティを最小化する。
論文 参考訳（メタデータ） (2023-08-30T08:46:46Z) - Out-of-Distribution Optimality of Invariant Risk Minimization [20.389816785165333]
不変リスク最小化(IRM)は、o.o.d.リスクを最小化するための有望なアプローチであると考えられている。
本稿では、二段階最適化問題の解が特定の条件下でのo.o.d.リスクを最小限に抑えることを厳密に証明する。
論文 参考訳（メタデータ） (2023-07-22T03:31:15Z) - On the Variance, Admissibility, and Stability of Empirical Risk
Minimization [80.26309576810844]
2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。
軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。
また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
論文 参考訳（メタデータ） (2023-05-29T15:25:48Z) - Distributed Distributionally Robust Optimization with Non-Convex
Objectives [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳（メタデータ） (2022-10-14T07:39:13Z) - Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
まず、適応性ギャップを明示的に考慮した一般化境界を確立する。
本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。
もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
論文 参考訳（メタデータ） (2022-08-18T06:42:49Z) - Risk-averse Heteroscedastic Bayesian Optimization [45.12421486836736]
リスク回避型ヘテロセダスティックベイズ最適化アルゴリズム(RAHBO)を提案する。
RAHBOは、ハイリターンと低ノイズ分散の解を、ハエの騒音分布を学習しながら同定することを目的としている。
単一のソリューションのみを識別しなければならないアプリケーションに対して、最終的な決定ポイントを報告するための堅牢なルールを提供します。
論文 参考訳（メタデータ） (2021-11-05T17:38:34Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。