論文の概要: Optimal algorithms for group distributionally robust optimization and
beyond
- arxiv url: http://arxiv.org/abs/2212.13669v1
- Date: Wed, 28 Dec 2022 02:45:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 16:11:54.509377
- Title: Optimal algorithms for group distributionally robust optimization and
beyond
- Title(参考訳): 群分布的ロバスト最適化のための最適アルゴリズム
- Authors: Tasuku Soma, Khashayar Gatmiry, Stefanie Jegelka
- Abstract要約: そこで我々は,グループDRO,サブポピュレーションフェアネス,経験的条件値などのDRO問題のクラスに対するアルゴリズムを考案した。
我々の新しいアルゴリズムは、複数のDRO設定のための既存のアルゴリズムよりも高速な収束率を実現する。
経験的にも、私たちのアルゴリズムは既知の手法よりも優れています。
- 参考スコア(独自算出の注目度): 48.693477387133484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributionally robust optimization (DRO) can improve the robustness and
fairness of learning methods. In this paper, we devise stochastic algorithms
for a class of DRO problems including group DRO, subpopulation fairness, and
empirical conditional value at risk (CVaR) optimization. Our new algorithms
achieve faster convergence rates than existing algorithms for multiple DRO
settings. We also provide a new information-theoretic lower bound that implies
our bounds are tight for group DRO. Empirically, too, our algorithms outperform
known methods
- Abstract(参考訳): 分散ロバスト最適化(DRO)は,学習手法の堅牢性と公平性を向上させる。
本稿では,グループDRO,サブポピュレーションフェアネス,およびCVaR(Experiical Conditional value at risk)最適化を含むDRO問題のクラスに対する確率的アルゴリズムを考案する。
我々の新しいアルゴリズムは、複数のDRO設定のための既存のアルゴリズムよりも高速な収束率を実現する。
また、新たな情報理論の下界も提供し、この境界はグループDROに対して厳密であることを示す。
経験的にも 我々のアルゴリズムは 既知の手法を上回っています
関連論文リスト
- A Primal-Dual Algorithm for Faster Distributionally Robust Optimization [12.311794669976047]
本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現するアルゴリズムである。
分類と回帰の数値的なベンチマークで理論的結果を支持する。
論文 参考訳(メタデータ) (2024-03-16T02:06:14Z) - Efficient Algorithms for Empirical Group Distributional Robust
Optimization and Beyond [15.664414751701718]
経験的GDROを$textittwo-level$ finite-sum convex-concave minimax Optimization問題として定式化する。
我々は、スナップショットとミラースナップショットポイントを1インデックスシフトした重み付き平均で計算し、単純エルゴディック平均と区別する。
注目すべきは、我々の手法が最先端の手法よりも$sqrtm$で優れていることだ。
論文 参考訳(メタデータ) (2024-03-06T09:14:24Z) - A Machine Learning Approach to Two-Stage Adaptive Robust Optimization [6.943816076962257]
本稿では,2段階線形適応ロバスト最適化問題の解法として,機械学習に基づくアプローチを提案する。
私たちは、最適な今と現在の決定、最適な今と現在の決定に関連する最悪のシナリオ、そして最適な待ちと見る決定をエンコードします。
私たちは、現在と現在の決定のための高品質な戦略、最適な今と現在の決定に関連する最悪のシナリオ、待機と見る決定を予測できる機械学習モデルをトレーニングします。
論文 参考訳(メタデータ) (2023-07-23T19:23:06Z) - Accelerating Cutting-Plane Algorithms via Reinforcement Learning
Surrogates [49.84541884653309]
凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。
多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。
そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
論文 参考訳(メタデータ) (2023-07-17T20:11:56Z) - New Probabilistic-Dynamic Multi-Method Ensembles for Optimization based
on the CRO-SL [1.7307692398051588]
本稿では,CRO-SLアルゴリズムを用いたサンサンブル生成手法を提案する。
第1の戦略は確率的CRO-SLであり、CRO-SL集団の基質を各個体に関連付けられたエムタグで置換する。
第2の戦略は動的確率 CRO-SL であり、タグ割り当ての確率はアルゴリズムの進化中に修正される。
論文 参考訳(メタデータ) (2022-11-30T15:05:19Z) - When AUC meets DRO: Optimizing Partial AUC for Deep Learning with
Non-Convex Convergence Guarantee [51.527543027813344]
単方向および二方向部分AUC(pAUC)の系統的および効率的な勾配法を提案する。
一方通行と一方通行の pAUC に対して,2つのアルゴリズムを提案し,それぞれ2つの定式化を最適化するための収束性を証明した。
論文 参考訳(メタデータ) (2022-03-01T01:59:53Z) - Focus on the Common Good: Group Distributional Robustness Follows [47.62596240492509]
本稿では,多様なグループ間で共有される特徴の学習を明示的に促進する,新しい,シンプルなアルゴリズムを提案する。
グループDROは、最低の正規化損失を持つグループに焦点を当て、代わりに、他のグループでもより良いパフォーマンスを実現するグループに焦点を当てるが、共有/共通機能を学ぶことにつながる可能性がある。
論文 参考訳(メタデータ) (2021-10-06T09:47:41Z) - DORO: Distributional and Outlier Robust Optimization [98.44757325531631]
本稿では,分散ロバスト最適化のためのDOROのフレームワークを提案する。
このアプローチのコアとなるのは、DROがオーバーフィットして潜在的な外れ値に収まらないような、洗練されたリスク関数である。
提案手法の有効性を理論的に証明し, DOROがDROの性能と安定性を向上することを示す。
論文 参考訳(メタデータ) (2021-06-11T02:59:54Z) - Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。
両レベル最適化のための2つの新しいアルゴリズムを提案する。
両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
論文 参考訳(メタデータ) (2021-06-08T21:05:30Z) - Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。
提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。
提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文 参考訳(メタデータ) (2020-02-20T22:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。