Fugu-MT 論文翻訳(概要): Optimal algorithms for group distributionally robust optimization and beyond

論文の概要: Optimal algorithms for group distributionally robust optimization and beyond

arxiv url: http://arxiv.org/abs/2212.13669v1
Date: Wed, 28 Dec 2022 02:45:46 GMT
ステータス: 翻訳完了
システム内更新日: 2022-12-29 16:11:54.509377
Title: Optimal algorithms for group distributionally robust optimization and beyond
Title（参考訳）: 群分布的ロバスト最適化のための最適アルゴリズム
Authors: Tasuku Soma, Khashayar Gatmiry, Stefanie Jegelka
Abstract要約: そこで我々は,グループDRO,サブポピュレーションフェアネス,経験的条件値などのDRO問題のクラスに対するアルゴリズムを考案した。我々の新しいアルゴリズムは、複数のDRO設定のための既存のアルゴリズムよりも高速な収束率を実現する。経験的にも、私たちのアルゴリズムは既知の手法よりも優れています。
参考スコア（独自算出の注目度）: 48.693477387133484
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Distributionally robust optimization (DRO) can improve the robustness and fairness of learning methods. In this paper, we devise stochastic algorithms for a class of DRO problems including group DRO, subpopulation fairness, and empirical conditional value at risk (CVaR) optimization. Our new algorithms achieve faster convergence rates than existing algorithms for multiple DRO settings. We also provide a new information-theoretic lower bound that implies our bounds are tight for group DRO. Empirically, too, our algorithms outperform known methods
Abstract（参考訳）: 分散ロバスト最適化(DRO)は,学習手法の堅牢性と公平性を向上させる。本稿では,グループDRO,サブポピュレーションフェアネス,およびCVaR(Experiical Conditional value at risk)最適化を含むDRO問題のクラスに対する確率的アルゴリズムを考案する。我々の新しいアルゴリズムは、複数のDRO設定のための既存のアルゴリズムよりも高速な収束率を実現する。また、新たな情報理論の下界も提供し、この境界はグループDROに対して厳密であることを示す。経験的にも我々のアルゴリズムは既知の手法を上回っています

関連論文リスト

RL-finetuning LLMs from on- and off-policy data with a single algorithm [53.70731390624718]
大規模言語モデルを微調整するための新しい強化学習アルゴリズム(AGRO)を提案する。 AGROは生成整合性の概念を利用しており、最適ポリシーはモデルの任意の世代間での整合性の概念を満たすと述べている。サンプルベースの政策勾配による最適解を求めるアルゴリズムを導出し,その収束に関する理論的保証を提供する。
論文参考訳（メタデータ） (2025-03-25T12:52:38Z)
A Primal-Dual Algorithm for Faster Distributionally Robust Optimization [12.311794669976047]
本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現するアルゴリズムである。分類と回帰の数値的なベンチマークで理論的結果を支持する。
論文参考訳（メタデータ） (2024-03-16T02:06:14Z)
Efficient Algorithms for Empirical Group Distributional Robust Optimization and Beyond [15.664414751701718]
経験的GDROを$textittwo-level$ finite-sum convex-concave minimax Optimization問題として定式化する。我々は、スナップショットとミラースナップショットポイントを1インデックスシフトした重み付き平均で計算し、単純エルゴディック平均と区別する。注目すべきは、我々の手法が最先端の手法よりも$sqrtm$で優れていることだ。
論文参考訳（メタデータ） (2024-03-06T09:14:24Z)
A Near-Optimal Single-Loop Stochastic Algorithm for Convex Finite-Sum Coupled Compositional Optimization [53.14532968909759]
ALEXRと呼ばれる,効率的な単ループプリマル・デュアルブロック座標アルゴリズムを提案する。本研究では, ALEXR の凸面および強凸面の収束速度を滑らか性および非滑らか性条件下で確立する。 CFCCO の ROC 曲線の下での GDRO および部分領域の実験結果から,提案アルゴリズムの有望な性能を示す。
論文参考訳（メタデータ） (2023-12-04T19:00:07Z)
A Machine Learning Approach to Two-Stage Adaptive Robust Optimization [6.943816076962257]
本稿では,2段階線形適応ロバスト最適化問題の解法として,機械学習に基づくアプローチを提案する。私たちは、最適な今と現在の決定、最適な今と現在の決定に関連する最悪のシナリオ、そして最適な待ちと見る決定をエンコードします。私たちは、現在と現在の決定のための高品質な戦略、最適な今と現在の決定に関連する最悪のシナリオ、待機と見る決定を予測できる機械学習モデルをトレーニングします。
論文参考訳（メタデータ） (2023-07-23T19:23:06Z)
Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
論文参考訳（メタデータ） (2023-07-17T20:11:56Z)
Hedging Complexity in Generalization via a Parametric Distributionally Robust Optimization Framework [18.6306170209029]
経験的リスク最小化(ERM)と分散ロバスト最適化(DRO)は最適化問題の解法として一般的な手法である。本稿では,パラメトリックな分布系列を用いて乱摂動分布を近似する簡単な手法を提案する。この新たな誤差源は適切なDRO定式化によって制御可能であることを示す。
論文参考訳（メタデータ） (2022-12-03T03:26:34Z)
New Probabilistic-Dynamic Multi-Method Ensembles for Optimization based on the CRO-SL [1.7307692398051588]
本稿では,CRO-SLアルゴリズムを用いたサンサンブル生成手法を提案する。第1の戦略は確率的CRO-SLであり、CRO-SL集団の基質を各個体に関連付けられたエムタグで置換する。第2の戦略は動的確率 CRO-SL であり、タグ割り当ての確率はアルゴリズムの進化中に修正される。
論文参考訳（メタデータ） (2022-11-30T15:05:19Z)
Scalable Distributional Robustness in a Class of Non Convex Optimization with Guarantees [7.541571634887807]
分散ロバスト最適化 (DRO) は, サンプルベース問題と同様に, 学習におけるロバスト性を示す。実世界における課題を解くのに十分ではない混合整数クラスタリングプログラム (MISOCP) を提案する。
論文参考訳（メタデータ） (2022-05-31T09:07:01Z)
When AUC meets DRO: Optimizing Partial AUC for Deep Learning with Non-Convex Convergence Guarantee [51.527543027813344]
単方向および二方向部分AUC(pAUC)の系統的および効率的な勾配法を提案する。一方通行と一方通行の pAUC に対して,2つのアルゴリズムを提案し,それぞれ2つの定式化を最適化するための収束性を証明した。
論文参考訳（メタデータ） (2022-03-01T01:59:53Z)
Focus on the Common Good: Group Distributional Robustness Follows [47.62596240492509]
本稿では,多様なグループ間で共有される特徴の学習を明示的に促進する,新しい,シンプルなアルゴリズムを提案する。グループDROは、最低の正規化損失を持つグループに焦点を当て、代わりに、他のグループでもより良いパフォーマンスを実現するグループに焦点を当てるが、共有/共通機能を学ぶことにつながる可能性がある。
論文参考訳（メタデータ） (2021-10-06T09:47:41Z)
DORO: Distributional and Outlier Robust Optimization [98.44757325531631]
本稿では,分散ロバスト最適化のためのDOROのフレームワークを提案する。このアプローチのコアとなるのは、DROがオーバーフィットして潜在的な外れ値に収まらないような、洗練されたリスク関数である。提案手法の有効性を理論的に証明し, DOROがDROの性能と安定性を向上することを示す。
論文参考訳（メタデータ） (2021-06-11T02:59:54Z)
Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。両レベル最適化のための2つの新しいアルゴリズムを提案する。両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
論文参考訳（メタデータ） (2021-06-08T21:05:30Z)
Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文参考訳（メタデータ） (2020-02-20T22:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。