Fugu-MT 論文翻訳(概要): A Primal-Dual Algorithm for Faster Distributionally Robust Optimization

論文の概要: A Primal-Dual Algorithm for Faster Distributionally Robust Optimization

arxiv url: http://arxiv.org/abs/2403.10763v1
Date: Sat, 16 Mar 2024 02:06:14 GMT
ステータス: 処理完了
システム内更新日: 2024-03-19 21:54:53.895103
Title: A Primal-Dual Algorithm for Faster Distributionally Robust Optimization
Title（参考訳）: 高速分布ロバスト最適化のためのプリマル双対アルゴリズム
Authors: Ronak Mehta, Jelena Diakonikolas, Zaid Harchaoui,
Abstract要約: 本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現するアルゴリズムである。分類と回帰の数値的なベンチマークで理論的結果を支持する。
参考スコア（独自算出の注目度）: 12.311794669976047
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider the penalized distributionally robust optimization (DRO) problem with a closed, convex uncertainty set, a setting that encompasses the $f$-DRO, Wasserstein-DRO, and spectral/$L$-risk formulations used in practice. We present Drago, a stochastic primal-dual algorithm that achieves a state-of-the-art linear convergence rate on strongly convex-strongly concave DRO problems. The method combines both randomized and cyclic components with mini-batching, which effectively handles the unique asymmetric nature of the primal and dual problems in DRO. We support our theoretical results with numerical benchmarks in classification and regression.
Abstract（参考訳）: 我々は、閉じた凸不確実性セットと、$f$-DRO、Wasserstein-DRO、および実際に使用されるスペクトル/$L$-riskの定式化を含む設定を含む、ペナル化された分散ロバスト最適化(DRO)問題を考察する。本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現する確率的原始双対アルゴリズムである。この方法はランダム化成分と巡回成分の両方をミニバッチ化と組み合わせ、DROにおける原始問題と双対問題の特異な非対称性を効果的に扱う。分類と回帰の数値的なベンチマークで理論的結果を支持する。

関連論文リスト

Large-Scale Non-convex Stochastic Constrained Distributionally Robust Optimization [23.029511473335145]
本稿では、その性能のロバスト性を明確に評価した制約付きDROに焦点を当てる。各$chi2$-divergencesポイント$におけるアルゴリズムの複雑さは、データセットサイズが独立しているため、大規模アプリケーションに適している。
論文参考訳（メタデータ） (2024-04-01T15:56:58Z)
ALEXR: An Optimal Single-Loop Algorithm for Convex Finite-Sum Coupled Compositional Stochastic Optimization [53.14532968909759]
ALEXRと呼ばれる,効率的な単ループプリマルデュアルブロックコーディネートアルゴリズムを提案する。本研究では, ALEXR の凸面および強凸面の収束速度を滑らか性および非滑らか性条件下で確立する。本稿では,ALEXRの収束速度が,検討されたcFCCO問題に対する1次ブロック座標アルゴリズムの中で最適であることを示すために,より低い複雑性境界を示す。
論文参考訳（メタデータ） (2023-12-04T19:00:07Z)
Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
論文参考訳（メタデータ） (2023-10-21T00:03:54Z)
Federated Distributionally Robust Optimization with Non-Convex Objectives: Algorithm and Analysis [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文参考訳（メタデータ） (2023-07-25T01:56:57Z)
DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
論文参考訳（メタデータ） (2022-08-29T18:01:42Z)
Doubly Robust Distributionally Robust Off-Policy Evaluation and Learning [59.02006924867438]
オフ政治評価と学習(OPE/L)は、オフラインの観察データを使用してより良い意思決定を行う。近年の研究では、分散ロバストなOPE/L (DROPE/L) が提案されているが、この提案は逆正則重み付けに依存している。 KL分散不確実性集合を用いたDROPE/Lの最初のDRアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-02-19T20:00:44Z)
Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis [16.499651513178012]
分散ロバスト最適化(DRO)は、分散シフトに対してロバストなモデルを学ぶために広く使われている手法である。目的関数はおそらく非滑らかであり,正規化勾配降下を有するにもかかわらず,非漸近収束を保証する。
論文参考訳（メタデータ） (2021-10-24T14:56:38Z)
Sinkhorn Distributionally Robust Optimization [15.194516549163245]
一般名詞分布,輸送コスト,損失関数に対する凸プログラミング二重再構成を導出する。 Wasserstein DROと比較して,提案手法はより広範な損失関数のクラスに対して,計算的トラクタビリティの向上を提供する。
論文参考訳（メタデータ） (2021-09-24T12:40:48Z)
Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
論文参考訳（メタデータ） (2021-02-23T18:56:13Z)
Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
論文参考訳（メタデータ） (2020-10-12T17:41:44Z)
Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文参考訳（メタデータ） (2020-02-20T22:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。