Fugu-MT 論文翻訳(概要): A Primal-Dual Algorithm for Faster Distributionally Robust Optimization

論文の概要: A Primal-Dual Algorithm for Faster Distributionally Robust Optimization

arxiv url: http://arxiv.org/abs/2403.10763v1
Date: Sat, 16 Mar 2024 02:06:14 GMT
ステータス: 処理完了
システム内更新日: 2024-03-19 21:54:53.895103
Title: A Primal-Dual Algorithm for Faster Distributionally Robust Optimization
Title（参考訳）: 高速分布ロバスト最適化のためのプリマル双対アルゴリズム
Authors: Ronak Mehta, Jelena Diakonikolas, Zaid Harchaoui,
Abstract要約: 本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現するアルゴリズムである。分類と回帰の数値的なベンチマークで理論的結果を支持する。
参考スコア（独自算出の注目度）: 12.311794669976047
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider the penalized distributionally robust optimization (DRO) problem with a closed, convex uncertainty set, a setting that encompasses the $f$-DRO, Wasserstein-DRO, and spectral/$L$-risk formulations used in practice. We present Drago, a stochastic primal-dual algorithm that achieves a state-of-the-art linear convergence rate on strongly convex-strongly concave DRO problems. The method combines both randomized and cyclic components with mini-batching, which effectively handles the unique asymmetric nature of the primal and dual problems in DRO. We support our theoretical results with numerical benchmarks in classification and regression.
Abstract（参考訳）: 我々は、閉じた凸不確実性セットと、$f$-DRO、Wasserstein-DRO、および実際に使用されるスペクトル/$L$-riskの定式化を含む設定を含む、ペナル化された分散ロバスト最適化(DRO)問題を考察する。本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現する確率的原始双対アルゴリズムである。この方法はランダム化成分と巡回成分の両方をミニバッチ化と組み合わせ、DROにおける原始問題と双対問題の特異な非対称性を効果的に扱う。分類と回帰の数値的なベンチマークで理論的結果を支持する。

関連論文リスト

Large-Scale Non-convex Stochastic Constrained Distributionally Robust Optimization [23.029511473335145]
本稿では、その性能のロバスト性を明確に評価した制約付きDROに焦点を当てる。各$chi2$-divergencesポイント$におけるアルゴリズムの複雑さは、データセットサイズが独立しているため、大規模アプリケーションに適している。
論文参考訳（メタデータ） (2024-04-01T15:56:58Z)
Analysis of Kernel Mirror Prox for Measure Optimization [4.6080589718744305]
我々は、MFNE(Mixed Functional Nash Equilibrium)と呼ばれる機能的サドル点最適化問題のクラスを統一したフレームワークで研究する。我々は,サドル点最適化力学を相互作用するFisher-Rao-RKHS勾配流としてモデル化する。このクラス MFNE 問題の無限次元設定において、KMP の統一収束解析を提供する。
論文参考訳（メタデータ） (2024-02-29T21:55:17Z)
ALEXR: An Optimal Single-Loop Algorithm for Convex Finite-Sum Coupled Compositional Stochastic Optimization [53.14532968909759]
ALEXRと呼ばれる,効率的な単ループプリマルデュアルブロックコーディネートアルゴリズムを提案する。本研究では, ALEXR の凸面および強凸面の収束速度を滑らか性および非滑らか性条件下で確立する。本稿では,ALEXRの収束速度が,検討されたcFCCO問題に対する1次ブロック座標アルゴリズムの中で最適であることを示すために,より低い複雑性境界を示す。
論文参考訳（メタデータ） (2023-12-04T19:00:07Z)
Stochastic Constrained DRO with a Complexity Independent of Sample Size [38.56406595022129]
クルバック分散制約DRO問題の解法として,非凸損失と凸損失の両方に適用可能なアルゴリズムを提案し,解析する。非損失に対する$$$ilon定常解を見つけるのにほぼ最適な複雑さを確立し、広いアプリケーションに最適な解を求めるのに最適なバッチの複雑さを確立します。
論文参考訳（メタデータ） (2022-10-11T19:11:19Z)
When AUC meets DRO: Optimizing Partial AUC for Deep Learning with Non-Convex Convergence Guarantee [51.527543027813344]
単方向および二方向部分AUC(pAUC)の系統的および効率的な勾配法を提案する。一方通行と一方通行の pAUC に対して,2つのアルゴリズムを提案し,それぞれ2つの定式化を最適化するための収束性を証明した。
論文参考訳（メタデータ） (2022-03-01T01:59:53Z)
Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis [16.499651513178012]
分散ロバスト最適化(DRO)は、分散シフトに対してロバストなモデルを学ぶために広く使われている手法である。目的関数はおそらく非滑らかであり,正規化勾配降下を有するにもかかわらず,非漸近収束を保証する。
論文参考訳（メタデータ） (2021-10-24T14:56:38Z)
Sinkhorn Distributionally Robust Optimization [15.194516549163245]
一般名詞分布,輸送コスト,損失関数に対する凸プログラミング二重再構成を導出する。 Wasserstein DROと比較して,提案手法はより広範な損失関数のクラスに対して,計算的トラクタビリティの向上を提供する。
論文参考訳（メタデータ） (2021-09-24T12:40:48Z)
Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文参考訳（メタデータ） (2021-07-02T16:21:52Z)
Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
論文参考訳（メタデータ） (2020-10-12T17:41:44Z)
An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文参考訳（メタデータ） (2020-06-17T20:19:25Z)
Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文参考訳（メタデータ） (2020-02-20T22:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。