論文の概要: Large-Scale Non-convex Stochastic Constrained Distributionally Robust Optimization

• arxiv url: http://arxiv.org/abs/2404.01200v1
• Date: Mon, 1 Apr 2024 15:56:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 21:55:47.485165
• Title: Large-Scale Non-convex Stochastic Constrained Distributionally Robust Optimization
• Title（参考訳）: 大規模非凸確率制約分布ロバスト最適化
• Authors: Qi Zhang, Yi Zhou, Ashley Prater-Bennette, Lixin Shen, Shaofeng Zou,
• Abstract要約: 本稿では、その性能のロバスト性を明確に評価した制約付きDROに焦点を当てる。 各$chi2$-divergencesポイント$におけるアルゴリズムの複雑さは、データセットサイズが独立しているため、大規模アプリケーションに適している。
• 参考スコア（独自算出の注目度）: 23.029511473335145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributionally robust optimization (DRO) is a powerful framework for training robust models against data distribution shifts. This paper focuses on constrained DRO, which has an explicit characterization of the robustness level. Existing studies on constrained DRO mostly focus on convex loss function, and exclude the practical and challenging case with non-convex loss function, e.g., neural network. This paper develops a stochastic algorithm and its performance analysis for non-convex constrained DRO. The computational complexity of our stochastic algorithm at each iteration is independent of the overall dataset size, and thus is suitable for large-scale applications. We focus on the general Cressie-Read family divergence defined uncertainty set which includes $\chi^2$-divergences as a special case. We prove that our algorithm finds an $\epsilon$-stationary point with a computational complexity of $\mathcal O(\epsilon^{-3k_*-5})$, where $k_*$ is the parameter of the Cressie-Read divergence. The numerical results indicate that our method outperforms existing methods.} Our method also applies to the smoothed conditional value at risk (CVaR) DRO.
• Abstract（参考訳）: 分散ロバスト最適化(DRO)は、データ分散シフトに対してロバストモデルをトレーニングするための強力なフレームワークである。 本稿では、ロバスト性レベルを明確に評価した制約付きDROに焦点を当てる。 制約付きDROの既存の研究は、主に凸損失関数に注目し、非凸損失関数(例えばニューラルネットワーク)の実用的で挑戦的なケースを除外している。 本稿では,非凸制約DROに対する確率的アルゴリズムとその性能解析について述べる。 各繰り返しにおける確率的アルゴリズムの計算複雑性は、全体のデータセットサイズに依存しないので、大規模アプリケーションに適している。 我々は、特別な場合として$\chi^2$-divergencesを含む一般的なCressie-Read族分岐定義の不確実性集合に焦点を当てる。 計算複雑性が$\mathcal O(\epsilon^{-3k_*-5})$, $k_*$はCressie-Read分散のパラメータであることを示す。 その結果,本手法は既存の手法よりも優れていることがわかった。 また,本手法はCVaRDROのスムーズな条件値にも適用可能である。

関連論文リスト

• A Primal-Dual Algorithm for Faster Distributionally Robust Optimization [12.311794669976047]
  本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現するアルゴリズムである。 分類と回帰の数値的なベンチマークで理論的結果を支持する。
  論文  参考訳（メタデータ） (2024-03-16T02:06:14Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Improved Sample Complexity Bounds for Distributionally Robust Reinforcement Learning [3.222802562733787]
  トレーニング環境とテスト環境のパラメータミスマッチに対して頑健な制御ポリシーを学習することの問題点を考察する。 本研究では,4つの異なる発散によって特定される不確実性集合に対して,ロバスト位相値学習(RPVL)アルゴリズムを提案する。 提案アルゴリズムは,既存の結果より一様によいサンプル複雑性を$tildemathcalO(|mathcalSmathcalA| H5)$とする。
  論文  参考訳（メタデータ） (2023-03-05T21:47:08Z)
• Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
  ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。 本稿では,2種類のミニマックスアルゴリズムを提案する。 そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
  論文  参考訳（メタデータ） (2023-02-08T01:42:45Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Stochastic Constrained DRO with a Complexity Independent of Sample Size [38.56406595022129]
  クルバック分散制約DRO問題の解法として,非凸損失と凸損失の両方に適用可能なアルゴリズムを提案し,解析する。 非損失に対する$$$ilon定常解を見つけるのにほぼ最適な複雑さを確立し、広いアプリケーションに最適な解を求めるのに最適なバッチの複雑さを確立します。
  論文  参考訳（メタデータ） (2022-10-11T19:11:19Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis [16.499651513178012]
  分散ロバスト最適化(DRO)は、分散シフトに対してロバストなモデルを学ぶために広く使われている手法である。 目的関数はおそらく非滑らかであり,正規化勾配降下を有するにもかかわらず,非漸近収束を保証する。
  論文  参考訳（メタデータ） (2021-10-24T14:56:38Z)
• Distributionally Robust Optimization with Markovian Data [8.126833795693699]
  本研究では,不確実な問題パラメータの確率分布が不明なプログラムについて検討する。 本稿では,問題の目的関数と最適解を推定するために,データ駆動型分布法を提案する。
  論文  参考訳（メタデータ） (2021-06-12T10:59:02Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。