論文の概要: On Generalization and Regularization via Wasserstein Distributionally Robust Optimization

• arxiv url: http://arxiv.org/abs/2212.05716v1
• Date: Mon, 12 Dec 2022 05:48:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 18:16:29.746254
• Title: On Generalization and Regularization via Wasserstein Distributionally Robust Optimization
• Title（参考訳）: Wasserstein分布ロバスト最適化による一般化と正規化について
• Authors: Qinyu Wu, Jonathan Yu-Meng Li, Tiantian Mao
• Abstract要約: Wassersteinの分散ロバスト最適化(DRO)は、オペレーションリサーチと機械学習アプリケーションで成功している。 ワッセルシュタインDRO問題にアフィン決定規則で焦点を合わせることにより、一般化境界と正規化の同値性が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.5801044612920815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wasserstein distributionally robust optimization (DRO) has found success in operations research and machine learning applications as a powerful means to obtain solutions with favourable out-of-sample performances. Two compelling explanations for the success are the generalization bounds derived from Wasserstein DRO and the equivalency between Wasserstein DRO and the regularization scheme commonly applied in machine learning. Existing results on generalization bounds and the equivalency to regularization are largely limited to the setting where the Wasserstein ball is of a certain type and the decision criterion takes certain forms of an expected function. In this paper, we show that by focusing on Wasserstein DRO problems with affine decision rules, it is possible to obtain generalization bounds and the equivalency to regularization in a significantly broader setting where the Wasserstein ball can be of a general type and the decision criterion can be a general measure of risk, i.e., nonlinear in distributions. This allows for accommodating many important classification, regression, and risk minimization applications that have not been addressed to date using Wasserstein DRO. Our results are strong in that the generalization bounds do not suffer from the curse of dimensionality and the equivalency to regularization is exact. As a byproduct, our regularization results broaden considerably the class of Wasserstein DRO models that can be solved efficiently via regularization formulations.
• Abstract（参考訳）: wasserstein distributionally robust optimization (dro) は、運用研究や機械学習アプリケーションで成功し、サンプル外のパフォーマンスに有利なソリューションを得るための強力な手段となった。 この成功の2つの説得力ある説明は、ワッサーシュタイン DRO から導かれる一般化境界と、ワッサースタイン DRO と機械学習によく適用される正規化スキームの等価性である。 一般化境界と正規化の同値性に関する既存の結果は、wasserstein球が特定の型であり、決定基準が期待される関数の特定の形を取るような設定に限定されている。 本稿では,アフィン決定規則を伴うwasserstein dro問題に焦点をあてることで,wasserstein球が一般型であり,決定基準がリスクの一般的な尺度,すなわち非線形分布となるような,かなり広い設定で一般化境界と正規化の等価性を得ることができることを示す。 これにより、wasserstein droを使用していない多くの重要な分類、回帰、リスク最小化アプリケーションに対応することができる。 我々の結果は、一般化境界は次元性の呪いに苦しめられず、正規化の同値性は正確であるという点で強い。 副産物として、我々の正規化結果は、正規化定式化によって効率的に解けるワッサーシュタイン DRO モデルのクラスを大きく広げた。

関連論文リスト

• Universal generalization guarantees for Wasserstein distributionally robust models [10.036727981085223]
  分散ロバストな最適化は、堅牢な機械学習モデルをトレーニングする魅力的な方法として登場した。 最近の統計分析により、ワッサーシュタイン距離に基づくロバストモデルの一般化保証が、次元の呪いに苦しむことのない一般化保証を持つことが証明された。 我々は、任意の輸送コストとパラメトリック損失関数を伴って、幅広いケースをカバーする正確な一般化保証を確立する。
  論文  参考訳（メタデータ） (2024-02-19T09:27:47Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Tangential Wasserstein Projections [0.4297070083645048]
  2-ワッサーシュタイン空間の幾何学的性質を用いた確率測度の集合間の射影の概念を開発する。 この考え方は、一般化された測地学を用いて、ワッサーシュタイン空間の正接円錐に取り組むことである。
  論文  参考訳（メタデータ） (2022-07-29T14:59:58Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
  分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。 我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。 特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
  論文  参考訳（メタデータ） (2021-06-21T15:19:52Z)
• Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
  本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2021-05-24T02:21:34Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)
• Stein Variational Model Predictive Control [130.60527864489168]
  不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。 モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。 この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
  論文  参考訳（メタデータ） (2020-11-15T22:36:59Z)
• Finite-Sample Guarantees for Wasserstein Distributionally Robust Optimization: Breaking the Curse of Dimensionality [5.888646114353371]
  ワッサーシュタインの分布的ロバストな最適化は、ワッサーシュタイン距離におけるデータ摂動に逆らって頑健で一般化可能な解を求めることを目的としている。 既存の一般的な損失関数のパフォーマンス保証は、次元の呪いのために過度に保守的であるか、大きなサンプルの複雑さでしか証明できない。 We developed a non-asymptotic framework for the out-of-sample performance for Wasserstein robust learning and the generalization bound for its related Lipschitz and gradient regularization problem。
  論文  参考訳（メタデータ） (2020-09-09T16:02:57Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。