論文の概要: On Generalization and Regularization via Wasserstein Distributionally Robust Optimization

• arxiv url: http://arxiv.org/abs/2212.05716v2
• Date: Thu, 19 Dec 2024 20:39:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:20:01.957450
• Title: On Generalization and Regularization via Wasserstein Distributionally Robust Optimization
• Title（参考訳）: Wasserstein分布ロバスト最適化による一般化と正規化について
• Authors: Qinyu Wu, Jonathan Yu-Meng Li, Tiantian Mao,
• Abstract要約: Wassersteinの分散ロバスト最適化(DRO)は、オペレーションリサーチと機械学習で注目されている。 一般化境界と正則化同値性は,より広い設定で得られることを示す。
• 参考スコア（独自算出の注目度）: 0.1843404256219181
• License:
• Abstract: Wasserstein distributionally robust optimization (DRO) has gained prominence in operations research and machine learning as a powerful method for achieving solutions with favorable out-of-sample performance. Two compelling explanations for its success are the generalization bounds derived from Wasserstein DRO and its equivalence to regularization schemes commonly used in machine learning. However, existing results on generalization bounds and regularization equivalence are largely limited to settings where the Wasserstein ball is of a specific type, and the decision criterion takes certain forms of expected functions. In this paper, we show that generalization bounds and regularization equivalence can be obtained in a significantly broader setting, where the Wasserstein ball is of a general type and the decision criterion accommodates any form, including general risk measures. This not only addresses important machine learning and operations management applications but also expands to general decision-theoretical frameworks previously unaddressed by Wasserstein DRO. Our results are strong in that the generalization bounds do not suffer from the curse of dimensionality and the equivalency to regularization is exact. As a by-product, we show that Wasserstein DRO coincides with the recent max-sliced Wasserstein DRO for {\it any} decision criterion under affine decision rules -- resulting in both being efficiently solvable as convex programs via our general regularization results. These general assurances provide a strong foundation for expanding the application of Wasserstein DRO across diverse domains of data-driven decision problems.
• Abstract（参考訳）: Wassersteinの分散ロバスト最適化(DRO)は、優れたアウトオブサンプル性能でソリューションを実現するための強力な方法として、オペレーションリサーチと機械学習で注目されている。 その成功の2つの説得力ある説明は、ワッサーシュタイン DRO から導かれる一般化境界と、機械学習でよく使われる正規化スキームへの同値性である。 しかし、一般化境界と正則化同値に関する既存の結果は、ワッサーシュタイン球が特定の型であるような設定に限られており、決定基準は期待される関数のある種の形式を取る。 本稿では,ワッサースタイン球が一般型であり,決定基準が一般リスク対策を含む任意の形態に対応するような,一般化境界と正則化等価性が得られることを示す。 これは、重要な機械学習および運用管理アプリケーションに対処するだけでなく、Wasserstein DROによって以前は規定されていなかった一般的な決定論的フレームワークにも拡張される。 我々の結果は、一般化境界は次元性の呪いに苦しめられず、正規化の同値性は正確であるという点で強い。 副生成物として、ワッサーシュタイン DRO はアフィン決定規則の下での最近の最大スライスされたワッサースタイン DRO と一致することが示される。 これらの一般的な保証は、データ駆動決定問題の様々な領域にまたがるWasserstein DROの適用を拡大するための強力な基盤を提供する。

関連論文リスト

• Universal generalization guarantees for Wasserstein distributionally robust models [10.036727981085223]
  分散ロバストな最適化は、堅牢な機械学習モデルをトレーニングする魅力的な方法として登場した。 最近の統計分析により、ワッサーシュタイン距離に基づくロバストモデルの一般化保証が、次元の呪いに苦しむことのない一般化保証を持つことが証明された。 我々は、任意の輸送コストとパラメトリック損失関数を伴って、幅広いケースをカバーする正確な一般化保証を確立する。
  論文  参考訳（メタデータ） (2024-02-19T09:27:47Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Tangential Wasserstein Projections [0.4297070083645048]
  2-ワッサーシュタイン空間の幾何学的性質を用いた確率測度の集合間の射影の概念を開発する。 この考え方は、一般化された測地学を用いて、ワッサーシュタイン空間の正接円錐に取り組むことである。
  論文  参考訳（メタデータ） (2022-07-29T14:59:58Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
  分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。 我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。 特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
  論文  参考訳（メタデータ） (2021-06-21T15:19:52Z)
• Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
  本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2021-05-24T02:21:34Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)
• Stein Variational Model Predictive Control [130.60527864489168]
  不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。 モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。 この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
  論文  参考訳（メタデータ） (2020-11-15T22:36:59Z)
• Finite-Sample Guarantees for Wasserstein Distributionally Robust Optimization: Breaking the Curse of Dimensionality [5.888646114353371]
  ワッサーシュタインの分布的ロバストな最適化は、ワッサーシュタイン距離におけるデータ摂動に逆らって頑健で一般化可能な解を求めることを目的としている。 既存の一般的な損失関数のパフォーマンス保証は、次元の呪いのために過度に保守的であるか、大きなサンプルの複雑さでしか証明できない。 We developed a non-asymptotic framework for the out-of-sample performance for Wasserstein robust learning and the generalization bound for its related Lipschitz and gradient regularization problem。
  論文  参考訳（メタデータ） (2020-09-09T16:02:57Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。