論文の概要: On Generalization and Regularization via Wasserstein Distributionally Robust Optimization

• arxiv url: http://arxiv.org/abs/2212.05716v2
• Date: Thu, 19 Dec 2024 20:39:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 22:59:32.716702
• Title: On Generalization and Regularization via Wasserstein Distributionally Robust Optimization
• Title（参考訳）: Wasserstein分布ロバスト最適化による一般化と正規化について
• Authors: Qinyu Wu, Jonathan Yu-Meng Li, Tiantian Mao,
• Abstract要約: Wassersteinの分散ロバスト最適化(DRO)は、オペレーションリサーチと機械学習で注目されている。 一般化境界と正則化同値性は,より広い設定で得られることを示す。
• 参考スコア（独自算出の注目度）: 0.1843404256219181
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wasserstein distributionally robust optimization (DRO) has gained prominence in operations research and machine learning as a powerful method for achieving solutions with favorable out-of-sample performance. Two compelling explanations for its success are the generalization bounds derived from Wasserstein DRO and its equivalence to regularization schemes commonly used in machine learning. However, existing results on generalization bounds and regularization equivalence are largely limited to settings where the Wasserstein ball is of a specific type, and the decision criterion takes certain forms of expected functions. In this paper, we show that generalization bounds and regularization equivalence can be obtained in a significantly broader setting, where the Wasserstein ball is of a general type and the decision criterion accommodates any form, including general risk measures. This not only addresses important machine learning and operations management applications but also expands to general decision-theoretical frameworks previously unaddressed by Wasserstein DRO. Our results are strong in that the generalization bounds do not suffer from the curse of dimensionality and the equivalency to regularization is exact. As a by-product, we show that Wasserstein DRO coincides with the recent max-sliced Wasserstein DRO for {\it any} decision criterion under affine decision rules -- resulting in both being efficiently solvable as convex programs via our general regularization results. These general assurances provide a strong foundation for expanding the application of Wasserstein DRO across diverse domains of data-driven decision problems.
• Abstract（参考訳）: Wassersteinの分散ロバスト最適化(DRO)は、優れたアウトオブサンプル性能でソリューションを実現するための強力な方法として、オペレーションリサーチと機械学習で注目されている。 その成功の2つの説得力ある説明は、ワッサーシュタイン DRO から導かれる一般化境界と、機械学習でよく使われる正規化スキームへの同値性である。 しかし、一般化境界と正則化同値に関する既存の結果は、ワッサーシュタイン球が特定の型であるような設定に限られており、決定基準は期待される関数のある種の形式を取る。 本稿では,ワッサースタイン球が一般型であり,決定基準が一般リスク対策を含む任意の形態に対応するような,一般化境界と正則化等価性が得られることを示す。 これは、重要な機械学習および運用管理アプリケーションに対処するだけでなく、Wasserstein DROによって以前は規定されていなかった一般的な決定論的フレームワークにも拡張される。 我々の結果は、一般化境界は次元性の呪いに苦しめられず、正規化の同値性は正確であるという点で強い。 副生成物として、ワッサーシュタイン DRO はアフィン決定規則の下での最近の最大スライスされたワッサースタイン DRO と一致することが示される。 これらの一般的な保証は、データ駆動決定問題の様々な領域にまたがるWasserstein DROの適用を拡大するための強力な基盤を提供する。

関連論文リスト

• Wasserstein Distributionally Robust Regret Optimization [0.0]
  We provide a systematic analysis of Wasserstein DRRO, paralleling known results for Wasserstein DRO。 滑らかさと規則性条件下では、ワッサーシュタインDRROは経験的リスク最小化(Empirical Risk Minimization:ERM)と1次項に一致することを示す。 2つの1次元凹関数を最大化することにより、後悔を計算できることが示される。
  論文  参考訳（メタデータ） (2025-04-15T01:47:11Z)
• Universal generalization guarantees for Wasserstein distributionally robust models [10.036727981085223]
  本稿では,非滑らかな解析理論と古典的な集中結果を組み合わせた新しい証明手法を提案する。 我々のアプローチは、(二重)正則化を含む分布的に頑健な問題を最近のワッサーシュタイン/シンクホーンに拡張するのに十分である。
  論文  参考訳（メタデータ） (2024-02-19T09:27:47Z)
• Outlier-Robust Wasserstein DRO [19.355450629316486]
  分散ロバスト最適化(DRO)は不確実性の存在下でのデータ駆動型意思決定に有効な手法である。 本稿では、幾何学的(ワッサーシュタイン)摂動と非幾何学的(TV)汚染の両面から意思決定を行うための新しいアウトリアローバストWDROフレームワークを提案する。 我々は、トラクタブル凸の再構成と、外乱問題WDROの効率的な計算を可能にする強力な双対性を証明した。
  論文  参考訳（メタデータ） (2023-11-09T18:32:00Z)
• Approximating a RUM from Distributions on k-Slates [88.32814292632675]
  与えられた分布を平均で最もよく近似するRUMを求める一般化時間アルゴリズムを求める。 我々の理論的結果は、実世界のデータセットに効果的でスケール可能なものを得るという、実践的な結果も得られます。
  論文  参考訳（メタデータ） (2023-05-22T17:43:34Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Understanding Entropic Regularization in GANs [5.448283690603358]
  We study the influence of regularization on the learned solution of Wasserstein distance。 エントロピー正則化は解のスパース化を促進するが、ワッサーシュタイン距離をシンクホルン発散に置き換えると、非正規化解が回復する。 これらの正則化手法は,大規模な分布に対して経験的データから学習したジェネレータの品質を向上させることができると結論付けている。
  論文  参考訳（メタデータ） (2021-11-02T06:08:16Z)
• The Benefits of Implicit Regularization from SGD in Least Squares Problems [116.85246178212616]
  勾配降下(SGD)はアルゴリズム正則化効果が強い。 我々は、(正規化されていない)平均SGDで得られる暗黙の正則化とリッジ回帰の明示的な正則化の比較を行う。
  論文  参考訳（メタデータ） (2021-08-10T09:56:47Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
  分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。 我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。 特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
  論文  参考訳（メタデータ） (2021-06-21T15:19:52Z)
• Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
  本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2021-05-24T02:21:34Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)
• Stein Variational Model Predictive Control [130.60527864489168]
  不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。 モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。 この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
  論文  参考訳（メタデータ） (2020-11-15T22:36:59Z)
• Finite-Sample Guarantees for Wasserstein Distributionally Robust Optimization: Breaking the Curse of Dimensionality [5.888646114353371]
  ワッサーシュタインの分布的ロバストな最適化は、ワッサーシュタイン距離におけるデータ摂動に逆らって頑健で一般化可能な解を求めることを目的としている。 既存の一般的な損失関数のパフォーマンス保証は、次元の呪いのために過度に保守的であるか、大きなサンプルの複雑さでしか証明できない。 We developed a non-asymptotic framework for the out-of-sample performance for Wasserstein robust learning and the generalization bound for its related Lipschitz and gradient regularization problem。
  論文  参考訳（メタデータ） (2020-09-09T16:02:57Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。