論文の概要: On Generalization and Regularization via Wasserstein Distributionally Robust Optimization

• arxiv url: http://arxiv.org/abs/2212.05716v1
• Date: Mon, 12 Dec 2022 05:48:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 18:16:29.746254
• Title: On Generalization and Regularization via Wasserstein Distributionally Robust Optimization
• Title（参考訳）: Wasserstein分布ロバスト最適化による一般化と正規化について
• Authors: Qinyu Wu, Jonathan Yu-Meng Li, Tiantian Mao
• Abstract要約: Wassersteinの分散ロバスト最適化(DRO)は、オペレーションリサーチと機械学習アプリケーションで成功している。 ワッセルシュタインDRO問題にアフィン決定規則で焦点を合わせることにより、一般化境界と正規化の同値性が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.5801044612920815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wasserstein distributionally robust optimization (DRO) has found success in operations research and machine learning applications as a powerful means to obtain solutions with favourable out-of-sample performances. Two compelling explanations for the success are the generalization bounds derived from Wasserstein DRO and the equivalency between Wasserstein DRO and the regularization scheme commonly applied in machine learning. Existing results on generalization bounds and the equivalency to regularization are largely limited to the setting where the Wasserstein ball is of a certain type and the decision criterion takes certain forms of an expected function. In this paper, we show that by focusing on Wasserstein DRO problems with affine decision rules, it is possible to obtain generalization bounds and the equivalency to regularization in a significantly broader setting where the Wasserstein ball can be of a general type and the decision criterion can be a general measure of risk, i.e., nonlinear in distributions. This allows for accommodating many important classification, regression, and risk minimization applications that have not been addressed to date using Wasserstein DRO. Our results are strong in that the generalization bounds do not suffer from the curse of dimensionality and the equivalency to regularization is exact. As a byproduct, our regularization results broaden considerably the class of Wasserstein DRO models that can be solved efficiently via regularization formulations.
• Abstract（参考訳）: wasserstein distributionally robust optimization (dro) は、運用研究や機械学習アプリケーションで成功し、サンプル外のパフォーマンスに有利なソリューションを得るための強力な手段となった。 この成功の2つの説得力ある説明は、ワッサーシュタイン DRO から導かれる一般化境界と、ワッサースタイン DRO と機械学習によく適用される正規化スキームの等価性である。 一般化境界と正規化の同値性に関する既存の結果は、wasserstein球が特定の型であり、決定基準が期待される関数の特定の形を取るような設定に限定されている。 本稿では,アフィン決定規則を伴うwasserstein dro問題に焦点をあてることで,wasserstein球が一般型であり,決定基準がリスクの一般的な尺度,すなわち非線形分布となるような,かなり広い設定で一般化境界と正規化の等価性を得ることができることを示す。 これにより、wasserstein droを使用していない多くの重要な分類、回帰、リスク最小化アプリケーションに対応することができる。 我々の結果は、一般化境界は次元性の呪いに苦しめられず、正規化の同値性は正確であるという点で強い。 副産物として、我々の正規化結果は、正規化定式化によって効率的に解けるワッサーシュタイン DRO モデルのクラスを大きく広げた。

関連論文リスト

• Universal generalization guarantees for Wasserstein distributionally robust models [10.036727981085223]
  本稿では,非滑らかな解析理論と古典的な集中結果を組み合わせた新しい証明手法を提案する。 我々のアプローチは、(二重)正則化を含む分布的に頑健な問題を最近のワッサーシュタイン/シンクホーンに拡張するのに十分である。
  論文  参考訳（メタデータ） (2024-02-19T09:27:47Z)
• Outlier-Robust Wasserstein DRO [19.355450629316486]
  分散ロバスト最適化(DRO)は不確実性の存在下でのデータ駆動型意思決定に有効な手法である。 本稿では、幾何学的(ワッサーシュタイン)摂動と非幾何学的(TV)汚染の両面から意思決定を行うための新しいアウトリアローバストWDROフレームワークを提案する。 我々は、トラクタブル凸の再構成と、外乱問題WDROの効率的な計算を可能にする強力な双対性を証明した。
  論文  参考訳（メタデータ） (2023-11-09T18:32:00Z)
• Approximating a RUM from Distributions on k-Slates [88.32814292632675]
  与えられた分布を平均で最もよく近似するRUMを求める一般化時間アルゴリズムを求める。 我々の理論的結果は、実世界のデータセットに効果的でスケール可能なものを得るという、実践的な結果も得られます。
  論文  参考訳（メタデータ） (2023-05-22T17:43:34Z)
• Understanding Entropic Regularization in GANs [5.448283690603358]
  We study the influence of regularization on the learned solution of Wasserstein distance。 エントロピー正則化は解のスパース化を促進するが、ワッサーシュタイン距離をシンクホルン発散に置き換えると、非正規化解が回復する。 これらの正則化手法は,大規模な分布に対して経験的データから学習したジェネレータの品質を向上させることができると結論付けている。
  論文  参考訳（メタデータ） (2021-11-02T06:08:16Z)
• The Benefits of Implicit Regularization from SGD in Least Squares Problems [116.85246178212616]
  勾配降下(SGD)はアルゴリズム正則化効果が強い。 我々は、(正規化されていない)平均SGDで得られる暗黙の正則化とリッジ回帰の明示的な正則化の比較を行う。
  論文  参考訳（メタデータ） (2021-08-10T09:56:47Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
  分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。 我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。 特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
  論文  参考訳（メタデータ） (2021-06-21T15:19:52Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Finite-Sample Guarantees for Wasserstein Distributionally Robust Optimization: Breaking the Curse of Dimensionality [5.888646114353371]
  ワッサーシュタインの分布的ロバストな最適化は、ワッサーシュタイン距離におけるデータ摂動に逆らって頑健で一般化可能な解を求めることを目的としている。 既存の一般的な損失関数のパフォーマンス保証は、次元の呪いのために過度に保守的であるか、大きなサンプルの複雑さでしか証明できない。 We developed a non-asymptotic framework for the out-of-sample performance for Wasserstein robust learning and the generalization bound for its related Lipschitz and gradient regularization problem。
  論文  参考訳（メタデータ） (2020-09-09T16:02:57Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。