論文の概要: Finite-Sample Guarantees for Wasserstein Distributionally Robust Optimization: Breaking the Curse of Dimensionality

• arxiv url: http://arxiv.org/abs/2009.04382v3
• Date: Sat, 30 Apr 2022 22:44:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 09:15:00.873158
• Title: Finite-Sample Guarantees for Wasserstein Distributionally Robust Optimization: Breaking the Curse of Dimensionality
• Title（参考訳）: Wasserstein分布ロバスト最適化のための有限サンプル保証:次元の曲線を破る
• Authors: Rui Gao
• Abstract要約: ワッサーシュタインの分布的ロバストな最適化は、ワッサーシュタイン距離におけるデータ摂動に逆らって頑健で一般化可能な解を求めることを目的としている。 既存の一般的な損失関数のパフォーマンス保証は、次元の呪いのために過度に保守的であるか、大きなサンプルの複雑さでしか証明できない。 We developed a non-asymptotic framework for the out-of-sample performance for Wasserstein robust learning and the generalization bound for its related Lipschitz and gradient regularization problem。
• 参考スコア（独自算出の注目度）: 5.888646114353371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wasserstein distributionally robust optimization (DRO) aims to find robust and generalizable solutions by hedging against data perturbations in Wasserstein distance. Despite its recent empirical success in operations research and machine learning, existing performance guarantees for generic loss functions are either overly conservative due to the curse of dimensionality, or plausible only in large sample asymptotics. In this paper, we develop a non-asymptotic framework for analyzing the out-of-sample performance for Wasserstein robust learning and the generalization bound for its related Lipschitz and gradient regularization problems. To the best of our knowledge, this gives the first finite-sample guarantee for generic Wasserstein DRO problems without suffering from the curse of dimensionality. Our results highlight that Wasserstein DRO, with a properly chosen radius, balances between the empirical mean of the loss and the variation of the loss, measured by the Lipschitz norm or the gradient norm of the loss. Our analysis is based on two novel methodological developments that are of independent interest: 1) a new concentration inequality controlling the decay rate of large deviation probabilities by the variation of the loss and, 2) a localized Rademacher complexity theory based on the variation of the loss.
• Abstract（参考訳）: wasserstein distributionally robust optimization (dro) は、waserstein距離のデータ摂動に対してヘッジすることで、堅牢で一般化可能な解を見つけることを目的としている。 近年の運用研究と機械学習における実証的な成功にもかかわらず、一般的な損失関数のパフォーマンス保証は、次元性の呪いのために過度に保守的であるか、あるいは大規模なサンプル漸近学でのみ証明可能である。 本稿では,wassersteinロバスト学習のサンプル外性能と,関連するリプシッツ問題と勾配正規化問題の一般化を解析するための非漸近的枠組みを開発した。 我々の知る限り、これは次元の呪いに苦しむことなく、一般的なワッサーシュタインDRO問題に対する最初の有限サンプル保証を与える。 その結果, 適切に選択された半径を持つワッサーシュタインDROは, 損失の経験的平均値と損失の変動のバランスを, リプシッツノルムあるいは損失の勾配ノルムで測定した。 我々の分析は、独立した関心を持つ2つの新しい方法論的展開に基づいている。 1)損失の変動による大きな偏差確率の減衰率を制御する新しい濃度不等式と, 2) 損失の変動に基づく局所的ラデマッハ複雑性理論。

関連論文リスト

• Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
  本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。 Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• Universal generalization guarantees for Wasserstein distributionally robust models [10.036727981085223]
  本稿では,非滑らかな解析理論と古典的な集中結果を組み合わせた新しい証明手法を提案する。 我々のアプローチは、(二重)正則化を含む分布的に頑健な問題を最近のワッサーシュタイン/シンクホーンに拡張するのに十分である。
  論文  参考訳（メタデータ） (2024-02-19T09:27:47Z)
• Outlier-Robust Wasserstein DRO [19.355450629316486]
  分散ロバスト最適化(DRO)は不確実性の存在下でのデータ駆動型意思決定に有効な手法である。 本稿では、幾何学的(ワッサーシュタイン)摂動と非幾何学的(TV)汚染の両面から意思決定を行うための新しいアウトリアローバストWDROフレームワークを提案する。 我々は、トラクタブル凸の再構成と、外乱問題WDROの効率的な計算を可能にする強力な双対性を証明した。
  論文  参考訳（メタデータ） (2023-11-09T18:32:00Z)
• On Generalization and Regularization via Wasserstein Distributionally Robust Optimization [0.5801044612920815]
  Wassersteinの分散ロバスト最適化(DRO)は、オペレーションリサーチと機械学習アプリケーションで成功している。 ワッセルシュタインDRO問題にアフィン決定規則で焦点を合わせることにより、一般化境界と正規化の同値性が得られることを示す。
  論文  参考訳（メタデータ） (2022-12-12T05:48:07Z)
• Wasserstein Distributionally Robust Estimation in High Dimensions: Performance Analysis and Optimal Hyperparameter Tuning [0.0]
  雑音線形測定から未知パラメータを推定するための分布的ロバストな推定フレームワークを提案する。 このような推定器の2乗誤差性能を解析する作業に着目する。 凸凹最適化問題の解法として2乗誤差を復元できることを示す。
  論文  参考訳（メタデータ） (2022-06-27T13:02:59Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
  分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。 我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。 特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
  論文  参考訳（メタデータ） (2021-06-21T15:19:52Z)
• Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization [94.18714844247766]
  ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。 本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-02T21:01:13Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。