論文の概要: Universal generalization guarantees for Wasserstein distributionally robust models
- arxiv url: http://arxiv.org/abs/2402.11981v2
- Date: Wed, 29 May 2024 07:55:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 23:21:18.006986
- Title: Universal generalization guarantees for Wasserstein distributionally robust models
- Title（参考訳）: ワッサーシュタイン分布ロバストモデルに対する普遍的一般化保証
- Authors: Tam Le, Jérôme Malick,
- Abstract要約: 本稿では,非滑らかな解析理論と古典的な集中結果を組み合わせた新しい証明手法を提案する。
我々のアプローチは、(二重)正則化を含む分布的に頑健な問題を最近のワッサーシュタイン/シンクホーンに拡張するのに十分である。
- 参考スコア（独自算出の注目度）: 10.036727981085223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributionally robust optimization has emerged as an attractive way to train robust machine learning models, capturing data uncertainty and distribution shifts. Recent statistical analyses have proved that robust models built from Wasserstein ambiguity sets have nice generalization guarantees, breaking the curse of dimensionality. However, these results are obtained in specific cases, at the cost of approximations, or under assumptions difficult to verify in practice. In contrast, we establish, in this article, exact generalization guarantees that cover all practical cases, including any transport cost function and any loss function, potentially non-convex and nonsmooth. For instance, our result applies to deep learning, without requiring restrictive assumptions. We achieve this result through a novel proof technique that combines nonsmooth analysis rationale with classical concentration results. Our approach is general enough to extend to the recent versions of Wasserstein/Sinkhorn distributionally robust problems that involve (double) regularizations.
- Abstract（参考訳）: 分散ロバストな最適化は、堅牢な機械学習モデルをトレーニングし、データの不確実性と分散シフトをキャプチャする魅力的な方法として登場した。
最近の統計分析により、ワッサーシュタイン曖昧性集合から構築されたロバストモデルが優れた一般化を保証することが証明され、次元性の呪いが破られる。
しかし、これらの結果は特定の場合、近似のコスト、あるいは実際は検証が難しい仮定の下で得られる。
対照的に、この記事では、輸送コスト関数や損失関数、潜在的に凸や非平滑性を含むすべての実例をカバーする正確な一般化を保証する。
例えば、私たちの結果は制限的な仮定を必要とせず、ディープラーニングに適用されます。
この結果は,非平滑解析法と古典的濃度解析法を組み合わせた新しい証明手法によって達成される。
我々のアプローチは、(二重)正則化を含む分布的に頑健な問題をワッサーシュタイン/シンクホーンの最近のバージョンに拡張するのに十分である。
関連論文リスト
- Optimal Robust Estimation under Local and Global Corruptions: Stronger Adversary and Smaller Error [10.266928164137635]
アルゴリズムによる頑健な統計は伝統的に、サンプルのごく一部が任意に破損する汚染モデルに焦点を当ててきた。
最近の汚染モデルでは, (i) 古典的ロバスト統計のように, 任意の外れ値のごく一部と (ii) 局所摂動, (ii) サンプルが平均的に有界シフトを行うことのできる2種類の汚染モデルを考える。
理論上最適誤差は, 偶発的局所摂動モデルの下で, 時間内に得られることを示す。
論文 参考訳（メタデータ） (2024-10-22T17:51:23Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。
本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。
本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
論文 参考訳（メタデータ） (2023-11-10T15:33:19Z) - Exact Generalization Guarantees for (Regularized) Wasserstein
Distributionally Robust Models [0.0]
ワッサーシュタインの分布的ロバストな推定器は、不確実性の下での予測と意思決定の強力なモデルとして登場した。
これらの一般化保証は、実際にモデルの一般的なクラスを保ち、次元性の呪いに苦しむことなく、テスト時の分布シフトをカバーできることを示す。
論文 参考訳（メタデータ） (2023-05-26T16:35:57Z) - A Robustness Analysis of Blind Source Separation [91.3755431537592]
ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。
このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。
定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
論文 参考訳（メタデータ） (2023-03-17T16:30:51Z) - A Short and General Duality Proof for Wasserstein Distributionally Robust Optimization [11.034091190797671]
本稿では, 関東ロビッチ輸送コスト, 測定可能な損失関数, および有意な確率分布を抑えるような, 分散的ロバストな最適化のための一般化双対性結果を提案する。
我々は、ある可測射影と弱い可測選択条件が満たされている場合にのみ、交換可能性原理が成立することを示した。
論文 参考訳（メタデータ） (2022-04-30T22:49:01Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data
to Learn Robust and Invariant Representations [76.85274970052762]
元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。
本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。
私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-11-25T22:40:09Z) - Finite-Sample Guarantees for Wasserstein Distributionally Robust
Optimization: Breaking the Curse of Dimensionality [5.888646114353371]
ワッサーシュタインの分布的ロバストな最適化は、ワッサーシュタイン距離におけるデータ摂動に逆らって頑健で一般化可能な解を求めることを目的としている。
既存の一般的な損失関数のパフォーマンス保証は、次元の呪いのために過度に保守的であるか、大きなサンプルの複雑さでしか証明できない。
We developed a non-asymptotic framework for the out-of-sample performance for Wasserstein robust learning and the generalization bound for its related Lipschitz and gradient regularization problem。
論文 参考訳（メタデータ） (2020-09-09T16:02:57Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。