論文の概要: Universal generalization guarantees for Wasserstein distributionally robust models

• arxiv url: http://arxiv.org/abs/2402.11981v3
• Date: Mon, 27 Jan 2025 10:31:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 20:38:03.731530
• Title: Universal generalization guarantees for Wasserstein distributionally robust models
• Title（参考訳）: ワッサーシュタイン分布ロバストモデルに対する普遍的一般化保証
• Authors: Tam Le, Jérôme Malick,
• Abstract要約: 分散ロバストな最適化は、堅牢な機械学習モデルをトレーニングする魅力的な方法として登場した。 最近の統計分析により、ワッサーシュタイン距離に基づくロバストモデルの一般化保証が、次元の呪いに苦しむことのない一般化保証を持つことが証明された。 我々は、任意の輸送コストとパラメトリック損失関数を伴って、幅広いケースをカバーする正確な一般化保証を確立する。
• 参考スコア（独自算出の注目度）: 10.036727981085223
• License:
• Abstract: Distributionally robust optimization has emerged as an attractive way to train robust machine learning models, capturing data uncertainty and distribution shifts. Recent statistical analyses have proved that generalization guarantees of robust models based on the Wasserstein distance have generalization guarantees that do not suffer from the curse of dimensionality. However, these results are either approximate, obtained in specific cases, or based on assumptions difficult to verify in practice. In contrast, we establish exact generalization guarantees that cover a wide range of cases, with arbitrary transport costs and parametric loss functions, including deep learning objectives with nonsmooth activations. We complete our analysis with an excess bound on the robust objective and an extension to Wasserstein robust models with entropic regularizations.
• Abstract（参考訳）: 分散ロバストな最適化は、堅牢な機械学習モデルをトレーニングし、データの不確実性と分散シフトをキャプチャする魅力的な方法として登場した。 最近の統計分析により、ワッサーシュタイン距離に基づくロバストモデルの一般化保証が、次元の呪いに苦しむことのない一般化保証を持つことが証明された。 しかし、これらの結果は近似的であり、特定のケースで得られるか、実際は検証が難しい仮定に基づいている。 対照的に、我々は、任意の輸送コストとパラメトリック損失関数を持つ広範囲のケースをカバーする正確な一般化保証を確立し、非滑らかなアクティベーションを伴うディープラーニング目標を含む。 我々は、ロバストな目的とエントロピックな正規化を持つワッサーシュタインのロバストなモデルの拡張に過剰な有界で解析を完遂する。

関連論文リスト

• Benign Overfitting in Out-of-Distribution Generalization of Linear Models [19.203753135860016]
  我々は、アウト・オブ・ディストリビューション(OOD)体制における良心過剰の理解に向けて、最初の一歩を踏み出した。 我々は、標準的な隆起回帰において良性過剰適合が生じることを証明する非漸近保証を提供する。 また、より一般的な目標共分散行列の族についても理論的結果を示す。
  論文  参考訳（メタデータ） (2024-12-19T02:47:39Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Fine-Grained Dynamic Framework for Bias-Variance Joint Optimization on Data Missing Not at Random [2.8165314121189247]
  レコメンデーションシステムやディスプレイ広告など、ほとんどの実践的なアプリケーションでは、収集されたデータには欠落する値が含まれることが多い。 我々は,バイアスと分散を協調的に最適化する,体系的なきめ細かな動的学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-05-24T10:07:09Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Exact Generalization Guarantees for (Regularized) Wasserstein Distributionally Robust Models [0.0]
  ワッサーシュタインの分布的ロバストな推定器は、不確実性の下での予測と意思決定の強力なモデルとして登場した。 これらの一般化保証は、実際にモデルの一般的なクラスを保ち、次元性の呪いに苦しむことなく、テスト時の分布シフトをカバーできることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:35:57Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• A Short and General Duality Proof for Wasserstein Distributionally Robust Optimization [11.034091190797671]
  本稿では, 関東ロビッチ輸送コスト, 測定可能な損失関数, および有意な確率分布を抑えるような, 分散的ロバストな最適化のための一般化双対性結果を提案する。 我々は、ある可測射影と弱い可測選択条件が満たされている場合にのみ、交換可能性原理が成立することを示した。
  論文  参考訳（メタデータ） (2022-04-30T22:49:01Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。