論文の概要: Complexity-Free Generalization via Distributionally Robust Optimization

• arxiv url: http://arxiv.org/abs/2106.11180v1
• Date: Mon, 21 Jun 2021 15:19:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 19:04:41.598128
• Title: Complexity-Free Generalization via Distributionally Robust Optimization
• Title（参考訳）: 分布ロバスト最適化による複素自由一般化
• Authors: Henry Lam, Yibo Zeng
• Abstract要約: 分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。 我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。 特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
• 参考スコア（独自算出の注目度）: 4.313143197674466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Established approaches to obtain generalization bounds in data-driven optimization and machine learning mostly build on solutions from empirical risk minimization (ERM), which depend crucially on the functional complexity of the hypothesis class. In this paper, we present an alternate route to obtain these bounds on the solution from distributionally robust optimization (DRO), a recent data-driven optimization framework based on worst-case analysis and the notion of ambiguity set to capture statistical uncertainty. In contrast to the hypothesis class complexity in ERM, our DRO bounds depend on the ambiguity set geometry and its compatibility with the true loss function. Notably, when using maximum mean discrepancy as a DRO distance metric, our analysis implies, to the best of our knowledge, the first generalization bound in the literature that depends solely on the true loss function, entirely free of any complexity measures or bounds on the hypothesis class.
• Abstract（参考訳）: データ駆動最適化と機械学習の一般化限界を得るための確立されたアプローチは、主に仮説クラスの機能的複雑性に依存する経験的リスク最小化(erm)のソリューションに基づいている。 本稿では,分散ロバスト最適化 (distributionally robust optimization,dro) という,最近のデータ駆動型最適化フレームワークと,統計的不確かさをキャプチャする曖昧性集合の概念から,これらの解の境界を得るための代替経路を提案する。 ERMの仮説クラス複雑性とは対照的に、我々のDRO境界はあいまいな集合の幾何と真の損失関数との整合性に依存する。 特に、DRO距離計量として最大平均差分法を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における最初の一般化であり、仮説クラス上の任意の複雑性測度や境界を全く含まないことを意味する。

関連論文リスト

• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
  最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。 鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。 本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls [8.720733751119994]
  逆堅牢最適化(Adversarially robust optimization, ARO)は、テスト中に敵の攻撃に対して防御する訓練モデルのデファクトスタンダードとなっている。 その頑丈さにもかかわらず、これらのモデルはしばしば過度なオーバーフィットに悩まされる。 学習における経験的分布を, (i) あいまいさ集合内の最悪のケース分布, (ii) 補助的データセットから派生した経験的分布の混合に置き換える2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T15:59:37Z)
• Federated Distributionally Robust Optimization with Non-Convex Objectives: Algorithm and Analysis [24.64654924173679]
  Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。 新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。 実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
  論文  参考訳（メタデータ） (2023-07-25T01:56:57Z)
• Hedging Complexity in Generalization via a Parametric Distributionally Robust Optimization Framework [18.6306170209029]
  経験的リスク最小化(ERM)と分散ロバスト最適化(DRO)は最適化問題の解法として一般的な手法である。 本稿では,パラメトリックな分布系列を用いて乱摂動分布を近似する簡単な手法を提案する。 この新たな誤差源は適切なDRO定式化によって制御可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:26:34Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Federated Distributionally Robust Optimization for Phase Configuration of RISs [106.4688072667105]
  我々は、教師付き学習環境において、多種多様なRISタイプ上での堅牢な再構成可能なインテリジェントサーフェス(RIS)支援ダウンリンク通信の問題について検討する。 異種RIS設計上のダウンリンク通信を分散的に位相構成を最適化する方法を学ぶ異なる労働者としてモデル化することにより、分散学習問題を解決することができる。 提案アルゴリズムは, 競合するベースラインと比較して, 最悪の分布精度を実現するために, 通信ラウンドを少なくする必要がある。
  論文  参考訳（メタデータ） (2021-08-20T07:07:45Z)
• Distributionally Robust Learning [11.916893752969429]
  本書は,データの摂動に頑健な包括的統計学習フレームワークを開発する。 各問題に対する引き込み可能なDRO緩和が導出され、境界と正規化の間の接続が確立される。 理論以外にも、数値実験や、合成データと実データを用いたケーススタディも含んでいる。
  論文  参考訳（メタデータ） (2021-08-20T04:14:18Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• From Majorization to Interpolation: Distributionally Robust Learning using Kernel Smoothing [1.2891210250935146]
  確率指標に基づく分布的ロバスト最適化(DRO)の関数近似の側面を検討する。 本稿では,滑らかな関数近似と畳み込みに基づく堅牢な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-16T22:25:18Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。