論文の概要: Hedging Complexity in Generalization via a Parametric Distributionally
Robust Optimization Framework
- arxiv url: http://arxiv.org/abs/2212.01518v2
- Date: Sun, 24 Sep 2023 15:18:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 04:35:34.861196
- Title: Hedging Complexity in Generalization via a Parametric Distributionally
Robust Optimization Framework
- Title（参考訳）: パラメトリック分布ロバスト最適化フレームワークによる一般化におけるヘッジ複雑性
- Authors: Garud Iyengar, Henry Lam, Tianyu Wang
- Abstract要約: 経験的リスク最小化(ERM)と分散ロバスト最適化(DRO)は最適化問題の解法として一般的な手法である。
本稿では,パラメトリックな分布系列を用いて乱摂動分布を近似する簡単な手法を提案する。
この新たな誤差源は適切なDRO定式化によって制御可能であることを示す。
- 参考スコア（独自算出の注目度）: 18.6306170209029
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Empirical risk minimization (ERM) and distributionally robust optimization
(DRO) are popular approaches for solving stochastic optimization problems that
appear in operations management and machine learning. Existing generalization
error bounds for these methods depend on either the complexity of the cost
function or dimension of the random perturbations. Consequently, the
performance of these methods can be poor for high-dimensional problems with
complex objective functions. We propose a simple approach in which the
distribution of random perturbations is approximated using a parametric family
of distributions. This mitigates both sources of complexity; however, it
introduces a model misspecification error. We show that this new source of
error can be controlled by suitable DRO formulations. Our proposed parametric
DRO approach has significantly improved generalization bounds over existing ERM
and DRO methods and parametric ERM for a wide variety of settings. Our method
is particularly effective under distribution shifts and works broadly in
contextual optimization. We also illustrate the superior performance of our
approach on both synthetic and real-data portfolio optimization and regression
tasks.
- Abstract（参考訳）: 経験的リスク最小化(ERM)と分散ロバスト最適化(DRO)は、運用管理や機械学習に現れる確率的最適化問題を解決するための一般的なアプローチである。
これらの方法の既存の一般化誤差境界は、コスト関数の複雑さかランダム摂動の次元に左右される。
したがって、これらの手法の性能は、複雑な目的関数を持つ高次元問題では劣る可能性がある。
本稿では,パラメトリックな分布系列を用いて乱摂動分布を近似する簡単な手法を提案する。
これは両方の複雑さの原因を緩和するが、しかしながら、モデルのミススペクテーションエラーをもたらす。
この新たな誤差源は適切なDRO定式化によって制御可能であることを示す。
提案したパラメトリックDRO手法は,既存のEMM法とDRO法と多種多様な設定のためのパラメトリックEMR法よりも大幅に一般化された。
本手法は分散シフトにおいて特に有効であり,文脈最適化において広く機能する。
また、合成および実データポートフォリオ最適化と回帰タスクの両方において、我々のアプローチの優れた性能を示す。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。
鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。
本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
論文 参考訳（メタデータ） (2024-07-24T12:00:30Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Scalable Distributional Robustness in a Class of Non Convex Optimization
with Guarantees [7.541571634887807]
分散ロバスト最適化 (DRO) は, サンプルベース問題と同様に, 学習におけるロバスト性を示す。
実世界における課題を解くのに十分ではない混合整数クラスタリングプログラム (MISOCP) を提案する。
論文 参考訳（メタデータ） (2022-05-31T09:07:01Z) - Learning Distributionally Robust Models at Scale via Composite
Optimization [45.47760229170775]
DROの異なる変種が、スケーラブルな方法を提供する有限サム合成最適化の単なる例であることを示す。
また、非常に大規模なデータセットからロバストなモデルを学ぶために、先行技術に関して提案アルゴリズムの有効性を示す実験結果も提供する。
論文 参考訳（メタデータ） (2022-03-17T20:47:42Z) - Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。
我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。
特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
論文 参考訳（メタデータ） (2021-06-21T15:19:52Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Wasserstein Distributionally Robust Inverse Multiobjective Optimization [14.366265951396587]
分散ロバストな逆多目的最適化問題(WRO-IMOP)を開発する。
We show that the excess risk of the WRO-IMOP estimator has a sub-linear convergence rate。
合成多目的二次プログラムと実世界のポートフォリオ最適化問題において,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2020-09-30T10:44:07Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳（メタデータ） (2020-06-17T20:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。