論文の概要: Hedging against Complexity: Distributionally Robust Optimization with
Parametric Approximation
- arxiv url: http://arxiv.org/abs/2212.01518v1
- Date: Sat, 3 Dec 2022 03:26:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 18:53:17.075198
- Title: Hedging against Complexity: Distributionally Robust Optimization with
Parametric Approximation
- Title（参考訳）: 複雑度に対するヘッジ:パラメトリック近似を用いた分布ロバスト最適化
- Authors: Garud Iyengar, Henry Lam, Tianyu Wang
- Abstract要約: 経験的リスク最小化(ERM)と分散ロバスト最適化(DRO)は、運用管理や機械学習に現れる最適化問題を解決するための一般的なアプローチである。
本稿では,パラメータの分布をパラメトリックな分布系を用いて近似する簡単な手法を提案する。
この新たな誤差源は適切なDRO定式化によって制御可能であることを示す。
- 参考スコア（独自算出の注目度）: 16.93425443258186
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Empirical risk minimization (ERM) and distributionally robust optimization
(DRO) are popular approaches for solving stochastic optimization problems that
appear in operations management and machine learning. Existing generalization
error bounds for these methods depend on either the complexity of the cost
function or dimension of the uncertain parameters; consequently, the
performance of these methods is poor for high-dimensional problems with
objective functions under high complexity. We propose a simple approach in
which the distribution of uncertain parameters is approximated using a
parametric family of distributions. This mitigates both sources of complexity;
however, it introduces a model misspecification error. We show that this new
source of error can be controlled by suitable DRO formulations. Our proposed
parametric DRO approach has significantly improved generalization bounds over
existing ERM / DRO methods and parametric ERM for a wide variety of settings.
Our method is particularly effective under distribution shifts. We also
illustrate the superior performance of our approach on both synthetic and
real-data portfolio optimization and regression tasks.
- Abstract（参考訳）: 経験的リスク最小化(ERM)と分散ロバスト最適化(DRO)は、運用管理や機械学習に現れる確率的最適化問題を解決するための一般的なアプローチである。
これらの手法の既存の一般化誤差境界は、コスト関数の複雑さや不確実なパラメータの次元に依存するため、これらの手法の性能は、高複雑性な目的関数を持つ高次元問題では不十分である。
本研究では,不確定パラメータの分布をパラメトリック分布系を用いて近似する手法を提案する。
これは両方の複雑さの原因を緩和するが、しかしながら、モデルのミススペクテーションエラーをもたらす。
この新たな誤差源は適切なDRO定式化によって制御可能であることを示す。
提案手法は,既存のEMM/DRO法とパラメトリックEMRを用いた多種多様な設定における一般化境界を大幅に改善した。
本手法は分布シフトにおいて特に有効である。
また、合成および実データポートフォリオ最適化と回帰タスクの両方において、我々のアプローチの優れた性能を示す。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。
鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。
本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
論文 参考訳（メタデータ） (2024-07-24T12:00:30Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Scalable Distributional Robustness in a Class of Non Convex Optimization
with Guarantees [7.541571634887807]
分散ロバスト最適化 (DRO) は, サンプルベース問題と同様に, 学習におけるロバスト性を示す。
実世界における課題を解くのに十分ではない混合整数クラスタリングプログラム (MISOCP) を提案する。
論文 参考訳（メタデータ） (2022-05-31T09:07:01Z) - Learning Distributionally Robust Models at Scale via Composite
Optimization [45.47760229170775]
DROの異なる変種が、スケーラブルな方法を提供する有限サム合成最適化の単なる例であることを示す。
また、非常に大規模なデータセットからロバストなモデルを学ぶために、先行技術に関して提案アルゴリズムの有効性を示す実験結果も提供する。
論文 参考訳（メタデータ） (2022-03-17T20:47:42Z) - Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。
我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。
特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
論文 参考訳（メタデータ） (2021-06-21T15:19:52Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Wasserstein Distributionally Robust Inverse Multiobjective Optimization [14.366265951396587]
分散ロバストな逆多目的最適化問題(WRO-IMOP)を開発する。
We show that the excess risk of the WRO-IMOP estimator has a sub-linear convergence rate。
合成多目的二次プログラムと実世界のポートフォリオ最適化問題において,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2020-09-30T10:44:07Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳（メタデータ） (2020-06-17T20:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。