論文の概要: Estimate-Then-Optimize versus Integrated-Estimation-Optimization versus
Sample Average Approximation: A Stochastic Dominance Perspective
- arxiv url: http://arxiv.org/abs/2304.06833v3
- Date: Mon, 7 Aug 2023 01:41:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 23:08:44.020069
- Title: Estimate-Then-Optimize versus Integrated-Estimation-Optimization versus
Sample Average Approximation: A Stochastic Dominance Perspective
- Title(参考訳): 推定テーマ最適化と統合推定最適化とサンプル平均近似:確率的優位性の観点から
- Authors: Adam N. Elmachtoub, Henry Lam, Haofeng Zhang, Yunfan Zhao
- Abstract要約: モデルクラスが十分に特定され、十分なデータが存在する場合に、逆の振る舞いが現れることを示す。
また, 標準サンプル平均近似 (SAA) が, 後悔の点において, モデルクラスが適切に特定された場合に, 最悪の結果をもたらすことを示す。
- 参考スコア(独自算出の注目度): 15.832111591654293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In data-driven stochastic optimization, model parameters of the underlying
distribution need to be estimated from data in addition to the optimization
task. Recent literature considers integrating the estimation and optimization
processes by selecting model parameters that lead to the best empirical
objective performance. This integrated approach, which we call
integrated-estimation-optimization (IEO), can be readily shown to outperform
simple estimate-then-optimize (ETO) when the model is misspecified. In this
paper, we show that a reverse behavior appears when the model class is
well-specified and there is sufficient data. Specifically, for a general class
of nonlinear stochastic optimization problems, we show that simple ETO
outperforms IEO asymptotically when the model class covers the ground truth, in
the strong sense of stochastic dominance of the regret. Namely, the entire
distribution of the regret, not only its mean or other moments, is always
better for ETO compared to IEO. Our results also apply to constrained,
contextual optimization problems where the decision depends on observed
features. Whenever applicable, we also demonstrate how standard sample average
approximation (SAA) performs the worst when the model class is well-specified
in terms of regret, and best when it is misspecified. Finally, we provide
experimental results to support our theoretical comparisons and illustrate when
our insights hold in finite-sample regimes and under various degrees of
misspecification.
- Abstract(参考訳): データ駆動確率最適化では、最適化タスクに加えて、基盤となる分布のモデルパラメータをデータから推定する必要がある。
近年の文献では、最高の経験的客観的性能につながるモデルパラメータを選択することによって、推定と最適化のプロセスを統合することを考える。
統合推定最適化(ieo)と呼ばれるこの統合アプローチは、モデルが誤って特定された場合、単純な推定最適化(eto)を上回ることが容易に示せる。
本稿では,モデルクラスが十分に特定され,十分なデータがある場合に,逆挙動が現れることを示す。
具体的には, 一般の非線形確率最適化問題に対して, モデルクラスが基底真理をカバーしている場合, 単純ETOがIEOの漸近的に優れていることを示す。
つまり、後悔の分布全体、すなわち平均や他の瞬間だけでなく、IEOと比べて常にETOの方が良い。
結果はまた、決定が観測された特徴に依存する制約付き文脈最適化問題にも適用できる。
また, 標準サンプル平均近似 (saa) が, モデルクラスが後悔の観点でよく特定され, 誤特定された場合に最善の場合には, いかに最悪かを実証する。
最後に、理論的比較を裏付ける実験結果を提供し、洞察が有限サンプル状態および様々な誤識別の下でいつ保持されるかを示す。
関連論文リスト
- Beyond Single-Model Views for Deep Learning: Optimization versus
Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。
我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。
本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
論文 参考訳(メタデータ) (2024-03-01T14:55:22Z) - Efficient adjustment for complex covariates: Gaining efficiency with
DOPE [56.537164957672715]
共変量によって表現される情報のサブセットを調整可能なフレームワークを提案する。
理論的な結果に基づいて,平均処理効果(ATE)の効率的な評価を目的とした,デバイアスドアウトカム適応確率推定器(DOPE)を提案する。
その結果,DOPE は様々な観測環境において ATE 推定のための効率的かつ堅牢な手法を提供することがわかった。
論文 参考訳(メタデータ) (2024-02-20T13:02:51Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳(メタデータ) (2024-02-12T16:33:35Z) - Bayesian Nonparametrics Meets Data-Driven Robust Optimization [34.55288809402238]
機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。
ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルとの知見を組み合わせることで、新しいロバストな基準を提案する。
実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
論文 参考訳(メタデータ) (2024-01-28T21:19:15Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Self-Supervised Dataset Distillation for Transfer Learning [82.09002658558529]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - Optimizer's Information Criterion: Dissecting and Correcting Bias in
Data-Driven Optimization [18.6306170209029]
データ駆動最適化では、得られた決定のサンプル性能は通常、真の性能に対して楽観的なバイアスを生じさせる。
クロスバリデーションのような、このバイアスを修正するための一般的なテクニックは、追加の最適化問題を繰り返し解決する必要があるため、コストがかかる。
我々は一階偏差を直接近似する一般バイアス補正手法を開発し、追加の最適化問題を解く必要はない。
論文 参考訳(メタデータ) (2023-06-16T07:07:58Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - Data-Driven Sample Average Approximation with Covariate Information [0.0]
我々は、コパラメトリックの同時観測とともに、最適化モデル内の不確実なパラメータの観測を行う際に、データ駆動意思決定のための最適化について検討する。
本稿では,機械学習予測モデルをプログラムサンプル平均近似(SAA)に組み込んだ3つのデータ駆動フレームワークについて検討する。
論文 参考訳(メタデータ) (2022-07-27T14:45:04Z) - Integrated Conditional Estimation-Optimization [6.037383467521294]
確率のある不確実なパラメータを文脈的特徴情報を用いて推定できる実世界の多くの最適化問題である。
不確実なパラメータの分布を推定する標準的な手法とは対照的に,統合された条件推定手法を提案する。
当社のI CEOアプローチは、穏健な条件下で理論的に一貫性があることを示します。
論文 参考訳(メタデータ) (2021-10-24T04:49:35Z) - Fast Rates for Contextual Linear Optimization [52.39202699484225]
提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。
予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
論文 参考訳(メタデータ) (2020-11-05T18:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。