論文の概要: Estimate-Then-Optimize versus Integrated-Estimation-Optimization versus
Sample Average Approximation: A Stochastic Dominance Perspective
- arxiv url: http://arxiv.org/abs/2304.06833v2
- Date: Sun, 23 Jul 2023 09:58:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 23:23:28.866059
- Title: Estimate-Then-Optimize versus Integrated-Estimation-Optimization versus
Sample Average Approximation: A Stochastic Dominance Perspective
- Title（参考訳）: 推定テーマ最適化と統合推定最適化とサンプル平均近似:確率的優位性の観点から
- Authors: Adam N. Elmachtoub, Henry Lam, Haofeng Zhang, Yunfan Zhao
- Abstract要約: モデルクラスが十分に特定され、十分なデータが存在する場合に、逆の振る舞いが現れることを示す。
また, 標準サンプル平均近似 (SAA) が, 後悔の点において, モデルクラスが適切に特定された場合に, 最悪の結果をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 15.832111591654293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In data-driven stochastic optimization, model parameters of the underlying
distribution need to be estimated from data in addition to the optimization
task. Recent literature considers integrating the estimation and optimization
processes by selecting model parameters that lead to the best empirical
objective performance. This integrated approach, which we call
integrated-estimation-optimization (IEO), can be readily shown to outperform
simple estimate-then-optimize (ETO) when the model is misspecified. In this
paper, we show that a reverse behavior appears when the model class is
well-specified and there is sufficient data. Specifically, for a general class
of nonlinear stochastic optimization problems, we show that simple ETO
outperforms IEO asymptotically when the model class covers the ground truth, in
the strong sense of stochastic dominance of the regret. Namely, the entire
distribution of the regret, not only its mean or other moments, is always
better for ETO compared to IEO. Our results also apply to constrained,
contextual optimization problems where the decision depends on observed
features. Whenever applicable, we also demonstrate how standard sample average
approximation (SAA) performs the worst when the model class is well-specified
in terms of regret, and best when it is misspecified. Finally, we provide
experimental results to support our theoretical comparisons and illustrate when
our insights hold in finite-sample regimes and under various degrees of
misspecification.
- Abstract（参考訳）: データ駆動確率最適化では、最適化タスクに加えて、基盤となる分布のモデルパラメータをデータから推定する必要がある。
近年の文献では、最高の経験的客観的性能につながるモデルパラメータを選択することによって、推定と最適化のプロセスを統合することを考える。
統合推定最適化(ieo)と呼ばれるこの統合アプローチは、モデルが誤って特定された場合、単純な推定最適化(eto)を上回ることが容易に示せる。
本稿では,モデルクラスが十分に特定され,十分なデータがある場合に,逆挙動が現れることを示す。
具体的には, 一般の非線形確率最適化問題に対して, モデルクラスが基底真理をカバーしている場合, 単純ETOがIEOの漸近的に優れていることを示す。
つまり、後悔の分布全体、すなわち平均や他の瞬間だけでなく、IEOと比べて常にETOの方が良い。
結果はまた、決定が観測された特徴に依存する制約付き文脈最適化問題にも適用できる。
また, 標準サンプル平均近似 (saa) が, モデルクラスが後悔の観点でよく特定され, 誤特定された場合に最善の場合には, いかに最悪かを実証する。
最後に、理論的比較を裏付ける実験結果を提供し、洞察が有限サンプル状態および様々な誤識別の下でいつ保持されるかを示す。
関連論文リスト
- A Gradient Analysis Framework for Rewarding Good and Penalizing Bad Examples in Language Models [63.949883238901414]
本稿では,損失関数の勾配解析の特異な角度について述べる。
ExMATEはMLEの優れたサロゲートであり,DPOとMLEの代わりにExMATEを組み合わせることで,統計的(5-7%)と生成的(+18%)の性能が向上することがわかった。
論文 参考訳（メタデータ） (2024-08-29T17:46:18Z) - Distributionally Robust Optimization as a Scalable Framework to Characterize Extreme Value Distributions [22.765095010254118]
本研究の目的は分散ロバストな最適化 (DRO) 推定器の開発であり、特に多次元極値理論 (EVT) の統計量についてである。
点過程の空間における半パラメトリックな最大安定制約によって予測されるDRO推定器について検討した。
両手法は, 合成データを用いて検証し, 所定の特性を回復し, 提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2024-07-31T19:45:27Z) - Soft Preference Optimization: Aligning Language Models to Expert Distributions [40.84391304598521]
SPOは、Large Language Models (LLMs)のような生成モデルと人間の好みを整合させる手法である。
SPOは、選好損失をモデル全体の出力分布全体にわたる正規化項と統合する。
本稿では,SPOの方法論,理論的基礎,および単純さ,計算効率,アライメント精度における比較優位性について紹介する。
論文 参考訳（メタデータ） (2024-04-30T19:48:55Z) - Efficient adjustment for complex covariates: Gaining efficiency with
DOPE [56.537164957672715]
共変量によって表現される情報のサブセットを調整可能なフレームワークを提案する。
理論的な結果に基づいて,平均処理効果(ATE)の効率的な評価を目的とした,デバイアスドアウトカム適応確率推定器(DOPE)を提案する。
その結果,DOPE は様々な観測環境において ATE 推定のための効率的かつ堅牢な手法を提供することがわかった。
論文 参考訳（メタデータ） (2024-02-20T13:02:51Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。
ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。
実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
論文 参考訳（メタデータ） (2024-01-28T21:19:15Z) - Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2023-10-10T10:48:52Z) - Optimizer's Information Criterion: Dissecting and Correcting Bias in Data-Driven Optimization [16.57676001669012]
データ駆動最適化では、得られた決定のサンプル性能は通常、真の性能に対して楽観的なバイアスを生じさせる。
クロスバリデーションのような、このバイアスを修正するための一般的なテクニックは、追加の最適化問題を繰り返し解決する必要があるため、コストがかかる。
我々は一階偏差を直接近似する一般バイアス補正手法を開発し、追加の最適化問題を解く必要はない。
論文 参考訳（メタデータ） (2023-06-16T07:07:58Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Integrated Conditional Estimation-Optimization [6.037383467521294]
確率のある不確実なパラメータを文脈的特徴情報を用いて推定できる実世界の多くの最適化問題である。
不確実なパラメータの分布を推定する標準的な手法とは対照的に,統合された条件推定手法を提案する。
当社のI CEOアプローチは、穏健な条件下で理論的に一貫性があることを示します。
論文 参考訳（メタデータ） (2021-10-24T04:49:35Z) - Fast Rates for Contextual Linear Optimization [52.39202699484225]
提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。
予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
論文 参考訳（メタデータ） (2020-11-05T18:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。