論文の概要: The Perils of Learning Before Optimizing
- arxiv url: http://arxiv.org/abs/2106.10349v1
- Date: Fri, 18 Jun 2021 20:43:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-25 05:48:02.005616
- Title: The Perils of Learning Before Optimizing
- Title（参考訳）: 最適化する前の学習の限界
- Authors: Chris Cameron, Jason Hartford, Taylor Lundy, Kevin Leyton-Brown
- Abstract要約: 本稿では,最適化タスクを通じて予測モデルを識別することで,エンドツーエンドで予測モデルを学習する方法を示す。
2段階のアプローチとエンドツーエンドのアプローチのパフォーマンスギャップは、最適化における相関の概念の強調と密接に関係していることが示される。
- 参考スコア（独自算出の注目度）: 16.97597806975415
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Formulating real-world optimization problems often begins with making
predictions from historical data (e.g., an optimizer that aims to recommend
fast routes relies upon travel-time predictions). Typically, learning the
prediction model used to generate the optimization problem and solving that
problem are performed in two separate stages. Recent work has showed how such
prediction models can be learned end-to-end by differentiating through the
optimization task. Such methods often yield empirical improvements, which are
typically attributed to end-to-end making better error tradeoffs than the
standard loss function used in a two-stage solution. We refine this explanation
and more precisely characterize when end-to-end can improve performance. When
prediction targets are stochastic, a two-stage solution must make an a priori
choice about which statistics of the target distribution to model -- we
consider expectations over prediction targets -- while an end-to-end solution
can make this choice adaptively. We show that the performance gap between a
two-stage and end-to-end approach is closely related to the \emph{price of
correlation} concept in stochastic optimization and show the implications of
some existing POC results for our predict-then-optimize problem. We then
consider a novel and particularly practical setting, where coefficients in the
objective function depend on multiple prediction targets. We give explicit
constructions where (1) two-stage performs unboundedly worse than end-to-end;
and (2) two-stage is optimal. We identify a large set of real-world
applications whose objective functions rely on multiple prediction targets but
which nevertheless deploy two-stage solutions. We also use simulations to
experimentally quantify performance gaps.
- Abstract（参考訳）: 実世界の最適化問題の定式化は、しばしば歴史的データ(例えば、高速ルートを推奨する最適化器)から予測することから始まる。
通常、最適化問題を生成するために使用される予測モデルを学習し、その問題を2つの別々の段階で解く。
近年の研究では、最適化タスクを微分することで、このような予測モデルをエンドツーエンドで学べることを示した。
このような手法はしばしば経験的な改善をもたらすが、これは通常、2段階の解法で使われる標準的な損失関数よりも良いエラートレードオフを行うエンドツーエンドに起因する。
我々は、この説明を洗練し、エンドツーエンドがパフォーマンスを改善するときにより正確に特徴付ける。
予測対象が確率的である場合、2段階のソリューションは、モデルへのターゲット分布の統計値 -- 予測対象に対する期待を考える -- を事前選択しなければならない。
確率的最適化における二段階法とエンドツーエンド法の性能差は,確率的最適化における \emph{price of correlation} の概念と密接に関連し,予測最適化問題に対する既存の poc 結果の影響を示す。
次に,目的関数の係数が複数の予測対象に依存する,新しい,特に実用的な設定を考える。
我々は,(1)二段階がエンドツーエンドよりも無制限に悪くなる,(2)二段階が最適である明示的な構成を与える。
目的関数が複数の予測対象に依存するが、しかしながら2段階のソリューションをデプロイする実世界のアプリケーション群を同定する。
また,シミュレーションを用いて性能ギャップを実験的に定量化する。
関連論文リスト
- Bayesian Optimization for Non-Convex Two-Stage Stochastic Optimization Problems [2.9016548477524156]
知識に基づく獲得関数を定式化し,第1段と第2段の変数を協調的に最適化する。
可変型間の寸法と長さの差が2段階アルゴリズムの非効率性をもたらすことを示す。
論文 参考訳（メタデータ） (2024-08-30T16:26:31Z) - Loss Shaping Constraints for Long-Term Time Series Forecasting [79.3533114027664]
本稿では,長期時系列予測のための制約付き学習手法を提案する。
提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-14T18:20:44Z) - Optimizing accuracy and diversity: a multi-task approach to forecast
combinations [0.0]
両問題を同時に解くことに焦点を当てたマルチタスク最適化パラダイムを提案する。
標準的な機能ベースの予測アプローチに、さらなる学習と最適化のタスクが組み込まれている。
提案手法は,特徴に基づく予測において,多様性の本質的な役割を引き出すものである。
論文 参考訳（メタデータ） (2023-10-31T15:26:33Z) - DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。
既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。
DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
論文 参考訳（メタデータ） (2023-08-11T00:44:46Z) - Bayesian Optimization with Conformal Prediction Sets [44.565812181545645]
コンフォーマル予測(Conformal prediction)は、不確実な定量化手法であり、不特定モデルに対してもカバレッジを保証する。
本稿では,モデルの妥当性が保証された検索空間の領域にクエリを誘導する共形ベイズ最適化を提案する。
多くの場合、クエリのカバレッジはサンプル効率を損なうことなく大幅に改善できる。
論文 参考訳（メタデータ） (2022-10-22T17:01:05Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Predict and Optimize: Through the Lens of Learning to Rank [9.434400627011108]
ノイズコントラスト推定は、ソリューションキャッシュのランク付けを学習する場合とみなすことができる。
また、最適化問題を解くことなく、閉じた形で区別できるペアワイズとリストワイズランキングの損失関数も開発する。
論文 参考訳（メタデータ） (2021-12-07T10:11:44Z) - RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。
この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。
ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
論文 参考訳（メタデータ） (2021-10-27T05:37:12Z) - Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。
理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
論文 参考訳（メタデータ） (2021-08-27T19:03:32Z) - Fast Rates for Contextual Linear Optimization [52.39202699484225]
提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。
予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
論文 参考訳（メタデータ） (2020-11-05T18:43:59Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。