論文の概要: Risk Guarantees for End-to-End Prediction and Optimization Processes
- arxiv url: http://arxiv.org/abs/2012.15046v1
- Date: Wed, 30 Dec 2020 05:20:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-18 05:57:55.121008
- Title: Risk Guarantees for End-to-End Prediction and Optimization Processes
- Title（参考訳）: エンドツーエンド予測と最適化プロセスのリスク保証
- Authors: Nam Ho-Nguyen and Fatma K{\i}l{\i}n\c{c}-Karzan
- Abstract要約: 予測性能が最適化性能をどのように支配するかを明確に記述できる条件を検討します。
我々は、二乗損失で測定された予測性能と対称損失関数のクラスとその後の最適化性能との正確な理論的関係を導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prediction models are often employed in estimating parameters of optimization
models. Despite the fact that in an end-to-end view, the real goal is to
achieve good optimization performance, the prediction performance is measured
on its own. While it is usually believed that good prediction performance in
estimating the parameters will result in good subsequent optimization
performance, formal theoretical guarantees on this are notably lacking. In this
paper, we explore conditions that allow us to explicitly describe how the
prediction performance governs the optimization performance. Our weaker
condition allows for an asymptotic convergence result, while our stronger
condition allows for exact quantification of the optimization performance in
terms of the prediction performance. In general, verification of these
conditions is a non-trivial task. Nevertheless, we show that our weaker
condition is equivalent to the well-known Fisher consistency concept from the
learning theory literature. This then allows us to easily check our weaker
condition for several loss functions. We also establish that the squared error
loss function satisfies our stronger condition. Consequently, we derive the
exact theoretical relationship between prediction performance measured with the
squared loss, as well as a class of symmetric loss functions, and the
subsequent optimization performance. In a computational study on portfolio
optimization, fractional knapsack and multiclass classification problems, we
compare the optimization performance of using of several prediction loss
functions (some that are Fisher consistent and some that are not) and
demonstrate that lack of consistency of the loss function can indeed have a
detrimental effect on performance.
- Abstract（参考訳）: 予測モデルは最適化モデルのパラメータを推定するためにしばしば用いられる。
エンドツーエンドの観点では、真の目標は、優れた最適化性能を達成することだが、予測性能は単独で測定される。
パラメータの推定における優れた予測性能は、後続の最適化性能をもたらすと信じられているが、それに対する正式な理論的保証は特に不足している。
本稿では,予測性能が最適化性能をどのように支配するかを明確に記述できる条件について検討する。
より弱い条件では漸近収束の結果が得られるが、より強い条件では予測性能の観点から最適化性能を正確に定量化することができる。
一般に、これらの条件の検証は非自明なタスクである。
それでも、我々の弱い条件は、学習理論の文献からよく知られたフィッシャー整合性の概念と等価であることを示す。
これにより、いくつかの損失関数に対してより弱い条件を簡単にチェックできる。
また、二乗誤差損失関数が我々のより強い条件を満たすことも確認する。
その結果、二乗損失で測定した予測性能と対称損失関数のクラスと、それに続く最適化性能との正確な理論的関係が導出される。
ポートフォリオ最適化,分数ナップサック,多クラス分類問題に関する計算研究において,複数の予測損失関数(フィッシャー一貫性のあるもの,そうでないもの)を用いた最適化性能を比較し,損失関数の一貫性の欠如が性能に有害な影響を与えることを実証する。
関連論文リスト
- Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Variational Inference with Coverage Guarantees in Simulation-Based Inference [18.818573945984873]
コンフォーマル化補正ニューラル変分推論(CANVI)を提案する。
CANVIは各候補に基づいて共形予測器を構築し、予測効率と呼ばれる計量を用いて予測器を比較し、最も効率的な予測器を返す。
我々は,CANVIが生成する領域の予測効率の低い境界を証明し,その近似に基づいて,後部近似の品質と予測領域の予測効率の関係について検討する。
論文 参考訳（メタデータ） (2023-05-23T17:24:04Z) - Bayesian Optimization with Conformal Prediction Sets [44.565812181545645]
コンフォーマル予測(Conformal prediction)は、不確実な定量化手法であり、不特定モデルに対してもカバレッジを保証する。
本稿では,モデルの妥当性が保証された検索空間の領域にクエリを誘導する共形ベイズ最適化を提案する。
多くの場合、クエリのカバレッジはサンプル効率を損なうことなく大幅に改善できる。
論文 参考訳（メタデータ） (2022-10-22T17:01:05Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Bayesian Optimization of Function Networks [20.73717187683924]
本稿では,関数ネットワークの出力のベイジアン最適化,親ノードの出力の入力として各関数が要し,ネットワークの評価に要する時間について考察する。
我々の手法は、前者が無視する情報、すなわちネットワーク内の中間出力を活用することにより、クエリ効率を向上する。
提案手法は,いくつかの合成および実世界の問題において,標準的なベイズ最適化手法よりも劇的に優れていることを示す。
論文 参考訳（メタデータ） (2021-12-31T05:35:21Z) - Implicit Rate-Constrained Optimization of Non-decomposable Objectives [37.43791617018009]
機械学習における制約付き最適化問題の一家系を考察する。
我々のキーとなる考え方は、閾値パラメータをモデルパラメータの関数として表現するレート制約のある最適化を定式化することである。
本稿では, 標準勾配法を用いて, 結果の最適化問題を解く方法を示す。
論文 参考訳（メタデータ） (2021-07-23T00:04:39Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-06-29T09:48:46Z) - The Perils of Learning Before Optimizing [16.97597806975415]
本稿では,最適化タスクを通じて予測モデルを識別することで,エンドツーエンドで予測モデルを学習する方法を示す。
2段階のアプローチとエンドツーエンドのアプローチのパフォーマンスギャップは、最適化における相関の概念の強調と密接に関係していることが示される。
論文 参考訳（メタデータ） (2021-06-18T20:43:47Z) - Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。
まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。
次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
論文 参考訳（メタデータ） (2021-02-10T15:23:20Z) - Fast Rates for Contextual Linear Optimization [52.39202699484225]
提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。
予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
論文 参考訳（メタデータ） (2020-11-05T18:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。