論文の概要: Optimizer's Information Criterion: Dissecting and Correcting Bias in
Data-Driven Optimization
- arxiv url: http://arxiv.org/abs/2306.10081v2
- Date: Tue, 17 Oct 2023 02:09:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 21:07:34.844079
- Title: Optimizer's Information Criterion: Dissecting and Correcting Bias in
Data-Driven Optimization
- Title(参考訳): Optimizerの情報基準: データ駆動最適化におけるバイアスの分離と修正
- Authors: Garud Iyengar, Henry Lam, Tianyu Wang
- Abstract要約: データ駆動最適化では、得られた決定のサンプル性能は通常、真の性能に対して楽観的なバイアスを生じさせる。
クロスバリデーションのような、このバイアスを修正するための一般的なテクニックは、追加の最適化問題を繰り返し解決する必要があるため、コストがかかる。
我々は一階偏差を直接近似する一般バイアス補正手法を開発し、追加の最適化問題を解く必要はない。
- 参考スコア(独自算出の注目度): 18.6306170209029
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In data-driven optimization, the sample performance of the obtained decision
typically incurs an optimistic bias against the true performance, a phenomenon
commonly known as the Optimizer's Curse and intimately related to overfitting
in machine learning. Common techniques to correct this bias, such as
cross-validation, require repeatedly solving additional optimization problems
and are therefore computationally expensive. We develop a general bias
correction approach, building on what we call Optimizer's Information Criterion
(OIC), that directly approximates the first-order bias and does not require
solving any additional optimization problems. Our OIC generalizes the
celebrated Akaike Information Criterion to evaluate the objective performance
in data-driven optimization, which crucially involves not only model fitting
but also its interplay with the downstream optimization. As such it can be used
for decision selection instead of only model selection. We apply our approach
to a range of data-driven optimization formulations comprising empirical and
parametric models, their regularized counterparts, and furthermore contextual
optimization. Finally, we provide numerical validation on the superior
performance of our approach under synthetic and real-world datasets.
- Abstract(参考訳): データ駆動最適化では、得られた決定のサンプル性能は通常、オプティマイザの呪いとして知られる現象である真の性能に対する楽観的なバイアスを伴い、機械学習における過剰フィットと密接に関連している。
クロスバリデーションのようなこのバイアスを修正する一般的な手法は、追加の最適化問題を繰り返し解決する必要があるため、計算コストがかかる。
我々はOIC(Optimizer's Information Criterion)と呼ばれる一般的なバイアス補正手法を開発し、一階偏差を直接近似し、追加の最適化問題を解く必要がない。
oicは、データ駆動最適化における客観的性能を評価するために、有名な赤宅情報基準を一般化し、モデル適合性だけでなく下流最適化との相互作用も重要としている。
そのため、モデル選択のみではなく、意思決定に使用できる。
我々は,実験モデルとパラメトリックモデル,正規化モデル,さらに文脈最適化を含む,データ駆動型最適化定式化にアプローチを適用する。
最後に、合成および実世界のデータセット下でのアプローチの優れた性能に関する数値検証を行う。
関連論文リスト
- End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳(メタデータ) (2024-02-12T16:33:35Z) - Towards Efficient and Exact Optimization of Language Model Alignment [97.41422112912574]
本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
我々は,EXOがRLアルゴリズムと同じ方向に最適化されることを証明した。
さらに、現実的な人間の嗜好データに対する既存のアプローチよりも、提案手法の利点を実証する。
論文 参考訳(メタデータ) (2024-02-01T18:51:54Z) - Functional Graphical Models: Structure Enables Offline Data-Driven
Optimization [121.57202302457135]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-08T22:33:14Z) - From Function to Distribution Modeling: A PAC-Generative Approach to
Offline Optimization [30.689032197123755]
本稿では、オフラインデータ例の集合を除いて目的関数が不明なオフライン最適化の問題について考察する。
未知の目的関数を学習して最適化するのではなく、より直感的で直接的な視点で、最適化は生成モデルからサンプリングするプロセスと考えることができる。
論文 参考訳(メタデータ) (2024-01-04T01:32:50Z) - Estimate-Then-Optimize versus Integrated-Estimation-Optimization versus
Sample Average Approximation: A Stochastic Dominance Perspective [15.832111591654293]
モデルクラスが十分に特定され、十分なデータが存在する場合に、逆の振る舞いが現れることを示す。
また, 標準サンプル平均近似 (SAA) が, 後悔の点において, モデルクラスが適切に特定された場合に, 最悪の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2023-04-13T21:54:53Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - Data-Driven Offline Decision-Making via Invariant Representation
Learning [97.49309949598505]
オフラインのデータ駆動意思決定は、アクティブなインタラクションなしで最適化された決定を合成する。
オフラインデータからトレーニングされたモデルへの入力に関して最適化する場合、誤って良いように見えるアウト・オブ・ディストリビューション(OOD)インプットを生成するのは簡単です。
本稿では、オフラインデータ駆動意思決定をドメイン適応として定式化し、最適化された決定値の正確な予測を行うことを目標とする。
論文 参考訳(メタデータ) (2022-11-21T11:01:37Z) - Implicit Rate-Constrained Optimization of Non-decomposable Objectives [37.43791617018009]
機械学習における制約付き最適化問題の一家系を考察する。
我々のキーとなる考え方は、閾値パラメータをモデルパラメータの関数として表現するレート制約のある最適化を定式化することである。
本稿では, 標準勾配法を用いて, 結果の最適化問題を解く方法を示す。
論文 参考訳(メタデータ) (2021-07-23T00:04:39Z) - Tiering as a Stochastic Submodular Optimization Problem [5.659969270836789]
タイアリングは大規模情報検索システムを構築する上で欠かせない技術である。
最適化問題としての最適階層化は、部分モジュラーなknapsack制約を伴う部分モジュラー最小化問題として適用可能であることを示す。
論文 参考訳(メタデータ) (2020-05-16T07:39:29Z) - Bilevel Optimization for Differentially Private Optimization in Energy
Systems [53.806512366696275]
本稿では,入力に敏感な制約付き最適化問題に対して,差分プライバシーを適用する方法について検討する。
本稿は, 自然仮定の下では, 大規模非線形最適化問題に対して, 双レベルモデルを効率的に解けることを示す。
論文 参考訳(メタデータ) (2020-01-26T20:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。