論文の概要: Optimizer's Information Criterion: Dissecting and Correcting Bias in
Data-Driven Optimization
- arxiv url: http://arxiv.org/abs/2306.10081v1
- Date: Fri, 16 Jun 2023 07:07:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 00:23:34.949177
- Title: Optimizer's Information Criterion: Dissecting and Correcting Bias in
Data-Driven Optimization
- Title（参考訳）: Optimizerの情報基準: データ駆動最適化におけるバイアスの分離と修正
- Authors: Garud Iyengar, Henry Lam, Tianyu Wang
- Abstract要約: データ駆動最適化では、得られた決定のサンプル性能は通常、真の性能に対して楽観的なバイアスを生じさせる。
クロスバリデーションのような、このバイアスを修正するための一般的なテクニックは、追加の最適化問題を繰り返し解決する必要があるため、コストがかかる。
我々は一階偏差を直接近似する一般バイアス補正手法を開発し、追加の最適化問題を解く必要はない。
- 参考スコア（独自算出の注目度）: 16.93425443258186
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In data-driven optimization, the sample performance of the obtained decision
typically incurs an optimistic bias against the true performance, a phenomenon
commonly known as the Optimizer's Curse and intimately related to overfitting
in machine learning. Common techniques to correct this bias, such as
cross-validation, require repeatedly solving additional optimization problems
and are therefore computationally expensive. We develop a general bias
correction approach, building on what we call Optimizer's Information Criterion
(OIC), that directly approximates the first-order bias and does not require
solving any additional optimization problems. Our OIC generalizes the
celebrated Akaike Information Criterion to evaluate the objective performance
in data-driven optimization, which crucially involves not only model fitting
but also its interplay with the downstream optimization. As such it can be used
for decision selection instead of only model selection. We apply our approach
to a range of data-driven optimization formulations comprising empirical and
parametric models, their regularized counterparts, and furthermore contextual
optimization. Finally, we provide numerical validation on the superior
performance of our approach under synthetic and real-world datasets.
- Abstract（参考訳）: データ駆動最適化では、得られた決定のサンプル性能は通常、オプティマイザの呪いとして知られる現象である真の性能に対する楽観的なバイアスを伴い、機械学習における過剰フィットと密接に関連している。
クロスバリデーションのようなこのバイアスを修正する一般的な手法は、追加の最適化問題を繰り返し解決する必要があるため、計算コストがかかる。
我々はOIC(Optimizer's Information Criterion)と呼ばれる一般的なバイアス補正手法を開発し、一階偏差を直接近似し、追加の最適化問題を解く必要がない。
oicは、データ駆動最適化における客観的性能を評価するために、有名な赤宅情報基準を一般化し、モデル適合性だけでなく下流最適化との相互作用も重要としている。
そのため、モデル選択のみではなく、意思決定に使用できる。
我々は,実験モデルとパラメトリックモデル,正規化モデル,さらに文脈最適化を含む,データ駆動型最適化定式化にアプローチを適用する。
最後に、合成および実世界のデータセット下でのアプローチの優れた性能に関する数値検証を行う。
関連論文リスト
- End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - Generative Adversarial Model-Based Optimization via Source Critic Regularization [25.19579059511105]
本稿ではアダプティブ・ソース・批評家正規化(aSCR)を用いた生成逆モデルに基づく最適化を提案する。
ASCRは、サロゲート関数が信頼できる設計空間の領域に最適化軌道を制約する。
本稿では,aSCRを標準的なベイズ最適化に活用することにより,オフライン生成設計タスクのスイートにおいて,既存の手法よりも優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2024-02-09T16:43:57Z) - Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。
問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。
本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
論文 参考訳（メタデータ） (2024-02-01T18:51:54Z) - Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-08T22:33:14Z) - Estimate-Then-Optimize versus Integrated-Estimation-Optimization versus
Sample Average Approximation: A Stochastic Dominance Perspective [15.832111591654293]
モデルクラスが十分に特定され、十分なデータが存在する場合に、逆の振る舞いが現れることを示す。
また, 標準サンプル平均近似 (SAA) が, 後悔の点において, モデルクラスが適切に特定された場合に, 最悪の結果をもたらすことを示す。
論文 参考訳（メタデータ） (2023-04-13T21:54:53Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - Data-Driven Offline Decision-Making via Invariant Representation
Learning [97.49309949598505]
オフラインのデータ駆動意思決定は、アクティブなインタラクションなしで最適化された決定を合成する。
オフラインデータからトレーニングされたモデルへの入力に関して最適化する場合、誤って良いように見えるアウト・オブ・ディストリビューション(OOD)インプットを生成するのは簡単です。
本稿では、オフラインデータ駆動意思決定をドメイン適応として定式化し、最適化された決定値の正確な予測を行うことを目標とする。
論文 参考訳（メタデータ） (2022-11-21T11:01:37Z) - Implicit Rate-Constrained Optimization of Non-decomposable Objectives [37.43791617018009]
機械学習における制約付き最適化問題の一家系を考察する。
我々のキーとなる考え方は、閾値パラメータをモデルパラメータの関数として表現するレート制約のある最適化を定式化することである。
本稿では, 標準勾配法を用いて, 結果の最適化問題を解く方法を示す。
論文 参考訳（メタデータ） (2021-07-23T00:04:39Z) - Tiering as a Stochastic Submodular Optimization Problem [5.659969270836789]
タイアリングは大規模情報検索システムを構築する上で欠かせない技術である。
最適化問題としての最適階層化は、部分モジュラーなknapsack制約を伴う部分モジュラー最小化問題として適用可能であることを示す。
論文 参考訳（メタデータ） (2020-05-16T07:39:29Z) - Bilevel Optimization for Differentially Private Optimization in Energy
Systems [53.806512366696275]
本稿では,入力に敏感な制約付き最適化問題に対して,差分プライバシーを適用する方法について検討する。
本稿は, 自然仮定の下では, 大規模非線形最適化問題に対して, 双レベルモデルを効率的に解けることを示す。
論文 参考訳（メタデータ） (2020-01-26T20:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。