論文の概要: Achieving First-Order Statistical Improvements in Data-Driven Optimization: From No-Free-Lunch to Amplified Decision Perturbation
- arxiv url: http://arxiv.org/abs/2608.04312v1
- Date: Wed, 05 Aug 2026 00:42:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.667785
- Title: Achieving First-Order Statistical Improvements in Data-Driven Optimization: From No-Free-Lunch to Amplified Decision Perturbation
- Title（参考訳）: データ駆動最適化における1次統計的改善の達成:ノーランチから増幅的決定摂動
- Abstract要約: 直交摂動」経験最適化(EO)の視点を用いたデータ駆動型最適化定式化の体系的解法を提供する。
我々は、追加の、正確に指定されたサイド情報なしでは、任意のEO+メソッドは、少なくとも2次改善をもたらすと論じる。
本稿では,システム知識あるいはブートストラップ再サンプリングを通じて,過大なリスク推定に基づく原則的手法を構築し,第1次ゲインを最大化する。
- 参考スコア（独自算出の注目度）: 15.986659037900102
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent proliferation of data-optimization integration has led to a range of methods that aim to improve the statistical performance of data-driven optimization decisions. However, while many of these methods are motivated intuitively from a robustness or regularization perspective, their resulting statistical benefits are often unclear and, even if available, are established on a case-by-case basis. We provide a systematic dissection of data-driven optimization formulations using the view of "directionally perturbed" empirical optimization (EO). Specifically, this umbrella of formulations, which we call "EO+", covers many existing data-driven optimization methods, including regularization, distributionally robust optimization, transfer learning, and analogous methods for contextual optimization. On the one hand, we argue that without additional, correctly specified, side information, any EO+ method can result in at most second-order improvements. This provides a negative conclusion, namely ``no free lunch is possible", on the statistical power of EO+. On the other hand, we show that when leveraging side information that is geometrically effective, achieving first-order improvements is possible by choosing hyperparameters that are significantly larger than what is typically suggested in the literature. Moreover, we construct a principled methodology based on excess risk estimation, via either system knowledge or bootstrap resampling, to maximize the first-order gain. We demonstrate how this gain connects to the control-variate principle, a variance reduction technique in the Monte Carlo simulation literature, which helps explain why geometrically effective side information is necessary.
- Abstract（参考訳）: 近年,データ最適化統合の進展により,データ駆動最適化決定の統計的性能向上を目的とした様々な手法が提案されている。
しかしながら、これらの手法の多くは頑健さや正規化の観点から直感的に動機づけられるが、結果として得られる統計的利点はしばしば不明確であり、たとえ利用可能であってもケースバイケースで確立される。
本稿では「方向摂動」経験最適化(EO)の観点を用いて,データ駆動型最適化の体系的解法を提案する。
具体的には、「EO+」と呼ばれるこの定式化の傘は、正規化、分散ロバストな最適化、伝達学習、文脈最適化のための類似手法など、多くの既存のデータ駆動最適化手法をカバーしている。
一方,任意のEO+法では,付加的かつ正確に特定された側情報がなければ,少なくとも2次改善が達成できると主張している。
これは、EO+の統計力に基づいて「無料ランチは不可能」という否定的な結論を与える。
一方、幾何学的に有効である側情報を活用する場合、文献で通常提案されるものよりもはるかに大きいハイパーパラメータを選択することにより、一階改善が可能であることを示す。
さらに,システム知識あるいはブートストラップ再サンプリングを通じて,過剰リスク推定に基づく原則的手法を構築し,第1次ゲインを最大化する。
モンテカルロシミュレーションにおいて,この利得が制御変数の原理,分散低減技術とどのように結びついているかを示し,なぜ幾何学的に有効な側情報が必要なのかを説明する。
関連論文リスト
- Optimal Data Acquisition for Reinforcement Learning: A Large Deviations Perspective [5.848643785361479]
本稿では,政策選択誤差確率の指数的減衰率を原理的効率指標として紹介する。
我々は、ネストされた問題の最適解という観点から、最適性の相補的な2つの概念を定式化する。
得られた強化学習アルゴリズムは, 最適性基準の下でほぼロマンスに最適であることが証明された。
論文 参考訳（メタデータ） (2026-05-27T16:08:56Z) - Adaptive Preference Optimization with Uncertainty-aware Utility Anchor [33.74005997646761]
オフライン優先最適化手法は、大規模言語モデル(LLM)のアライメントに効率的である。
提案手法は, 嗜好データアノテーションから生じる不確実性を推定するアンカー機能を導入し, オフラインの選好最適化手法の一般的なフレームワークを提案する。
本手法は,データ不備のシナリオにおいてもトレーニングが可能であり,データ利用効率を大幅に向上させる。
論文 参考訳（メタデータ） (2025-09-03T10:20:08Z) - L-SR1: Learned Symmetric-Rank-One Preconditioning [5.421390145168128]
エンドツーエンドのディープラーニングは目覚ましい結果を得たが、大きなラベル付きデータセットに依存しているため、依然として制限されている。
対照的に、古典最適化法はデータ効率が高く軽量であるが、しばしば収束が遅い。
そこで本研究では,古典的シンメトリー・ランクワンアルゴリズムを強化するために,トレーニング可能なプレコンディショニングユニットを導入した新しい2次ベクトルを提案する。
論文 参考訳（メタデータ） (2025-08-17T07:37:29Z) - Preference Optimization for Combinatorial Optimization Problems [54.87466279363487]
強化学習(Reinforcement Learning, RL)は、ニューラルネットワーク最適化のための強力なツールとして登場した。
大幅な進歩にもかかわらず、既存のRLアプローチは報酬信号の減少や大規模な行動空間における非効率な探索といった課題に直面している。
統計的比較モデルを用いて定量的報酬信号を定性的選好信号に変換する新しい手法であるPreference Optimizationを提案する。
論文 参考訳（メタデータ） (2025-05-13T16:47:00Z) - A Fenchel-Young Loss Approach to Data-Driven Inverse Optimization [1.7068557927955381]
逆最適化とFenchel-Young(FY)損失との接続を構築する。
この新しいアプローチは、効率的な勾配に基づく最適化に適しており、従って既存の方法よりもはるかに効率的である。
論文 参考訳（メタデータ） (2025-02-22T07:04:32Z) - Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。
本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。
提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文 参考訳（メタデータ） (2024-06-04T20:33:22Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。
問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。
本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
論文 参考訳（メタデータ） (2024-02-01T18:51:54Z) - Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-08T22:33:14Z) - Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。
大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
論文 参考訳（メタデータ） (2023-10-09T14:30:06Z) - Optimizer's Information Criterion: Dissecting and Correcting Bias in Data-Driven Optimization [16.57676001669012]
データ駆動最適化では、得られた決定のサンプル性能は通常、真の性能に対して楽観的なバイアスを生じさせる。
クロスバリデーションのような、このバイアスを修正するための一般的なテクニックは、追加の最適化問題を繰り返し解決する必要があるため、コストがかかる。
我々は一階偏差を直接近似する一般バイアス補正手法を開発し、追加の最適化問題を解く必要はない。
論文 参考訳（メタデータ） (2023-06-16T07:07:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。