論文の概要: Achieving First-Order Statistical Improvements in Data-Driven Optimization: From No-Free-Lunch to Amplified Decision Perturbation

• arxiv url: http://arxiv.org/abs/2608.04312v1
• Date: Wed, 05 Aug 2026 00:42:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.667785
• Title: Achieving First-Order Statistical Improvements in Data-Driven Optimization: From No-Free-Lunch to Amplified Decision Perturbation
• Title（参考訳）: データ駆動最適化における1次統計的改善の達成:ノーランチから増幅的決定摂動
• Authors: Henry Lam, Tianyu Wang,
• Abstract要約: 直交摂動」経験最適化(EO)の視点を用いたデータ駆動型最適化定式化の体系的解法を提供する。 我々は、追加の、正確に指定されたサイド情報なしでは、任意のEO+メソッドは、少なくとも2次改善をもたらすと論じる。 本稿では,システム知識あるいはブートストラップ再サンプリングを通じて,過大なリスク推定に基づく原則的手法を構築し,第1次ゲインを最大化する。
• 参考スコア（独自算出の注目度）: 15.986659037900102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent proliferation of data-optimization integration has led to a range of methods that aim to improve the statistical performance of data-driven optimization decisions. However, while many of these methods are motivated intuitively from a robustness or regularization perspective, their resulting statistical benefits are often unclear and, even if available, are established on a case-by-case basis. We provide a systematic dissection of data-driven optimization formulations using the view of "directionally perturbed" empirical optimization (EO). Specifically, this umbrella of formulations, which we call "EO+", covers many existing data-driven optimization methods, including regularization, distributionally robust optimization, transfer learning, and analogous methods for contextual optimization. On the one hand, we argue that without additional, correctly specified, side information, any EO+ method can result in at most second-order improvements. This provides a negative conclusion, namely ``no free lunch is possible", on the statistical power of EO+. On the other hand, we show that when leveraging side information that is geometrically effective, achieving first-order improvements is possible by choosing hyperparameters that are significantly larger than what is typically suggested in the literature. Moreover, we construct a principled methodology based on excess risk estimation, via either system knowledge or bootstrap resampling, to maximize the first-order gain. We demonstrate how this gain connects to the control-variate principle, a variance reduction technique in the Monte Carlo simulation literature, which helps explain why geometrically effective side information is necessary.
• Abstract（参考訳）: 近年,データ最適化統合の進展により,データ駆動最適化決定の統計的性能向上を目的とした様々な手法が提案されている。 しかしながら、これらの手法の多くは頑健さや正規化の観点から直感的に動機づけられるが、結果として得られる統計的利点はしばしば不明確であり、たとえ利用可能であってもケースバイケースで確立される。 本稿では「方向摂動」経験最適化(EO)の観点を用いて,データ駆動型最適化の体系的解法を提案する。 具体的には、「EO+」と呼ばれるこの定式化の傘は、正規化、分散ロバストな最適化、伝達学習、文脈最適化のための類似手法など、多くの既存のデータ駆動最適化手法をカバーしている。 一方,任意のEO+法では,付加的かつ正確に特定された側情報がなければ,少なくとも2次改善が達成できると主張している。 これは、EO+の統計力に基づいて「無料ランチは不可能」という否定的な結論を与える。 一方、幾何学的に有効である側情報を活用する場合、文献で通常提案されるものよりもはるかに大きいハイパーパラメータを選択することにより、一階改善が可能であることを示す。 さらに,システム知識あるいはブートストラップ再サンプリングを通じて,過剰リスク推定に基づく原則的手法を構築し,第1次ゲインを最大化する。 モンテカルロシミュレーションにおいて,この利得が制御変数の原理,分散低減技術とどのように結びついているかを示し,なぜ幾何学的に有効な側情報が必要なのかを説明する。

関連論文リスト

• L-SR1: Learned Symmetric-Rank-One Preconditioning [5.421390145168128]
  エンドツーエンドのディープラーニングは目覚ましい結果を得たが、大きなラベル付きデータセットに依存しているため、依然として制限されている。 対照的に、古典最適化法はデータ効率が高く軽量であるが、しばしば収束が遅い。 そこで本研究では,古典的シンメトリー・ランクワンアルゴリズムを強化するために,トレーニング可能なプレコンディショニングユニットを導入した新しい2次ベクトルを提案する。
  論文  参考訳（メタデータ） (2025-08-17T07:37:29Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• Optimizer's Information Criterion: Dissecting and Correcting Bias in Data-Driven Optimization [16.57676001669012]
  データ駆動最適化では、得られた決定のサンプル性能は通常、真の性能に対して楽観的なバイアスを生じさせる。 クロスバリデーションのような、このバイアスを修正するための一般的なテクニックは、追加の最適化問題を繰り返し解決する必要があるため、コストがかかる。 我々は一階偏差を直接近似する一般バイアス補正手法を開発し、追加の最適化問題を解く必要はない。
  論文  参考訳（メタデータ） (2023-06-16T07:07:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。