論文の概要: Principled Design of Expected Improvement for Continuous Simulation Optimization
- arxiv url: http://arxiv.org/abs/2610.18434v2
- Date: Wed, 14 Oct 2026 08:02:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 12:10:45.422404
- Title: Principled Design of Expected Improvement for Continuous Simulation Optimization
- Title（参考訳）: 連続シミュレーション最適化のための期待された改善の原理設計
- Abstract要約: 未知の異方性雑音は 3つの基本設計選択を伴います
改善、レプリケーションアロケーション、最終的なレコメンデーションを定義するために、既存のものを選択します。
これは、連続領域EI型シミュレーション最適化法において、この形式に対する最初の単純回帰保証である。
- 参考スコア（独自算出の注目度）: 5.140215372395416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Expected improvement based on stochastic kriging (SK) surrogate is widely used in continuous simulation optimization, but unknown heteroscedastic noise makes three basic design choices consequential: the incumbent to define improvement, replication allocation, and final recommendation. Existing methods typically either assume the noise levels are known or choose these components separately through heuristic rules or empirical calibration. We instead derive a high-probability upper bound on the simple regret and systematically choose the three components within general rule classes to tighten this bound. We first establish a finite-sample confidence bound for the SK predictor as a foundation for the three design choices. Within general posterior-quantile rule classes, tightening the regret certificate selects a lower-quantile incumbent and an upper-quantile recommendation among sampled designs. The opposing quantiles reflect the different roles of exploratory experiments and the final implemented decision. Under mild conditions satisfied by common kernels, minimizing a tractable kernel-specific bound yields a logarithmic replication order. Based on these design choices, the resulting simple regret matches the existing results under known homoscedastic noise up to logarithmic factors. To our knowledge, this is the first simple-regret guarantee of this form for a continuous-domain EI-type simulation optimization method that learns unknown heteroscedastic variances through replications.
- Abstract（参考訳）: 確率クリグ(SK)サロゲートに基づく改善は連続的なシミュレーションの最適化に広く用いられているが、未知のヘテロセダスティックノイズは3つの基本的な設計選択を連続的に行う。
既存の手法は通常、ノイズレベルが知られていると仮定するか、ヒューリスティックな規則や経験的な校正によって別々にこれらの成分を選択するかのいずれかである。
代わりに、単純な後悔に基づいて高確率上界を導出し、この境界を締め付けるために一般規則クラス内の3つの成分を体系的に選択する。
まず,SK予測器の有限サンプル信頼度を3つの設計選択の基礎として確立する。
一般的な後量子規則クラスにおいて、後悔証明書の締め付けは、サンプリングされた設計のうち、下量子現像者および上量子現像者を選択する。
反対の量子は、探索実験と最終的な決定の異なる役割を反映している。
共通カーネルによって満たされる穏やかな条件下では、抽出可能なカーネル固有の境界を最小化すれば対数複製順序が得られる。
これらの設計選択に基づいて、結果として生じる単純な後悔は、既知の相補的ノイズの下での既存の結果と対数的要因に一致する。
我々の知る限り、これは複製を通して未知の異種性分散を学習する連続領域EI型シミュレーション最適化法において、この形式の単純な保証となる。
関連論文リスト
- Relative-Entropy Geometry and Convergence in Nonconvex Wiretap Optimization [42.71287663143178]
セキュア通信における簡易性に関する非最適化問題に対して,エントロピー降下法を開発し,解析する。
チャネルアイデンティティを最適化した正確な相対反復は、独立な主収束を確立し、ステップとともに明確なミラー-蛍光性を確立する。
実験は複数の惹きつける値をもたらし、前処理による厳格な改善を実証する。
論文 参考訳（メタデータ） (2026-10-13T17:35:33Z) - Partially Informed Stochastic Optimization via Zeroth-Order Residual Tracking [38.97446792838266]
部分的インフォームド最適化(PISO)は、利用可能なコンポーネントと残余イテレーションの実行推定を組み合わせたものである。
滑らかな非目的に対して、残差の初期等級に依存する収束保証を確立する。
PISOは、リプシッツと(O(d2varepsilon-5)の下で、さらにリプシッツとヘッセンの仮定の下で、主要な関数探索複合体(Od2varepsilon-6)を得る。
論文 参考訳（メタデータ） (2026-10-09T17:20:41Z) - Optimal Momentum Methods for Stochastic Multilevel Compositional Optimization [59.75358446504504]
本稿では,複数のスムーズな非パラメータからなるネスト構成を目的とするマルチレベル最適化について検討する。
我々は、運動量勾配推定器を構築するために、ミニバッチを持つ運動量ベース推定器を用いる。
また,関数値のクリッピングに一階近似を組み込んだバッチフリー手法を開発した。
論文 参考訳（メタデータ） (2026-10-01T12:32:40Z) - Unified High-Probability Analysis of Stochastic Variance-Reduced Estimation [15.37118525209153]
本稿では,メモリ保持,リセット確率,反復運動の補正項という3つの要素からなる再帰に基づく分散推定のための統一的フレームワークを開発する。
我々の主な結果は、ベクトルマーチンガレットのランダム和を含む滑らかなノルム空間に対して有効である新しい次元自由ベクトル値フリードマンを用いて証明された統一された高確率境界である。
応用として、ミラー降下による非拘束最適化のための高確率オラクル複素数を求め、信頼度に対数的依存を確立する。
論文 参考訳（メタデータ） (2026-05-14T20:17:10Z) - Learning to Shuffle: Block Reshuffling and Reversal Schemes for Stochastic Optimization [20.63685754619351]
大規模言語モデル(LLM)誘導プログラム進化フレームワークを用いて,SGDを置き換えることなく,効率的なシャッフルルールを発見する。
ブロックリシャッフルは, 統一シャッフルにおけるプレフィックス-勾配変動定数を厳格に低減し, 弱条件下でのランダムリシャッフルよりも良好な改善をもたらすことを示す。
また、ペア逆転がエポックマップを対称性付け、先行する順序依存の2次項をキャンセルし、ステップサイズにおいて2次から3次への順序感度を低下させることを示した。
論文 参考訳（メタデータ） (2026-03-31T21:40:43Z) - On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。
本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
論文 参考訳（メタデータ） (2025-10-22T18:25:43Z) - A Simple and Scalable Tensor Completion Algorithm via Latent Invariant
Constraint for Recommendation System [6.125831939376033]
本研究では,ユーザ評価の低さを考慮に入れた,観測不能な個人の嗜好に対するモデルのパラメータを効率的に,かつ正確に学習する手法を提案する。
テンソル分解を1つの潜在不変量で正規化することにより、信頼できるレコメンダシステムに対して3つの特性を達成する。
論文 参考訳（メタデータ） (2022-06-27T15:03:18Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。