論文の概要: Convergence-Rate-Guided Algorithm Design of Expected Improvement for Continuous Simulation Optimization
- arxiv url: http://arxiv.org/abs/2610.18434v1
- Date: Tue, 13 Oct 2026 14:10:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.626276
- Title: Convergence-Rate-Guided Algorithm Design of Expected Improvement for Continuous Simulation Optimization
- Title（参考訳）: Convergence-Rate-Guided Algorithm Design of expecteded Improvement for Continuous Simulation Optimization (特集:一般セッション)
- Abstract要約: SKサロゲートに基づく期待改善(EI)は, 連続シミュレーション最適化において広く利用されている。
シミュレーション出力における未知のヘテロセダスティックノイズは、改善を定義するために使用される現像剤、各サンプル点における複製レベル、および端末推奨の3つの基本設計選択を行う。
複製によって未知のヘテロ代数学的分散を学習する連続領域EI型シミュレーション最適化法について,簡易な保証法を提案する。
- 参考スコア（独自算出の注目度）: 5.140215372395416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Expected improvement (EI) based on stochastic kriging (SK) surrogate is widely used in continuous simulation optimization, but unknown heteroscedastic noise on simulation output makes three basic design choices consequential: the incumbent used to define improvement, the replication level at each sampled point, and the terminal recommendation. Existing methods typically either assume the noise levels are known or choose these components separately through heuristic rules or empirical calibration. We instead derive a high-probability upper bound on the simple regret and systematically choose the three components within general rule classes to tighten this bound. We first establish a finite-sample confidence bound for the SK predictor with unknown and estimated noise levels as a foundation for the three design choices. We then analyze general posterior-quantile families for both the incumbent and the terminal recommendation. For the incumbent, minimizing the regret bound selects a lower quantile coefficient that matches the coefficient in the SK predictor confidence bound. For the terminal recommendation, minimizing the same bound instead selects the sampled point with the best upper posterior quantile under the same coefficient. These opposite quantile choices reflect the different roles of search and implementation in simulation optimization. Intermediate simulations are exploratory with an optimistic incumbent, while the terminal recommendation is implemented in the real system and is therefore relatively conservative about the remaining posterior uncertainty. Under mild conditions satisfied by common kernels, minimizing a tractable kernel-specific bound yields $Θ(\log T)$ replications. To our knowledge, this is the first simple-regret guarantee for a continuous-domain EI-type simulation optimization method that learns unknown heteroscedastic variances through replications.
- Abstract（参考訳）: 確率クリグ(SK)サロゲートに基づく期待改善(EI)は、連続的なシミュレーション最適化において広く用いられているが、シミュレーション出力における未知のヘテロセダスティックノイズは、3つの基本設計選択を連続的に行う。
既存の手法は通常、ノイズレベルが知られていると仮定するか、ヒューリスティックな規則や経験的な校正によって別々にこれらの成分を選択するかのいずれかである。
代わりに、単純な後悔に基づいて高確率上界を導出し、この境界を締め付けるために一般規則クラス内の3つの成分を体系的に選択する。
まず,SK予測器の雑音レベルが未知かつ推定される有限サンプル信頼度を3つの設計選択の基礎として確立する。
次に,既存および終末レコメンデーションのいずれにおいても,一般的な後クエンタイル系を解析する。
現時点において、後悔境界の最小化は、SK予測器信頼境界の係数に一致する低い量子係数を選択する。
終端レコメンデーションでは、同じ境界を最小化する代わりに、同じ係数の下で最上位の量子量でサンプリングされた点を選択する。
これらの反対の量的選択は、シミュレーション最適化における探索と実装の異なる役割を反映している。
中間シミュレーションは楽観的な現況とともに探索的であり、終末勧告は実システムで実施され、残余の不確実性については比較的保守的である。
一般的なカーネルによって満たされる穏やかな条件下では、抽出可能なカーネル固有の境界を最小化すれば、$$(\log T)$レプリケーションが得られる。
我々の知る限り、これは複製を通して未知のヘテロ代数学的分散を学習する連続領域EI型シミュレーション最適化法に対する最初の単純な保証である。
関連論文リスト
- Relative-Entropy Geometry and Convergence in Nonconvex Wiretap Optimization [42.71287663143178]
セキュア通信における簡易性に関する非最適化問題に対して,エントロピー降下法を開発し,解析する。
チャネルアイデンティティを最適化した正確な相対反復は、独立な主収束を確立し、ステップとともに明確なミラー-蛍光性を確立する。
実験は複数の惹きつける値をもたらし、前処理による厳格な改善を実証する。
論文 参考訳（メタデータ） (2026-10-13T17:35:33Z) - Partially Informed Stochastic Optimization via Zeroth-Order Residual Tracking [38.97446792838266]
部分的インフォームド最適化(PISO)は、利用可能なコンポーネントと残余イテレーションの実行推定を組み合わせたものである。
滑らかな非目的に対して、残差の初期等級に依存する収束保証を確立する。
PISOは、リプシッツと(O(d2varepsilon-5)の下で、さらにリプシッツとヘッセンの仮定の下で、主要な関数探索複合体(Od2varepsilon-6)を得る。
論文 参考訳（メタデータ） (2026-10-09T17:20:41Z) - Optimal Momentum Methods for Stochastic Multilevel Compositional Optimization [59.75358446504504]
本稿では,複数のスムーズな非パラメータからなるネスト構成を目的とするマルチレベル最適化について検討する。
我々は、運動量勾配推定器を構築するために、ミニバッチを持つ運動量ベース推定器を用いる。
また,関数値のクリッピングに一階近似を組み込んだバッチフリー手法を開発した。
論文 参考訳（メタデータ） (2026-10-01T12:32:40Z) - Unified High-Probability Analysis of Stochastic Variance-Reduced Estimation [15.37118525209153]
本稿では,メモリ保持,リセット確率,反復運動の補正項という3つの要素からなる再帰に基づく分散推定のための統一的フレームワークを開発する。
我々の主な結果は、ベクトルマーチンガレットのランダム和を含む滑らかなノルム空間に対して有効である新しい次元自由ベクトル値フリードマンを用いて証明された統一された高確率境界である。
応用として、ミラー降下による非拘束最適化のための高確率オラクル複素数を求め、信頼度に対数的依存を確立する。
論文 参考訳（メタデータ） (2026-05-14T20:17:10Z) - Learning to Shuffle: Block Reshuffling and Reversal Schemes for Stochastic Optimization [20.63685754619351]
大規模言語モデル(LLM)誘導プログラム進化フレームワークを用いて,SGDを置き換えることなく,効率的なシャッフルルールを発見する。
ブロックリシャッフルは, 統一シャッフルにおけるプレフィックス-勾配変動定数を厳格に低減し, 弱条件下でのランダムリシャッフルよりも良好な改善をもたらすことを示す。
また、ペア逆転がエポックマップを対称性付け、先行する順序依存の2次項をキャンセルし、ステップサイズにおいて2次から3次への順序感度を低下させることを示した。
論文 参考訳（メタデータ） (2026-03-31T21:40:43Z) - On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。
本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
論文 参考訳（メタデータ） (2025-10-22T18:25:43Z) - A Simple and Scalable Tensor Completion Algorithm via Latent Invariant
Constraint for Recommendation System [6.125831939376033]
本研究では,ユーザ評価の低さを考慮に入れた,観測不能な個人の嗜好に対するモデルのパラメータを効率的に,かつ正確に学習する手法を提案する。
テンソル分解を1つの潜在不変量で正規化することにより、信頼できるレコメンダシステムに対して3つの特性を達成する。
論文 参考訳（メタデータ） (2022-06-27T15:03:18Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。