論文の概要: Batch Acquisition Function Evaluations and Decouple Optimizer Updates for Faster Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2511.13625v2
• Date: Tue, 18 Nov 2025 15:38:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 13:59:16.899951
• Title: Batch Acquisition Function Evaluations and Decouple Optimizer Updates for Faster Bayesian Optimization
• Title（参考訳）: より高速なベイズ最適化のためのバッチ獲得関数評価と2次最適化器更新
• Authors: Kaichi Irie, Shuhei Watanabe, Masaki Onishi,
• Abstract要約: 取得関数を最大化することにより,高い性能パラメータを効率的に見つける方法を示す。 この問題に対処するために、理論上同一のQNN取得関数の収束を分離することを提案する。
• 参考スコア（独自算出の注目度）: 10.36384630923661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) efficiently finds high-performing parameters by maximizing an acquisition function, which models the promise of parameters. A major computational bottleneck arises in acquisition function optimization, where multi-start optimization (MSO) with quasi-Newton (QN) methods is required due to the non-convexity of the acquisition function. BoTorch, a widely used BO library, currently optimizes the summed acquisition function over multiple points, leading to the speedup of MSO owing to PyTorch batching. Nevertheless, this paper empirically demonstrates the suboptimality of this approach in terms of off-diagonal approximation errors in the inverse Hessian of a QN method, slowing down its convergence. To address this problem, we propose to decouple QN updates using a coroutine while batching the acquisition function calls. Our approach not only yields the theoretically identical convergence to the sequential MSO but also drastically reduces the wall-clock time compared to the previous approaches. Our approach is available in GPSampler in Optuna, effectively reducing its computational overhead.
• Abstract（参考訳）: ベイズ最適化(BO)は、パラメータの約束をモデル化する獲得関数を最大化することで、高性能なパラメータを効率的に見つける。 取得関数の非凸性のため、準ニュートン(QN)法によるマルチスタート最適化(MSO)が必要となる。 広く使われているBOライブラリであるBoTorchは、現在、複数のポイントにわたる総和取得関数を最適化しており、PyTorchバッチによるMSOの高速化につながっている。 それにもかかわらず、本論文は、QN法における逆ヘシアンにおける非対角近似誤差の観点から、このアプローチの準最適性を実証的に証明し、収束を遅くする。 そこで本研究では,取得関数呼び出しをバッチ化しながら,コルーチンを用いてQN更新を分離する手法を提案する。 提案手法は, シーケンシャルMSOに理論的に同一収束するだけでなく, 壁面時間を大幅に短縮する。 我々のアプローチはオプトゥーナのGPSアンプラーで利用可能であり、計算オーバーヘッドを効果的に削減できる。

関連論文リスト

• Iterative Interpolation Schedules for Quantum Approximate Optimization Algorithm [1.845978975395919]
  本稿では,最適パラメータスケジュールの滑らかさを関数に基づいて表現することで,反復的手法を提案する。 提案手法は,現在の手法よりも少ない最適化ステップで性能の向上を実証する。 最大のLABSの場合、1000層を超えるスケジュールでほぼ最適のメリットを達成できます。
  論文  参考訳（メタデータ） (2025-04-02T12:53:21Z)
• Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [5.23716716929969]
  本稿では,大域的獲得関数最適化のパラダイムとして混合整数 Kernel-MIQP について検討する。 提案した近似の理論的境界を解析し,その枠組みを実証的に実証する。
  論文  参考訳（メタデータ） (2024-10-22T10:56:52Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Batch Bayesian Optimization via Particle Gradient Flows [0.5735035463793008]
  ブラックボックスとしてしか利用できない,あるいは評価に費用がかかる対象関数のグローバルな最適化方法を示す。 確率測度の空間上の多点予測確率に基づく新しい関数を構築する。
  論文  参考訳（メタデータ） (2022-09-10T18:10:15Z)
• Iterative-Free Quantum Approximate Optimization Algorithm Using Neural Networks [20.051757447006043]
  そこで本稿では,ニューラルネットワークを用いて与えられた問題に対して,より優れたパラメータを求めるための実践的手法を提案する。 我々の手法は一貫して収束し、最終結果も最高速である。
  論文  参考訳（メタデータ） (2022-08-21T14:05:11Z)
• Two-step Lookahead Bayesian Optimization with Inequality Constraints [21.703234193908038]
  本稿では,2段階の制約付きベイズ最適化獲得関数 (2-OPT-C) を提案する。 数値実験では、2-OPT-Cは従来の手法よりも2倍以上のクエリ効率が向上し、場合によっては10倍以上のクエリ効率が向上する。
  論文  参考訳（メタデータ） (2021-12-06T07:40:54Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。