論文の概要: Bayesian Optimization by Kernel Regression and Density-based Exploration

• arxiv url: http://arxiv.org/abs/2502.06178v3
• Date: Sat, 15 Mar 2025 09:45:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:33:38.360434
• Title: Bayesian Optimization by Kernel Regression and Density-based Exploration
• Title（参考訳）: カーネル回帰と密度に基づく探索によるベイズ最適化
• Authors: Tansheng Zhu, Hongyu Zhou, Ke Jin, Xusheng Xu, Qiufan Yuan, Lijie Ji,
• Abstract要約: 本稿では,カーネル回帰と密度に基づく探索(BOKE)アルゴリズムによるベイズ最適化を提案する。 BOKEは、効率的な関数近似、探索のためのカーネル密度にカーネル回帰を使用し、それらを信頼境界基準に統合して最適化プロセスの導出を行う。 我々は,BOKEがガウスのプロセスベース手法と競合するだけでなく,計算効率も優れていることを示した。
• 参考スコア（独自算出の注目度）: 12.074000212223446
• License:
• Abstract: Bayesian optimization is highly effective for optimizing expensive-to-evaluate black-box functions, but it faces significant computational challenges due to the high computational complexity of Gaussian processes, which results in a total time complexity that is quartic with respect to the number of iterations. To address this limitation, we propose the Bayesian Optimization by Kernel regression and density-based Exploration (BOKE) algorithm. BOKE uses kernel regression for efficient function approximation, kernel density for exploration, and integrates them into the confidence bound criteria to guide the optimization process, thus reducing computational costs to quadratic. Our theoretical analysis rigorously establishes the global convergence of BOKE and ensures its robustness in noisy settings. Through extensive numerical experiments on both synthetic and real-world optimization tasks, we demonstrate that BOKE not only performs competitively compared to Gaussian process-based methods but also exhibits superior computational efficiency. These results highlight BOKE's effectiveness in resource-constrained environments, providing a practical approach for optimization problems in engineering applications.
• Abstract（参考訳）: ベイズ最適化はコスト対評価のブラックボックス関数の最適化に非常に効果的であるが、ガウス過程の計算量が多いために計算上の問題に直面する。 この制限に対処するために、カーネル回帰と密度に基づく探索(BOKE)アルゴリズムによるベイズ最適化を提案する。 BOKEは、効率的な関数近似、探索のためのカーネル密度にカーネルレグレッションを使用し、それらを信頼境界基準に統合して最適化プロセスの導出を行い、計算コストを2次的に削減する。 我々の理論的分析は、BOKEのグローバル収束を厳格に確立し、ノイズの多い環境でその堅牢性を確保する。 合成および実世界の最適化タスクの広範な数値実験を通じて、BOKEはガウス過程に基づく手法と競合するだけでなく、計算効率も優れていることを示した。 これらの結果は,BOKEの資源制約環境における有効性を強調し,エンジニアリングアプリケーションにおける最適化問題に対する実践的なアプローチを提供する。

関連論文リスト

• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [2.3342885570554652]
  本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。 我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-22T10:56:52Z)
• Quantum-Enhanced Simulation-Based Optimization for Newsvendor Problems [5.500172106704342]
  古典モンテカルロシミュレーションと比較して量子振幅推定(QAE)の高効率性を利用する。 本研究では,シミュレーションに基づく最適化に量子エンハンスアルゴリズムを用い,NP-hardとして知られる古典ニュース問題の変種を解く。
  論文  参考訳（メタデータ） (2024-03-26T05:14:50Z)
• Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
  ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。 新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
  論文  参考訳（メタデータ） (2024-01-30T14:16:06Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Neural-BO: A Black-box Optimization Algorithm using Deep Neural Networks [12.218039144209017]
  ニューラルネットワークを用いてブラックボックス関数をモデル化する新しいブラックボックス最適化アルゴリズムを提案する。 我々のアルゴリズムは予測の不確実性を推定するためにベイズニューラルネットワークを必要としないので、計算に有利である。
  論文  参考訳（メタデータ） (2023-03-03T02:53:56Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Data-driven evolutionary algorithm for oil reservoir well-placement and control optimization [3.012067935276772]
  一般化されたデータ駆動進化アルゴリズム(GDDE)は、適切な配置と制御最適化問題で実行されるシミュレーションの数を減らすために提案される。 確率的ニューラルネットワーク(PNN)は、情報的および有望な候補を選択するための分類器として採用されている。
  論文  参考訳（メタデータ） (2022-06-07T09:07:49Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。