論文の概要: Enhancing Trust-Region Bayesian Optimization via Newton Methods

• arxiv url: http://arxiv.org/abs/2508.18423v1
• Date: Mon, 25 Aug 2025 19:15:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.564751
• Title: Enhancing Trust-Region Bayesian Optimization via Newton Methods
• Title（参考訳）: ニュートン法による信頼-レギオンベイズ最適化の強化
• Authors: Quanlin Chen, Yiyu Chen, Jing Huo, Tianyu Ding, Yang Gao, Yuetong Chen,
• Abstract要約: BOを高次元空間に拡張する新しい手法を開発した。 提案手法は,TuRBOの有効性を高め,合成機能および実世界の応用において,多種多様な高次元BO技術より優れる。
• 参考スコア（独自算出の注目度）: 28.52947510281101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Optimization (BO) has been widely applied to optimize expensive black-box functions while retaining sample efficiency. However, scaling BO to high-dimensional spaces remains challenging. Existing literature proposes performing standard BO in multiple local trust regions (TuRBO) for heterogeneous modeling of the objective function and avoiding over-exploration. Despite its advantages, using local Gaussian Processes (GPs) reduces sampling efficiency compared to a global GP. To enhance sampling efficiency while preserving heterogeneous modeling, we propose to construct multiple local quadratic models using gradients and Hessians from a global GP, and select new sample points by solving the bound-constrained quadratic program. Additionally, we address the issue of vanishing gradients of GPs in high-dimensional spaces. We provide a convergence analysis and demonstrate through experimental results that our method enhances the efficacy of TuRBO and outperforms a wide range of high-dimensional BO techniques on synthetic functions and real-world applications.
• Abstract（参考訳）: ベイズ最適化(BO)は、サンプル効率を維持しながら高価なブラックボックス関数の最適化に広く応用されている。 しかし、BOを高次元空間に拡張することは依然として困難である。 既存の文献では、目的関数の不均一なモデリングと過剰探索を避けるために、複数のローカル信頼領域(TuRBO)で標準BOを実行することを提案する。 その利点にもかかわらず、局所ガウス過程(GP)を使用すると、グローバルGPと比較してサンプリング効率が低下する。 不均一なモデリングを保ち、サンプリング効率を向上させるため、グローバルGPから勾配とヘッセンを用いた複数の局所二次モデルを構築し、制約付き二次プログラムを解くことで新しいサンプルポイントを選択することを提案する。 さらに,高次元空間におけるGPの勾配の消失問題にも対処する。 本研究では, この手法がTuRBOの有効性を高め, 合成機能および実世界の応用において, 多様な高次元BO技術より優れていることを示す。

関連論文リスト

• Gradient-based Sample Selection for Faster Bayesian Optimization [11.242721310713963]
  大予算のシナリオでは、標準GPモデルを直接活用することは、計算時間とリソース要求において大きな課題に直面します。 本稿では,勾配に基づくサンプル選択ベイズ最適化(GSSBO)を提案し,BOの計算効率を向上させる。 提案手法は,ベースライン法に匹敵する最適化性能を維持しつつ,BOにおけるGPフィッティングの計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-04-10T13:38:15Z)
• Dimensionality Reduction Techniques for Global Bayesian Optimisation [1.433758865948252]
  減次元部分空間におけるBOの実行に次元還元を適用した潜在空間ベイズ最適化について検討する。 我々は、より複雑なデータ構造や一般的なDRタスクを管理するために、変分オートエンコーダ(VAE)を使用している。 そこで本研究では,分子生成などのタスク用に設計され,より広い最適化目的のためにアルゴリズムを再構成する実装において,いくつかの重要な補正を提案する。
  論文  参考訳（メタデータ） (2024-12-12T11:27:27Z)
• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• High-Dimensional Bayesian Optimization via Nested Riemannian Manifolds [0.0]
  本研究では,様々な領域によく現れる非ユークリッド探索空間の幾何学を利用して,構造保存写像を学習することを提案する。 我々のアプローチは、ネストした多様体の埋め込みを共同で学習する幾何学的ガウス過程と、潜在空間における目的関数の表現を特徴付ける。
  論文  参考訳（メタデータ） (2020-10-21T11:24:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。