論文の概要: Gradient-based Sample Selection for Faster Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2504.07742v1
• Date: Thu, 10 Apr 2025 13:38:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 17:28:44.713073
• Title: Gradient-based Sample Selection for Faster Bayesian Optimization
• Title（参考訳）: 高速ベイズ最適化のための勾配型サンプル選択法
• Authors: Qiyu Wei, Haowei Wang, Zirui Cao, Songhao Wang, Richard Allmendinger, Mauricio A Álvarez,
• Abstract要約: 大予算のシナリオでは、標準GPモデルを直接活用することは、計算時間とリソース要求において大きな課題に直面します。 本稿では,勾配に基づくサンプル選択ベイズ最適化(GSSBO)を提案し,BOの計算効率を向上させる。 提案手法は,ベースライン法に匹敵する最適化性能を維持しつつ,BOにおけるGPフィッティングの計算コストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 11.242721310713963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) is an effective technique for black-box optimization. However, its applicability is typically limited to moderate-budget problems due to the cubic complexity in computing the Gaussian process (GP) surrogate model. In large-budget scenarios, directly employing the standard GP model faces significant challenges in computational time and resource requirements. In this paper, we propose a novel approach, gradient-based sample selection Bayesian Optimization (GSSBO), to enhance the computational efficiency of BO. The GP model is constructed on a selected set of samples instead of the whole dataset. These samples are selected by leveraging gradient information to maintain diversity and representation. We provide a theoretical analysis of the gradient-based sample selection strategy and obtain explicit sublinear regret bounds for our proposed framework. Extensive experiments on synthetic and real-world tasks demonstrate that our approach significantly reduces the computational cost of GP fitting in BO while maintaining optimization performance comparable to baseline methods.
• Abstract（参考訳）: ベイズ最適化(BO)はブラックボックス最適化に有効な手法である。 しかし、その適用性は通常、ガウス過程(GP)サロゲートモデルの計算における立方的複雑さのため、中間予算の問題に限られる。 大予算のシナリオでは、標準GPモデルを直接活用することは、計算時間とリソース要求において大きな課題に直面します。 本稿では,勾配に基づくサンプル選択ベイズ最適化(GSSBO)を提案し,BOの計算効率を向上させる。 GPモデルは、データセット全体ではなく、選択されたサンプルセット上に構築される。 これらのサンプルは、勾配情報を利用して多様性と表現を維持することによって選択される。 本稿では,勾配に基づくサンプル選択戦略の理論解析を行い,提案フレームワークに対する明示的なサブ線形後悔境界を求める。 提案手法は,ベースライン法に匹敵する最適化性能を維持しつつ,BOにおけるGPフィッティングの計算コストを大幅に削減することを示す。

関連論文リスト

• Scalable Bayesian Optimization via Focalized Sparse Gaussian Processes [8.40647440727154]
  我々は,より効率的な表現力を検索空間の関連領域に割り当てることのできる,疎いGPを用いたベイズ最適化アルゴリズムについて論じる。 本研究では,FocalBOが大量のオフラインおよびオンラインデータを効率よく活用し,ロボット形態学設計における最先端性能と585次元筋骨格系を制御できることを示す。
  論文  参考訳（メタデータ） (2024-12-29T06:36:15Z)
• Vector Optimization with Gaussian Process Bandits [7.049738935364297]
  複数の目的を同時に考慮しなければならない学習問題は、工学、薬物設計、環境管理など、様々な分野においてしばしば発生する。 複数のブラックボックスの目的関数を扱う従来の方法は、目的の選好を取り入れ、それに応じて解空間を探索することに制限がある。 ガウス過程の帯域幅を用いてブラックボックスベクトル最適化を行う適応除去アルゴリズムであるガウス過程を用いたベクトル最適化(VOGP)を提案する。
  論文  参考訳（メタデータ） (2024-12-03T14:47:46Z)
• Gaussian Process Thompson Sampling via Rootfinding [2.94944680995069]
  トンプソンサンプリング(Thompson sample, TS)は、ベイズ決定における単純かつ効果的な政策である。 連続最適化では、目的関数の後方はしばしばガウス過程(GP)であり、サンプルパスは多数の局所最適値を持つ。 本稿では,勾配に基づくマルチスタートの開始点を慎重に選択するGP-TSの効率的なグローバル最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:06:45Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• qPOTS: Efficient batch multiobjective Bayesian optimization via Pareto optimal Thompson sampling [0.0]
  多目的最適化を解くためのサンプル効率のアプローチは、プロセス・オラクル・サロゲート(GP)とMOBOOTS$である。 我々はトンプソンサンプリング(TS)に基づくアプローチ(qtextttPOTS$)を提案する。 $qtextttPOTS$は、GP後部の安価な多目的最適化を進化的アプローチで解決する。
  論文  参考訳（メタデータ） (2023-10-24T12:35:15Z)
• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• Towards Automated Design of Bayesian Optimization via Exploratory Landscape Analysis [11.143778114800272]
  AFの動的選択はBO設計に有用であることを示す。 我々は,オートML支援のオンザフライBO設計への道を開き,その動作をランニング・バイ・ランで調整する。
  論文  参考訳（メタデータ） (2022-11-17T17:15:04Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• An AI-Assisted Design Method for Topology Optimization Without Pre-Optimized Training Data [68.8204255655161]
  トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。 設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
  論文  参考訳（メタデータ） (2020-12-11T14:33:27Z)
• Optimal Bayesian experimental design for subsurface flow problems [77.34726150561087]
  本稿では,設計ユーティリティ機能のためのカオス拡張サロゲートモデル(PCE)の開発のための新しいアプローチを提案する。 この手法により,対象関数に対する適切な品質応答面の導出が可能となり,計算予算は複数の単点評価に匹敵する。
  論文  参考訳（メタデータ） (2020-08-10T09:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。