論文の概要: Searching in the Forest for Local Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2111.05834v1
• Date: Wed, 10 Nov 2021 18:25:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-11 14:27:55.513712
• Title: Searching in the Forest for Local Bayesian Optimization
• Title（参考訳）: 地域ベイズ最適化のための森林探索
• Authors: Difan Deng and Marius Lindauer
• Abstract要約: 本研究では,中規模構成空間に適した2段階アプローチBOinGを提案する。 BOinGは一般的なHPO問題の構造を活用でき、特に合成機能やHPOによる中規模問題でよく機能する。
• 参考スコア（独自算出の注目度）: 5.939410304994348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Because of its sample efficiency, Bayesian optimization (BO) has become a popular approach dealing with expensive black-box optimization problems, such as hyperparameter optimization (HPO). Recent empirical experiments showed that the loss landscapes of HPO problems tend to be more benign than previously assumed, i.e. in the best case uni-modal and convex, such that a BO framework could be more efficient if it can focus on those promising local regions. In this paper, we propose BOinG, a two-stage approach that is tailored toward mid-sized configuration spaces, as one encounters in many HPO problems. In the first stage, we build a scalable global surrogate model with a random forest to describe the overall landscape structure. Further, we choose a promising subregion via a bottom-up approach on the upper-level tree structure. In the second stage, a local model in this subregion is utilized to suggest the point to be evaluated next. Empirical experiments show that BOinG is able to exploit the structure of typical HPO problems and performs particularly well on mid-sized problems from synthetic functions and HPO.
• Abstract（参考訳）: サンプル効率のため、ベイズ最適化(BO)は高パラメータ最適化(HPO)のような高価なブラックボックス最適化問題を扱う一般的なアプローチとなっている。 最近の実証実験では、HPO問題の損失状況は、かつて想定されていたよりも良さが増す傾向にあり、例えば、一様および凸の場合、BOフレームワークが将来有望な局所領域に集中できるならば、より効率的であることが示されている。 本稿では,多くのHPO問題に遭遇する中規模構成空間に適した2段階アプローチBOinGを提案する。 最初の段階では、ランダムな森林を持つスケーラブルなグローバルサロゲートモデルを構築し、全体の景観構造を記述する。 さらに,上層木構造に対するボトムアップアプローチにより,有望な部分領域を選択する。 第2段階では、このサブリージョンの局所モデルを用いて、次に評価すべき点を提案する。 実証実験により、BOinGは典型的なHPO問題の構造を活用でき、特に合成機能やHPOによる中規模問題でよく機能することが示された。

関連論文リスト

• HiBO: Hierarchical Bayesian Optimization via Adaptive Search Space Partitioning [0.7737746260673106]
  HiBOは,グローバルレベルの検索空間分割情報をローカルBOベースの取得戦略に統合した,新しい階層型アルゴリズムである。 一連の評価は、HiBOが高次元の合成ベンチマークにおいて最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-30T16:04:16Z)
• Accelerated Preference Optimization for Large Language Model Alignment [60.22606527763201]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデル(LLM)を人間の好みに合わせるための重要なツールとして登場した。 直接選好最適化(DPO)は、報酬関数を明示的に見積もることなく、ポリシー最適化問題としてRLHFを定式化する。 本稿では,既存の最適化アルゴリズムを統一したAPO(Accelerated Preference Optimization)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T18:51:01Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
  本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。 高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。 以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T11:44:06Z)
• High-dimensional Bayesian Optimization via Covariance Matrix Adaptation Strategy [16.521207412129833]
  本稿では,CMA(Covariance Matrix Adaptation)戦略を用いて局所領域を定義する手法を提案する。 この探索分布に基づいて,大域的最適である確率の高いデータポイントからなる局所領域を定義する。 提案手法は,BO,TuRBO,BAxUSなどの既存のブラックボックスBOを組み込んでグローバルな最適解を求めるメタアルゴリズムとして機能する。
  論文  参考訳（メタデータ） (2024-02-05T15:32:10Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Model-based Causal Bayesian Optimization [74.78486244786083]
  乗算重み付き因果ベイズ最適化のための最初のアルゴリズム(CBO-MW)を提案する。 グラフ関連の量に自然に依存するCBO-MWに対する後悔の限界を導出する。 我々の実験は、共有モビリティシステムにおいて、ユーザの需要パターンを学習するためにCBO-MWをどのように使用できるかの現実的なデモを含む。
  論文  参考訳（メタデータ） (2023-07-31T13:02:36Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• CobBO: Coordinate Backoff Bayesian Optimization [45.53400129323848]
  グローバルな景観のスムーズな近似を捉えるために,CobBO(Coordinate Backoff Bayesian Optimization)を導入する。 CobBOは、数十から数百の次元に対する他の最先端の手法に匹敵するソリューションを見つける。
  論文  参考訳（メタデータ） (2021-01-13T15:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。