論文の概要: FunBO: Discovering Acquisition Functions for Bayesian Optimization with FunSearch

• arxiv url: http://arxiv.org/abs/2406.04824v1
• Date: Fri, 7 Jun 2024 10:49:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 14:30:43.517759
• Title: FunBO: Discovering Acquisition Functions for Bayesian Optimization with FunSearch
• Title（参考訳）: FunBO: FunSearchによるベイズ最適化のための買収関数の発見
• Authors: Virginia Aglietti, Ira Ktena, Jessica Schrouff, Eleni Sgouritsa, Francisco J. R. Ruiz, Alexis Bellot, Silvia Chiappa,
• Abstract要約: 本稿では、FunBOを用いて、コンピュータコードで書かれた新しい取得関数を学習する方法を示す。 本稿では,FunBOが関数のトレーニング分布の内外をよく一般化するAFを特定する方法を示す。
• 参考スコア（独自算出の注目度）: 18.863550551942883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The sample efficiency of Bayesian optimization algorithms depends on carefully crafted acquisition functions (AFs) guiding the sequential collection of function evaluations. The best-performing AF can vary significantly across optimization problems, often requiring ad-hoc and problem-specific choices. This work tackles the challenge of designing novel AFs that perform well across a variety of experimental settings. Based on FunSearch, a recent work using Large Language Models (LLMs) for discovery in mathematical sciences, we propose FunBO, an LLM-based method that can be used to learn new AFs written in computer code by leveraging access to a limited number of evaluations for a set of objective functions. We provide the analytic expression of all discovered AFs and evaluate them on various global optimization benchmarks and hyperparameter optimization tasks. We show how FunBO identifies AFs that generalize well in and out of the training distribution of functions, thus outperforming established general-purpose AFs and achieving competitive performance against AFs that are customized to specific function types and are learned via transfer-learning algorithms.
• Abstract（参考訳）: ベイズ最適化アルゴリズムのサンプル効率は、関数評価の逐次的な収集を導くために、慎重に構築された取得関数(AF)に依存する。 最高のパフォーマンスのAFは最適化の問題によって大きく異なり、しばしばアドホックな選択と問題固有の選択を必要とする。 この研究は、様々な実験環境においてよく機能する新しいAFを設計する上での課題に取り組みます。 数理科学における発見のためのLarge Language Models (LLMs) を用いた最近の研究である FunSearch に基づいて,FunBO を提案する。 得られた全てのAFの解析式を提供し、様々なグローバル最適化ベンチマークやハイパーパラメータ最適化タスクで評価する。 本研究では、FunBOが関数のトレーニング分布内外をよく一般化するAFを識別し、確立された汎用AFよりも優れ、特定の関数タイプにカスタマイズされ、転送学習アルゴリズムによって学習されるAFに対する競合性能を実現する方法を示す。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• On the development of a Bayesian optimisation framework for complex unknown systems [11.066706766632578]
  本稿では, ベイズ最適化アルゴリズムを様々な合成試験関数に対して実験的に検討し, 比較する。 取得関数の選択とトレーニングサンプル数,取得関数の正確な計算,モンテカルロに基づくアプローチについて検討する。
  論文  参考訳（メタデータ） (2022-07-19T09:50:34Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Dynamic Multi-objective Ensemble of Acquisition Functions in Batch Bayesian Optimization [1.1602089225841632]
  獲得関数は最適化プロセスにおいて重要な役割を果たす。 3つの取得関数は、その現在のパフォーマンスと過去のパフォーマンスに基づいて、セットから動的に選択される。 進化的多目的アルゴリズムを用いて、そのようなMOPを最適化し、非支配的な解の集合を得ることができる。
  論文  参考訳（メタデータ） (2022-06-22T14:09:18Z)
• Efficient Neural Network Analysis with Sum-of-Infeasibilities [64.31536828511021]
  凸最適化における総和係数法に着想を得て,広範な分岐関数を持つネットワーク上での検証クエリを解析するための新しい手法を提案する。 標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。
  論文  参考訳（メタデータ） (2022-03-19T15:05:09Z)
• Optimizing Bayesian acquisition functions in Gaussian Processes [0.0]
  本稿では,最大改善確率や期待改善率などの異なる取得機能について分析する。 また, 時間分析とともに, 選択した初期試料の位置の重要性も示した。
  論文  参考訳（メタデータ） (2021-11-09T03:25:15Z)
• Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information [78.78486761923855]
  多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。 本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。 これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
  論文  参考訳（メタデータ） (2021-04-19T17:22:11Z)
• Are we Forgetting about Compositional Optimisers in Bayesian Optimisation? [66.39551991177542]
  本稿では,グローバル最適化のためのサンプル手法を提案する。 この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。 3958実験における機能最適化手法の実証的利点を強調する。
  論文  参考訳（メタデータ） (2020-12-15T12:18:38Z)
• BOP-Elites, a Bayesian Optimisation algorithm for Quality-Diversity search [0.0]
  本稿では,エリートアルゴリズム(BOP-Elites)のベイズ最適化を提案する。 機能領域のユーザ定義領域を‘ニッチ’として考えることで、ニッチ毎に最適なソリューションを見つけることが私たちのタスクになります。 得られたアルゴリズムは、特徴空間におけるニッチに属する探索空間の部分を特定し、ニッチごとに最適な解を見つけるのに非常に効果的である。
  論文  参考訳（メタデータ） (2020-05-08T23:49:13Z)
• Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization [0.1749935196721634]
  目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。 このap-proachは確率的代理モデルの学習/更新をより効率的にする。 都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
  論文  参考訳（メタデータ） (2020-03-09T15:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。