論文の概要: LLaMEA-BO: A Large Language Model Evolutionary Algorithm for Automatically Generating Bayesian Optimization Algorithms

• arxiv url: http://arxiv.org/abs/2505.21034v1
• Date: Tue, 27 May 2025 11:13:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.598975
• Title: LLaMEA-BO: A Large Language Model Evolutionary Algorithm for Automatically Generating Bayesian Optimization Algorithms
• Title（参考訳）: LLaMEA-BO:ベイズ最適化アルゴリズムの自動生成のための大規模言語モデル進化アルゴリズム
• Authors: Wenhu Li, Niki van Stein, Thomas Bäck, Elena Raponi,
• Abstract要約: LLM(Large Language Models)は、科学的な発見を自動化するための新たな道を開いた。 我々のフレームワークは進化戦略を使って、BOアルゴリズムの重要なコンポーネントを保存するPythonコードを生成するのにLLMを導く。 さらなる微調整は行わなかったが、LLM生成アルゴリズムは5次元のBBOB関数を19(24の内)で上回り、より高次元に一般化し、異なるタスクをこなす。
• 参考スコア（独自算出の注目度）: 0.01874930567916036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) is a powerful class of algorithms for optimizing expensive black-box functions, but designing effective BO algorithms remains a manual, expertise-driven task. Recent advancements in Large Language Models (LLMs) have opened new avenues for automating scientific discovery, including the automatic design of optimization algorithms. While prior work has used LLMs within optimization loops or to generate non-BO algorithms, we tackle a new challenge: Using LLMs to automatically generate full BO algorithm code. Our framework uses an evolution strategy to guide an LLM in generating Python code that preserves the key components of BO algorithms: An initial design, a surrogate model, and an acquisition function. The LLM is prompted to produce multiple candidate algorithms, which are evaluated on the established Black-Box Optimization Benchmarking (BBOB) test suite from the COmparing Continuous Optimizers (COCO) platform. Based on their performance, top candidates are selected, combined, and mutated via controlled prompt variations, enabling iterative refinement. Despite no additional fine-tuning, the LLM-generated algorithms outperform state-of-the-art BO baselines in 19 (out of 24) BBOB functions in dimension 5 and generalize well to higher dimensions, and different tasks (from the Bayesmark framework). This work demonstrates that LLMs can serve as algorithmic co-designers, offering a new paradigm for automating BO development and accelerating the discovery of novel algorithmic combinations. The source code is provided at https://github.com/Ewendawi/LLaMEA-BO.
• Abstract（参考訳）: ベイズ最適化(BO)は高価なブラックボックス関数を最適化するための強力なアルゴリズムのクラスであるが、効果的なBOアルゴリズムを設計することは手作業で専門的な作業である。 大規模言語モデル(LLM)の最近の進歩は、最適化アルゴリズムの自動設計を含む科学的な発見を自動化するための新たな道を開いた。 従来の作業では最適化ループ内でLLMを使用したり,非BOアルゴリズムの生成に使用していましたが,新たな課題として,完全なBOアルゴリズムコードの自動生成にLLMを使用しています。 我々のフレームワークでは,初期設計,代理モデル,取得関数など,BOアルゴリズムの重要なコンポーネントを保存するPythonコードを生成する上で,LLMをガイドする進化戦略を採用している。 LLMは複数の候補アルゴリズムを生成し、COCO(Comparing Continuous Optimizers)プラットフォームから確立されたBBOB(Black-Box Optimization Benchmarking)テストスイートで評価される。 そのパフォーマンスに基づいて、トップ候補が選択され、組み合わせられ、制御されたプロンプトのバリエーションによって変更され、反復的な洗練が可能となる。 さらなる微調整は行わなかったが、LLM生成アルゴリズムは19(24の内)のBBOB関数を次元5で上回り、より高次元に一般化し、異なるタスク(ベイズマークフレームワークから)より優れている。 この研究は、LLMがアルゴリズムの共同設計者として機能し、BO開発を自動化し、新しいアルゴリズムの組み合わせの発見を加速する新しいパラダイムを提供することを示した。 ソースコードはhttps://github.com/Ewendawi/LLaMEA-BOで公開されている。

関連論文リスト

• LLaMEA: A Large Language Model Evolutionary Algorithm for Automatically Generating Metaheuristics [0.023020018305241332]
  本稿では,Large Language Model Evolutionary Algorithm (LLaMEA) フレームワークを紹介する。 一連の基準とタスク定義(検索空間)が与えられた後、LLaMEAは反復的にアルゴリズムを生成し、変更し、選択する。 我々は,このフレームワークを用いて,新しいブラックボックスメタヒューリスティック最適化アルゴリズムを自動生成する方法を示す。
  論文  参考訳（メタデータ） (2024-05-30T15:10:59Z)
• Large Language Models As Evolution Strategies [6.873777465945062]
  本研究では,大規模言語モデル (LLM) が進化的最適化アルゴリズムを実装可能であるかどうかを考察する。 我々は,最小から最多の集団集団を選別する新規なプロンプト戦略を導入する。 我々の設定により、ユーザがLLMベースの進化戦略を得ることができ、それはEvoLLM'と呼ばれ、ベースラインアルゴリズムを頑健に上回る。
  論文  参考訳（メタデータ） (2024-02-28T15:02:17Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• Use Your INSTINCT: INSTruction optimization for LLMs usIng Neural bandits Coupled with Transformers [66.823588073584]
  大規模言語モデル (LLM) は命令追従能力に優れ、様々なアプリケーションで優れた性能を発揮している。 最近の研究は、ブラックボックスLLMに与えられる命令を自動的に最適化するために、クエリ効率のよいベイズ最適化(BO)アルゴリズムを用いている。 NNサロゲートによりBOのGPを置換し,ブラックボックスLLMの命令を最適化するニューラルバンディットアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。