論文の概要: Unleashing LLMs in Bayesian Optimization: Preference-Guided Framework for Scientific Discovery

• arxiv url: http://arxiv.org/abs/2605.17976v1
• Date: Mon, 18 May 2026 07:30:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.995293
• Title: Unleashing LLMs in Bayesian Optimization: Preference-Guided Framework for Scientific Discovery
• Title（参考訳）: ベイジアン最適化におけるLLMの解き放つ:科学発見のための推奨ガイドフレームワーク
• Authors: Xinzhe Yuan, Zhuo Chen, Jianshu Zhang, Huan Xiong, Nanyang Ye, Yuqiang Li, Qinying Gu,
• Abstract要約: LLM-Guided Bayesian Optimization (LGBO) を提案する。 Fe-Cr電池電解質の新しいウェットラブ最適化では、LGBOは6で観測された最高の値のテキストbf90%を達成しているが、標準BOと既存のLCM拡張ベースラインは10回以上必要である。
• 参考スコア（独自算出の注目度）: 32.51891966529322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific discovery is increasingly constrained by costly experiments and limited resources, underscoring the need for efficient optimization in AI for science. Bayesian Optimization (BO), though widely adopted for balancing exploration and exploitation, often exhibits slow cold-start performance and poor scalability in high-dimensional settings, limiting its applicability in real-world scientific problems. To overcome these challenges, we propose LLM-Guided Bayesian Optimization (LGBO), the first LLM preference-guided BO framework that continuously integrates the semantic reasoning of large language models (LLMs) into the optimization loop. Unlike prior works that use LLMs only for warm-start initialization or candidate generation, LGBO introduces a region-lifted preference mechanism that embeds LLM-driven preferences into every iteration, shifting the surrogate mean in a stable and controllable way. Theoretically, we prove that LGBO does not perform significantly worse than standard BO in the worst case, while achieving significantly faster convergence when preferences align with the objective. Empirically, LGBO consistently outperforms existing methods across diverse dry benchmarks in physics, chemistry, biology, and materials science. Most notably, in a new wet-lab optimization of Fe-Cr battery electrolytes, LGBO attains \textbf{90\% of the best observed value within 6 iterations}, whereas standard BO and existing LLM-augmented baselines require more than 10. Together, these results suggest that LGBO offers a promising direction for integrating LLMs into scientific optimization workflows.
• Abstract（参考訳）: 科学的な発見は、コストのかかる実験と限られたリソースによってますます制限され、科学のためのAIの効率的な最適化の必要性が強調されている。 ベイズ最適化(BO)は、探索と搾取のバランスをとるために広く採用されているが、しばしば低速のコールドスタート性能と高次元環境でのスケーラビリティの低下を示し、現実の科学的問題における適用性を制限している。 LLM-Guided Bayesian Optimization (LGBO, LLM-Guided Bayesian Optimization, LLM-Guided Bayesian Optimization, LLM-Guided Bayesian Optimization, LLM-Guided BO) は,大規模言語モデル(LLM)のセマンティック推論を最適化ループに連続的に統合した最初のLLM選好型BOフレームワークである。 ウォームスタート初期化や候補生成にのみLLMを使用する以前の作品とは異なり、LGBOはLLM駆動の好みをイテレーション毎に組み込んで、サロゲート平均を安定かつ制御可能な方法でシフトさせる、リージョンリフトの好みメカニズムを導入している。 理論的には,LGBO は標準BO よりも格段に低い性能を示すが,嗜好が目的と一致した場合の収束度は著しく向上する。 経験的に、LGBOは物理学、化学、生物学、材料科学の様々なドライベンチマークにおいて、既存の手法を一貫して上回っている。 最も注目すべきは、Fe-Cr電池電解質の新しいウェットラブ最適化において、LGBOは6回で観測された最高の値の「textbf{90\%」を達成するのに対して、標準BOと既存のLCM拡張ベースラインは10以上である。 これらの結果から,LGBO は LLM を科学最適化ワークフローに統合するための有望な方向性を示唆している。

関連論文リスト

• BoLT: A Benchmark to Democratize Black-box Optimization Research for Expensive LLM Tasks [42.78958516953461]
  ブラックボックス最適化法は、原則的でサンプル効率のよい方法に対して、期待できない方向性を提供する。 新しい手法は、しばしば合成テスト関数と小規模データセットでのみ評価される。 BBOコミュニティ向けの研究を民主化する最初のLCM中心のベンチマークであるBoLTを紹介する。
  論文  参考訳（メタデータ） (2026-05-16T13:53:44Z)
• ChemBOMAS: Accelerated BO in Chemistry with LLM-Enhanced Multi-Agent System [72.63341091857959]
  本稿では,大規模言語モデル(LLM)によるベイズ最適化を高速化するマルチエージェントシステムであるChemBOMASを紹介する。 データ駆動型戦略は、わずか1%のラベル付きサンプルに微調整された8BスケールのLCMレジストレータを含む。 知識駆動型戦略では、検索空間の分割においてLLMを導くために、ハイブリッドなRetrieval-Augmented Generationアプローチを採用している。 ChemBOMASはベースライン方式に比べて最適化効率を最大5倍に向上させた。
  論文  参考訳（メタデータ） (2025-09-10T16:24:08Z)
• Pre-trained knowledge elevates large language models beyond traditional chemical reaction optimizers [0.0]
  大規模言語モデル(LLM)における事前学習知識がこのパラダイムを根本的に変えることを実証する。 LLM-GOは、伝統的な手法が苦労するところを正確に表現している: 数学的最適化よりもドメイン理解を必要とする複雑なカテゴリー空間。
  論文  参考訳（メタデータ） (2025-08-27T21:09:51Z)
• LLINBO: Trustworthy LLM-in-the-Loop Bayesian Optimization [5.844783557050259]
  大規模言語モデル (LLM) は低データ構造において顕著な適応性を示している。 本稿では,LLINBO: LLM-in-the-Loop BOを提案する。 この論文は、3Dプリンティングの文脈における概念実証で締めくくっている。
  論文  参考訳（メタデータ） (2025-05-20T15:54:48Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
  本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。 高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。 以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T11:44:06Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。