論文の概要: Reasoning BO: Enhancing Bayesian Optimization with Long-Context Reasoning Power of LLMs

• arxiv url: http://arxiv.org/abs/2505.12833v1
• Date: Mon, 19 May 2025 08:20:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.480335
• Title: Reasoning BO: Enhancing Bayesian Optimization with Long-Context Reasoning Power of LLMs
• Title（参考訳）: 推論BO:LLMのLong-Context Reasoning Powerによるベイズ最適化の強化
• Authors: Zhuo Yang, Lingli Ge, Dong Han, Tianfan Fu, Yuqiang Li,
• Abstract要約: 本稿では、推論モデルを利用してBOのサンプリングプロセスを導出する新しいフレームワークであるReasoning BOを設計する。 推論BO(Reasoning BO)は、実証可能な科学的理論に基づく批判的な洞察とともに、リアルタイムサンプリングレコメンデーションを提供する。 このフレームワークは、リアルタイムの洞察と仮説の進化を通じて、サンプリング戦略を段階的に洗練する能力を示している。
• 参考スコア（独自算出の注目度）: 13.478684527247129
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many real-world scientific and industrial applications require the optimization of expensive black-box functions. Bayesian Optimization (BO) provides an effective framework for such problems. However, traditional BO methods are prone to get trapped in local optima and often lack interpretable insights. To address this issue, this paper designs Reasoning BO, a novel framework that leverages reasoning models to guide the sampling process in BO while incorporating multi-agent systems and knowledge graphs for online knowledge accumulation. By integrating the reasoning and contextual understanding capabilities of Large Language Models (LLMs), we can provide strong guidance to enhance the BO process. As the optimization progresses, Reasoning BO provides real-time sampling recommendations along with critical insights grounded in plausible scientific theories, aiding in the discovery of superior solutions within the search space. We systematically evaluate our approach across 10 diverse tasks encompassing synthetic mathematical functions and complex real-world applications. The framework demonstrates its capability to progressively refine sampling strategies through real-time insights and hypothesis evolution, effectively identifying higher-performing regions of the search space for focused exploration. This process highlights the powerful reasoning and context-learning abilities of LLMs in optimization scenarios. For example, in the Direct Arylation task, our method increased the yield to 60.7%, whereas traditional BO achieved only a 25.2% yield. Furthermore, our investigation reveals that smaller LLMs, when fine-tuned through reinforcement learning, can attain comparable performance to their larger counterparts. This enhanced reasoning capability paves the way for more efficient automated scientific experimentation while maintaining computational feasibility.
• Abstract（参考訳）: 多くの実世界の科学的・工業的応用は高価なブラックボックス関数の最適化を必要とする。 ベイズ最適化(BO)はそのような問題に対して効果的な枠組みを提供する。 しかし、従来のBO法は局所的な最適性に閉じ込められやすいため、しばしば解釈可能な洞察が欠如している。 本稿では,オンライン知識蓄積のためのマルチエージェントシステムと知識グラフを導入しながら,推論モデルを利用してBOのサンプリングプロセスをガイドする新しいフレームワークであるReasoning BOを設計する。 大規模言語モデル(LLM)の推論と文脈理解機能を統合することで、BOプロセスを強化するための強力なガイダンスを提供することができる。 最適化が進むにつれて、推論BO(Reasoning BO)は、探索空間内の優れた解の発見を支援する、有望な科学的理論に基づく批判的な洞察とともに、リアルタイムサンプリングの推奨を提供する。 我々は,合成数学関数と複素実世界の応用を含む10のタスクにまたがるアプローチを体系的に評価した。 このフレームワークは、リアルタイムの洞察と仮説の進化を通じて、サンプリング戦略を段階的に洗練し、集中探索のための探索空間の高パフォーマンス領域を効果的に特定する能力を示す。 このプロセスは、最適化シナリオにおけるLLMの強力な推論と文脈学習能力を強調します。 例えば、ダイレクトアリレーションタスクでは、我々の方法は収率を60.7%まで増加させ、従来のBOは25.2%の収率しか達成しなかった。 さらに,本研究では,強化学習により微調整を施された小型LLMが,大型のLLMに匹敵する性能が得られることを明らかにした。 この強化された推論能力は、計算可能性を維持しながら、より効率的な自動科学実験の道を開く。

関連論文リスト

• Language-Based Bayesian Optimization Research Assistant (BORA) [0.0]
  ドメイン知識のコンテキスト化は、実りある領域の探索をガイドする強力なアプローチである。 本稿では,検索最適化における言語モデル (LLM) の利用を提案する。
  論文  参考訳（メタデータ） (2025-01-27T17:20:04Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• ADO-LLM: Analog Design Bayesian Optimization with In-Context Learning of Large Language Models [5.642568057913696]
  本稿では,大規模言語モデル(LLM)とベイジアン最適化を統合したアナログ設計最適化手法であるADO-LLMを提案する。 ADO-LLMは、LLMのドメイン知識を注入して実行可能な設計ポイントを迅速に生成し、高価値な設計領域を見つけるためのBOの非効率性を改善する能力を活用している。 提案手法を2種類のアナログ回路上で評価し,設計効率と性能の顕著な向上を実証した。
  論文  参考訳（メタデータ） (2024-06-26T21:42:50Z)
• Enhanced Bayesian Optimization via Preferential Modeling of Abstract Properties [49.351577714596544]
  本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。 優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
  論文  参考訳（メタデータ） (2024-02-27T09:23:13Z)
• Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
  本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。 高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。 以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T11:44:06Z)
• Efficient Reinforcement Learning via Decoupling Exploration and Utilization [6.305976803910899]
  強化学習(Reinforcement Learning, RL)は、ゲーム、ロボティクス、自動運転車など、さまざまな分野やアプリケーションで大きな成功を収めている。 本研究の目的は,探索と利用を分離して効率よく学習するエージェントを訓練することであり,エージェントが最適解の難解を逃れられるようにすることである。 提案したOPARL(Optimistic and Pessimistic Actor Reinforcement Learning)アルゴリズムに実装した。
  論文  参考訳（メタデータ） (2023-12-26T09:03:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。