論文の概要: A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization

• arxiv url: http://arxiv.org/abs/2610.12183v1
• Date: Thu, 08 Oct 2026 15:48:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.127248
• Title: A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization
• Title（参考訳）: Agentic BBO: Black-Box最適化のためのLLMエージェントのベンチマーク
• Abstract要約: ブラックボックス最適化(BBO)は、客観的評価が高価で制限されている多くの科学的・工学的な問題に現れる。 最近の大規模言語モデル(LLM)エージェントは、タスクのセマンティクス、計算、最適化ツール、フィードバックによる意思決定を組み合わせることで、BBOにアプローチする方法を提供する。 本稿では,合成関数,ハイパーパラメータ最適化,データベースチューニング,チップ設計,分子設計を対象とするエージェントBBOのクロスドメインベンチマークであるAgenticBBO-Benchを紹介する。
• 参考スコア（独自算出の注目度）: 23.208544074166223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-box optimization (BBO) arises in many scientific and engineering problems where objective evaluations are expensive and limited. Recent large language model (LLM) agents offer a new way to approach BBO by combining task semantics, computation, optimization tools, and feedback-driven decision making, showing great potential due to the integration with mathematically rigorous tools. However, existing agentic BBO studies use different task domains and system configurations, making their results difficult to compare and the effects of individual design choices hard to isolate. We therefore introduce AgenticBBO-Bench, a cross-domain benchmark for agentic BBO spanning synthetic functions, hyperparameter optimization, database tuning, chip design, and molecular design under a unified finite-budget evaluation protocol. In our experiments, agentic BBO achieves higher family-averaged scores than direct LLM-based methods in all five domains and outperforms the best numerical optimizers in four. We further study three factors shaping agent performance: optimization tools, task information and prior knowledge, and the role of the LLM during search. Our results show that additional numerical tools do not consistently improve performance, task semantics are broadly useful while more specific priors are less reliable, and numerical optimizers can effectively absorb gains from search trajectories established by the agent. Finally, we introduce a five-task frontier challenge within AgenticBBO-Bench and evaluate seven LLMs under the Codex agent harness, where GPT-6 Astra and DeepSeek-V4.1-Flash lie on the Pareto frontier of performance and cost among the evaluated models. Our code is available at https://github.com/lamda-bbo/agentic-bbo.
• Abstract（参考訳）: ブラックボックス最適化(BBO)は、客観的評価が高価で制限されている多くの科学的・工学的な問題に現れる。 最近の大規模言語モデル(LLM)エージェントは、タスクのセマンティクス、計算、最適化ツール、フィードバックによる意思決定を組み合わせることで、BBOにアプローチする新しい方法を提供する。 しかし、既存のエージェントBBO研究では、異なるタスクドメインとシステム構成を使用しており、結果の比較が困難であり、個々の設計選択の影響を分離することが困難である。 そこで,AgenticBBO-Benchは,合成関数,ハイパーパラメータ最適化,データベースチューニング,チップ設計,分子設計にまたがるエージェントBBOのクロスドメインベンチマークである。 実験では, エージェントBBOは5つの領域すべてにおいて, 直接LLM法よりも家族平均スコアが高く, 4つの領域で最高の数値オプティマイザを上回ります。 さらに、最適化ツール、タスク情報、事前知識、検索時のLLMの役割の3つの要因について検討する。 これらの結果から,タスクのセマンティクスはより信頼性が低く,数値最適化器はエージェントが確立した探索トラジェクトリの利得を効果的に吸収できることがわかった。 最後に,AgenticBBO-Bench内での5タスクフロンティアチャレンジを導入し,GPT-6 AstraとDeepSeek-V4.1-Flashが評価モデルの性能とコストのパレートフロンティアにあるコーデックスエージェントハーネス下で7つのLLMを評価する。 私たちのコードはhttps://github.com/lamda-bbo/agentic-bbo.comで利用可能です。

関連論文リスト

• FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization [61.43300970020897]
  大規模言語モデル(LLM)は、最適化モデリングとソルバコード生成にますます使われている。 既存のベンチマークは、実際のスケールと複雑さよりもはるかに低い、小さな、あるいは単純化された例に限られている。 現実的な大規模最適化問題に対して,LLMに基づく効率的なアルゴリズム設計を評価するための最初のベンチマークとしてFrontierORを紹介した。
  論文  参考訳（メタデータ） (2026-05-24T20:10:42Z)
• BayMOTH: Bayesian optiMizatiOn with meTa-lookahead -- a simple approacH [13.980560488480435]
  本稿では,関連タスク情報を利用したメタBOアルゴリズムを提案する。 本稿では,関数最適化タスクにおける既存手法との競合性を実証する。
  論文  参考訳（メタデータ） (2026-04-13T19:52:08Z)
• AgentOpt v0.1 Technical Report: Client-Side Optimization for LLM-Based Agent [18.58248061903799]
  AgentOptは、クライアントサイドAI最適化のための最初のフレームワークに依存しないPythonパッケージである。 我々はまず,マルチステップエージェントパイプラインにおける高インパクト最適化レバーであるモデル選択について検討する。 指数関数的に増加する組み合わせ空間を効率的に探索するために、AgentOptは10の検索アルゴリズムを実装している。
  論文  参考訳（メタデータ） (2026-04-07T17:13:47Z)
• MAXS: Meta-Adaptive Exploration with LLM Agents [48.04723638253802]
  MaxSはLarge Language Model (LLM) Agentsをベースにしたメタ適応推論フレームワークである。 MAXSは、いくつかのステップを進む推論パスを拡張するために、ルックアヘッド戦略を採用している。 ステップの一貫性のばらつきとステップ間のトレンドスロープを組み合わせることで、安定で一貫性があり、高い値の推論ステップを共同で選択する。
  論文  参考訳（メタデータ） (2026-01-14T07:48:00Z)
• MALBO: Optimizing LLM-Based Multi-Agent Teams via Multi-Objective Bayesian Optimization [0.0]
  この論文では、マルチエージェントAIチームの効率的な構成を自動化するように設計された、体系的なフレームワークであるMALBOを紹介している。 タスクの精度と推論コストの間の設定の前面を特定することを目的として,多目的最適化問題として代入課題を定式化する。 その結果、ベイズ最適化フェーズは、初期ランダム検索と比較して、平均構成コストを45%以上削減しつつ、同等な平均性能を維持した。
  論文  参考訳（メタデータ） (2025-11-14T18:01:08Z)
• Pre-trained knowledge elevates large language models beyond traditional chemical reaction optimizers [0.0]
  大規模言語モデル(LLM)における事前学習知識がこのパラダイムを根本的に変えることを実証する。 LLM-GOは、伝統的な手法が苦労するところを正確に表現している: 数学的最適化よりもドメイン理解を必要とする複雑なカテゴリー空間。
  論文  参考訳（メタデータ） (2025-08-27T21:09:51Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。