論文の概要: BoLT: A Benchmark to Democratize Black-box Optimization Research for Expensive LLM Tasks

• arxiv url: http://arxiv.org/abs/2605.17000v1
• Date: Sat, 16 May 2026 13:53:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.414145
• Title: BoLT: A Benchmark to Democratize Black-box Optimization Research for Expensive LLM Tasks
• Title（参考訳）: BoLT: 高価なLLMタスクのためのブラックボックス最適化研究を民主化するためのベンチマーク
• Authors: Ruth Wan Theng Chew, Zhiliang Chen, Apivich Hemachandra, Bryan Kian Hsiang Low,
• Abstract要約: ブラックボックス最適化法は、原則的でサンプル効率のよい方法に対して、期待できない方向性を提供する。 新しい手法は、しばしば合成テスト関数と小規模データセットでのみ評価される。 BBOコミュニティ向けの研究を民主化する最初のLCM中心のベンチマークであるBoLTを紹介する。
• 参考スコア（独自算出の注目度）: 42.78958516953461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimization of LLM training and inference configurations, such as hyperparameters, data mixtures, and prompts, is critical to performance, but it is often approached heuristically in practice, leading to potentially suboptimal outcomes. By framing them as noisy, expensive, and derivative-free optimization problems, Bayesian optimization (BO) and other black-box optimization (BBO) methods offer a promising yet underexplored direction for principled, sample-efficient methods. However, LLM training and inference costs are prohibitively high for most of the BBO research community, and new methods are often only evaluated on synthetic test functions and small-scale datasets that fail to capture the challenges of modern LLM optimization problems. This impedes the development of BBO methods and makes it difficult to assess their effectiveness on modern LLM tasks. We introduce BoLT, the first LLM-centric benchmark that democratizes LLM research for the BBO community. BoLT is released at https://github.com/chewwt/bolt. BoLT covers broad and well-motivated LLM optimization problems, involving multi-fidelity, multi-objective, heteroscedastic noise, and high-dimensional search spaces. Each problem in BoLT is grounded in real experimental data and made fully reproducible and accessible through lightweight surrogate models fitted to the results of thousands of real LLM experiments. We benchmark BoLT against an extensive range of BO and BBO methods, showing that selected BO methods consistently outperform others across tasks and highlighting gaps in existing BBO methods on LLM tasks, underscoring the need to modernize benchmarks for the BBO community.
• Abstract（参考訳）: LLMのトレーニングと、ハイパーパラメータ、データ混合、プロンプトなどの推論設定の最適化はパフォーマンスに不可欠であるが、実際はヒューリスティックにアプローチされ、潜在的に最適以下の結果をもたらす。 ベイズ最適化(BO)や他のブラックボックス最適化(BBO)手法は、ノイズの多い、高価でデリバティブフリーな最適化問題とみなすことで、原則化された、サンプル効率のよい手法には、期待できない方向性を提供する。 しかしながら、LLMのトレーニングと推論コストはBBO研究コミュニティのほとんどにとって違法に高いものであり、新しい手法は近代的なLLM最適化問題の課題を克服できない合成テスト機能や小規模データセットでのみ評価されることが多い。 これにより, BBO法の開発が阻害され, 現代のLLMタスクにおいてその有効性を評価するのが困難になる。 BBO コミュニティ向けに LLM 研究を民主化する最初の LLM 中心ベンチマークである BoLT を紹介する。 BoLTはhttps://github.com/chewwt/bolt.comでリリースされた。 BoLTは多相性、多目的性、異方性雑音、高次元探索空間を含む広帯域かつモチベーションの良いLLM最適化問題をカバーしている。 BoLTの各問題は実際の実験データに基づいており、何千もの実際のLCM実験の結果に適合する軽量サロゲートモデルによって完全に再現可能でアクセス可能である。 我々はBoLTを広範囲にわたるBOおよびBBOメソッドに対してベンチマークし、選択されたBOメソッドはタスク間で一貫して他よりも優れており、既存のBBOメソッドのLLMタスクにおけるギャップを強調し、BBOコミュニティのベンチマークの近代化の必要性を強調している。

関連論文リスト

• ChemBOMAS: Accelerated BO in Chemistry with LLM-Enhanced Multi-Agent System [72.63341091857959]
  本稿では,大規模言語モデル(LLM)によるベイズ最適化を高速化するマルチエージェントシステムであるChemBOMASを紹介する。 データ駆動型戦略は、わずか1%のラベル付きサンプルに微調整された8BスケールのLCMレジストレータを含む。 知識駆動型戦略では、検索空間の分割においてLLMを導くために、ハイブリッドなRetrieval-Augmented Generationアプローチを採用している。 ChemBOMASはベースライン方式に比べて最適化効率を最大5倍に向上させた。
  論文  参考訳（メタデータ） (2025-09-10T16:24:08Z)
• LLINBO: Trustworthy LLM-in-the-Loop Bayesian Optimization [5.844783557050259]
  大規模言語モデル (LLM) は低データ構造において顕著な適応性を示している。 本稿では,LLINBO: LLM-in-the-Loop BOを提案する。 この論文は、3Dプリンティングの文脈における概念実証で締めくくっている。
  論文  参考訳（メタデータ） (2025-05-20T15:54:48Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
  本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。 高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。 以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T11:44:06Z)
• Faster and Lighter LLMs: A Survey on Current Challenges and Way Forward [29.81212051279456]
  モデル圧縮およびシステムレベルの最適化手法の最近の進歩は、LLM推論を強化することを目的としている。 この調査はこれらの手法の概要を提供し、最近の発展を強調している。
  論文  参考訳（メタデータ） (2024-02-02T06:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。