論文の概要: Evolution of Benchmark: Black-Box Optimization Benchmark Design through Large Language Model

• arxiv url: http://arxiv.org/abs/2601.21877v2
• Date: Sat, 31 Jan 2026 04:35:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 15:03:50.791011
• Title: Evolution of Benchmark: Black-Box Optimization Benchmark Design through Large Language Model
• Title（参考訳）: ベンチマークの進化: 大規模言語モデルによるブラックボックス最適化ベンチマーク設計
• Authors: Chen Wang, Sijie Ma, Zeyuan Ma, Yue-Jiao Gong,
• Abstract要約: 初期のベンチマークは主に人間によるものであり、専門家の偏見と多様性の制約を導入している。 大規模言語モデル(LLLL)によって強化された自動BBOベンチマークデザイナであるEoB(Evolution of Benchmark)を提案する。 このパラダイムの下で、EoBはLLLLを反復的にベンチマークプログラムの個体群を進化させ、ランドスケープとそれに対応するプログラムを共進化させるためにリフレクションベースのスキームを使用する。
• 参考スコア（独自算出の注目度）: 14.96004052012247
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Benchmark Design in Black-Box Optimization (BBO) is a fundamental yet open-ended topic. Early BBO benchmarks are predominantly human-crafted, introducing expert bias and constraining diversity. Automating this design process can relieve the human-in-the-loop burden while enhancing diversity and objectivity. We propose Evolution of Benchmark (EoB), an automated BBO benchmark designer empowered by the large language model (LLM) and its program evolution capability. Specifically, we formulate benchmark design as a bi-objective optimization problem towards maximizing (i) landscape diversity and (ii) algorithm-differentiation ability across a portfolio of BBO solvers. Under this paradigm, EoB iteratively prompts LLM to evolve a population of benchmark programs and employs a reflection-based scheme to co-evolve the landscape and its corresponding program. Comprehensive experiments validate our EoB is a competitive candidate in multi-dimensional usages: 1) Benchmarking BBO algorithms; 2) Training and testing learning-assisted BBO algorithms; 3) Extending proxy for expensive real-world problems.
• Abstract（参考訳）: Black-Box Optimization (BBO) におけるベンチマーク設計は、基本的だがオープンなトピックである。 初期のBBOベンチマークは、主に人為的なものであり、専門家の偏見と制約のある多様性を導入している。 この設計プロセスの自動化は、多様性と客観性を高めながら、ループ内の人的負担を軽減します。 本稿では,大規模言語モデル(LLM)とプログラム進化能力によって強化された自動BBOベンチマークデザイナであるEvolution of Benchmark(EoB)を提案する。 具体的には、ベンチマーク設計を最大化に向けた双目的最適化問題として定式化する。 (i)景観の多様性 (II)BBOソルバのポートフォリオ間でのアルゴリズム差分能力。 このパラダイムの下で、EoB は LLM を反復的にベンチマークプログラムの個体群を進化させ、ランドスケープとそれに対応するプログラムを共進化させるリフレクションベースのスキームを採用する。 総合的な実験により、EoBは多次元利用における競合候補であることが示された。 1) BBOアルゴリズムのベンチマーク 2)学習支援BBOアルゴリズムの訓練と試験 3)高価な現実問題に対するプロキシの拡張。

関連論文リスト

• BOFormer: Learning to Solve Multi-Objective Bayesian Optimization via Non-Markovian RL [15.127370150885348]
  我々は,汎用的なQ-ラーニングフレームワークを提案し,このフレームワークをMOBOのシーケンス・モデリングによりサブスタンス化する textitBOFormer を提案する。 広範な評価により,BOFormerは,ベンチマークルールベースのアルゴリズムや学習ベースのアルゴリズムよりも常に優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-28T05:00:50Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• Optimizing with Low Budgets: a Comparison on the Black-box Optimization Benchmarking Suite and OpenAI Gym [2.511157007295545]
  Black-box Optimization (BO)アルゴリズムは機械学習(ML)で人気がある MLのためのBBOツールと、より古典的なCOCOの比較を行う。 BBOコミュニティのアルゴリズムの中には、MLタスクで驚くほどうまく機能するものもある。
  論文  参考訳（メタデータ） (2023-09-29T18:33:10Z)
• Design-Bench: Benchmarks for Data-Driven Offline Model-Based Optimization [82.02008764719896]
  ブラックボックスモデルに基づく最適化問題は、タンパク質、DNA配列、航空機、ロボットの設計など、幅広い領域で広く使われている。 本稿では,統合評価プロトコルと最近の手法の参照実装を備えたオフラインMBOのためのベンチマークであるDesign-Benchを提案する。 私たちのベンチマークには、生物学、材料科学、ロボット工学における現実世界の最適化問題から派生した、多種多様な現実的なタスクが含まれています。
  論文  参考訳（メタデータ） (2022-02-17T05:33:27Z)
• ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
  バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。 既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。 本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
  論文  参考訳（メタデータ） (2021-10-13T19:36:50Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。