論文の概要: An Open-Source Training Dataset for Foundation Models for Black-box Optimization

• arxiv url: http://arxiv.org/abs/2605.23417v1
• Date: Fri, 22 May 2026 09:27:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.288411
• Title: An Open-Source Training Dataset for Foundation Models for Black-box Optimization
• Title（参考訳）: ブラックボックス最適化のための基礎モデルのためのオープンソースのトレーニングデータセット
• Authors: Aaron Klein, Herilalaina Rakotoarison, Luca Thale-Bombien, David Salinas,
• Abstract要約: BBO-Pileは,30のブラックボックスにまたがる500K以上の最適化トラジェクトリからなる,最初のオープンソースデータセットである。 私たちは、2Mから8000Mのパラメータで、基礎モデルのファミリーを複数のスケールでトレーニングします。 この結果から,大規模な事前学習はブラックボックス最適化手法を模倣する有効な手法であることが示唆された。
• 参考スコア（独自算出の注目度）: 6.259657082419056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most black-box optimization methods require extensive hyperparameter tuning, often limiting their ability to generalize across different optimization domains. Foundation models for black-box optimization that learn optimization principles from a large collection of optimization trajectories offer a promising alternative, with the potential to outperform manually designed methods across diverse problem classes. However, prior work has either relied on non-public datasets or on purely synthetic data, limiting reproducibility and generalization to real-world problems. As a result, progress in this area has been constrained by the lack of large-scale, real-world, publicly available pre-training data. We introduce BBO-Pile, the first open-source dataset comprising over 500K optimization trajectories evaluated across 3095 different black-boxes for different optimizers, which represents by far the largest public dataset for this task. Using this dataset, we train a family of foundation models at multiple scales, ranging from 2M to 80M parameters and from 200M to 2B training tokens, and study their scaling behavior with respect to compute. Our results demonstrate that large-scale pre-training is a viable and effective approach to imitate black-box optimization methods, paving the way for future research in this direction.
• Abstract（参考訳）: 多くのブラックボックス最適化手法は、広範囲なハイパーパラメータチューニングを必要とし、しばしば異なる最適化領域をまたいで一般化する能力を制限する。 ブラックボックス最適化の基盤モデルは、最適化トラジェクトリの大規模なコレクションから最適化原則を学習するものであり、様々な問題クラスで手作業で設計したメソッドよりも優れた性能を発揮する可能性がある。 しかしながら、以前の研究は非公開データセットや純粋に合成データに依存しており、再現性と現実の問題への一般化を制限している。 結果として、この領域の進歩は、大規模で実世界の公開事前トレーニングデータの欠如によって制約されている。 BBO-Pileは、3095の異なるブラックボックスで評価された500K以上の最適化トラジェクトリからなる、最初のオープンソースデータセットである。 このデータセットを用いて、2Mから8000Mのパラメータから2Mから2Bのトレーニングトークンまで、さまざまなスケールでファンデーションモデルのファミリーをトレーニングし、計算に関するスケーリングの振る舞いを研究する。 以上の結果から,大規模な事前学習はブラックボックス最適化手法を模倣する有効な手法であり,将来的な研究の道を開くことが示唆された。

関連論文リスト

• The Chicken and Egg Dilemma: Co-optimizing Data and Model Configurations for LLMs [86.27977008139435]
  JoBSは、ベイジアン最適化を支援するために、スケーリング法則にインスパイアされたパフォーマンス予測器を使用するアプローチである。 JoBSの平均的後悔を調査し、後悔を最小限に抑えるために最適な予算配分を考案する。
  論文  参考訳（メタデータ） (2026-02-09T07:33:40Z)
• ZeroShotOpt: Towards Zero-Shot Pretrained Models for Efficient Black-Box Optimization [31.894110383242566]
  提案するZeroShotは,2次元から20次元までの連続的なブラックボックス最適化タスクのための汎用的,事前訓練されたモデルである。 提案手法は,12種類のBOから収集した大規模最適化タスクに対して,オフライン強化学習を利用する。
  論文  参考訳（メタデータ） (2025-10-03T14:33:23Z)
• ADMIRE-BayesOpt: Accelerated Data MIxture RE-weighting for Language Models with Bayesian Optimization [11.433087692377779]
  本稿では,100万から70億のパラメータを対象とするモデルを対象とした事前学習と指導の微調整について述べる。 我々は,幅広いベースラインに対して一貫して強い結果を示し,500%以上のスピードアップを実現した。 さらに、ADMIRE IFT Runsという460のフルトレーニングと評価のデータセットを13,000時間以上のGPU時間で共有することで、研究へのアクセスを拡大しています。
  論文  参考訳（メタデータ） (2025-08-15T15:53:09Z)
• Combatting Dimensional Collapse in LLM Pre-Training Data via Diversified File Selection [65.96556073745197]
  DiverSified File selection algorithm (DiSF) は特徴空間における最も非相関なテキストファイルを選択するために提案される。 DiSFは590万のトレーニングファイルの98.5%をSlimPajamaに保存し、50Bのトレーニング予算内でのデータ事前トレーニングを上回っている。
  論文  参考訳（メタデータ） (2025-04-29T11:13:18Z)
• Posterior Inference with Diffusion Models for High-dimensional Black-box Optimization [17.92257026306603]
  生成モデルはブラックボックス最適化の問題を解決するために登場した。 我々は、高次元のブラックボックス最適化問題を解決するための新しいフレームワーク、textbfDiBOを紹介する。 提案手法は, 合成タスク, 実世界のタスクにおいて, 最先端のベースラインよりも優れる。
  論文  参考訳（メタデータ） (2025-02-24T04:19:15Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。