論文の概要: ZeroShotOpt: Towards Zero-Shot Pretrained Models for Efficient Black-Box Optimization

• arxiv url: http://arxiv.org/abs/2510.03051v1
• Date: Fri, 03 Oct 2025 14:33:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.426475
• Title: ZeroShotOpt: Towards Zero-Shot Pretrained Models for Efficient Black-Box Optimization
• Title（参考訳）: ZeroShotOpt: 効率的なブラックボックス最適化のためのゼロショット事前訓練モデルを目指して
• Authors: Jamison Meindl, Yunsheng Tian, Tony Cui, Veronika Thost, Zhang-Wei Hong, Johannes Dürholt, Jie Chen, Wojciech Matusik, Mina Konaković Luković,
• Abstract要約: 提案するZeroShotは,2次元から20次元までの連続的なブラックボックス最適化タスクのための汎用的,事前訓練されたモデルである。 提案手法は,12種類のBOから収集した大規模最適化タスクに対して,オフライン強化学習を利用する。
• 参考スコア（独自算出の注目度）: 31.894110383242566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Global optimization of expensive, derivative-free black-box functions requires extreme sample efficiency. While Bayesian optimization (BO) is the current state-of-the-art, its performance hinges on surrogate and acquisition function hyper-parameters that are often hand-tuned and fail to generalize across problem landscapes. We present ZeroShotOpt, a general-purpose, pretrained model for continuous black-box optimization tasks ranging from 2D to 20D. Our approach leverages offline reinforcement learning on large-scale optimization trajectories collected from 12 BO variants. To scale pretraining, we generate millions of synthetic Gaussian process-based functions with diverse landscapes, enabling the model to learn transferable optimization policies. As a result, ZeroShotOpt achieves robust zero-shot generalization on a wide array of unseen benchmarks, matching or surpassing the sample efficiency of leading global optimizers, including BO, while also offering a reusable foundation for future extensions and improvements. Our open-source code, dataset, and model are available at: https://github.com/jamisonmeindl/zeroshotopt
• Abstract（参考訳）: 高価なデリバティブフリーなブラックボックス関数のグローバルな最適化には、極端なサンプル効率が必要である。 ベイズ最適化(BO)は現在の最先端技術であるが、その性能はサロゲートと取得関数のハイパーパラメータに依存しており、しばしば手動で調整され、問題領域をまたいだ一般化に失敗する。 提案するZeroShotOptは,2次元から20次元までの連続的なブラックボックス最適化タスクのための汎用的,事前訓練されたモデルである。 提案手法は,12 BO変種から収集した大規模最適化トラジェクトリのオフライン強化学習を利用する。 事前学習をスケールするために,多種多様なランドスケープを持つ合成ガウス過程に基づく数百万の関数を生成し,モデルが転送可能な最適化ポリシーを学習できるようにする。 結果として、ZeroShotOptは、BOを含む主要なグローバルオプティマイザのサンプル効率を一致または超えるとともに、将来の拡張と改善のための再利用可能な基盤を提供する、幅広い未確認ベンチマークにおいて、堅牢なゼロショットの一般化を実現している。 当社のオープンソースコード、データセット、モデルについては、https://github.com/jamisonmeindl/zeroshotopt.comで公開しています。

関連論文リスト

• Simplifying Bayesian Optimization Via In-Context Direct Optimum Sampling [18.852567298468742]
  代理フィッティングや獲得関数の最適化を必要としないBOに対して,完全にコンテキスト内ゼロショットのソリューションを提案する。 これは、事前訓練されたコンテキストモデルを使用して、最適点上の後方から直接サンプリングする。 プロセスベースBOと比較して,壁面時間で35倍以上の効率向上を実現した。
  論文  参考訳（メタデータ） (2025-05-29T18:07:36Z)
• Predictive Modeling through Hyper-Bayesian Optimization [60.586813904500595]
  本稿では,モデル選択とBOを統合する新しい手法を提案する。 このアルゴリズムは、モデル空間のBOと関数空間のBOの間を行き来する。 サンプル効率の改善に加えて、ブラックボックス機能に関する情報も出力する。
  論文  参考訳（メタデータ） (2023-08-01T04:46:58Z)
• Large-Batch, Iteration-Efficient Neural Bayesian Design Optimization [37.339567743948955]
  本稿では,BOの限界に対処するための新しいベイズ最適化フレームワークを提案する。 我々の重要な貢献は、高度にスケーラブルでサンプルベースの取得機能であり、非支配的な目的のソートを実行する。 我々は,ベイズ型ニューラルネットワークサロゲートと組み合わせることで,最小限の反復数でデータ集約環境に有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-01T19:10:57Z)
• High-Dimensional Bayesian Optimization via Semi-Supervised Learning with Optimized Unlabeled Data Sampling [6.927830939687371]
  $texttTSBO$には、教師モデル、ラベルなしデータサンプルラー、学生モデルが含まれている。 学生は、教師が予測した擬似ラベルを用いて、サンプリング者が生成したラベルなしのデータロケーションを訓練する。 $texttTSBO$は、厳格なラベル付きデータ予算の下で、いくつかのグローバル最適化タスクにおいて、サンプル効率が大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2023-05-04T07:43:40Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Pre-trained Gaussian Processes for Bayesian Optimization [24.730678780782647]
  本稿では,HyperBO という事前学習型 BO フレームワークを提案する。 GPが既知の「地中真実」を仮定することなく, 後続の予測と, ほぼゼロの後悔をHyperBOに示す。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。