論文の概要: Generative Pretraining for Black-Box Optimization

• arxiv url: http://arxiv.org/abs/2206.10786v1
• Date: Wed, 22 Jun 2022 00:54:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 06:38:48.662073
• Title: Generative Pretraining for Black-Box Optimization
• Title（参考訳）: ブラックボックス最適化のための生成前訓練
• Authors: Siddarth Krishnamoorthy, Satvik Mehul Mashkaria, Aditya Grover
• Abstract要約: ブラックボックス最適化問題は、高次元空間上の高価な関数を最適化することを伴う。 暗黙のブラックボックス関数を事前学習するための生成フレームワークであるブラックボックス最適化変換器(BOOMER)を提案する。 BOOMERは多種多様な低忠実度(探索)から高忠実度(探索)への遷移を模倣する軌道を誘導することを示す。
• 参考スコア（独自算出の注目度）: 19.374596109475803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many problems in science and engineering involve optimizing an expensive black-box function over a high-dimensional space. For such black-box optimization (BBO) problems, we typically assume a small budget for online function evaluations, but also often have access to a fixed, offline dataset for pretraining. Prior approaches seek to utilize the offline data to approximate the function or its inverse but are not sufficiently accurate far from the data distribution. We propose Black-box Optimization Transformer (BOOMER), a generative framework for pretraining black-box optimizers using offline datasets. In BOOMER, we train an autoregressive model to imitate trajectory runs of implicit black-box function optimizers. Since these trajectories are unavailable by default, we develop a simple randomized heuristic to synthesize trajectories by sorting random points from offline data. We show theoretically that this heuristic induces trajectories that mimic transitions from diverse low-fidelity (exploration) to high-fidelity (exploitation) samples. Further, we introduce mechanisms to control the rate at which a trajectory transitions from exploration to exploitation, and use it to generalize outside the offline data at test-time. Empirically, we instantiate BOOMER using a casually masked Transformer and evaluate it on Design-Bench, where we rank the best on average, outperforming state-of-the-art baselines.
• Abstract（参考訳）: 科学や工学における多くの問題は、高次元空間上の高価なブラックボックス関数の最適化を伴う。 このようなブラックボックス最適化(BBO)問題に対して、オンライン機能評価の予算は小さく、事前トレーニングのための固定されたオフラインデータセットへのアクセスも少なくない。 以前のアプローチでは、オフラインデータを使用して関数やその逆を近似するが、データ分布からは程遠い精度では不十分である。 オフラインデータセットを用いてブラックボックスオプティマイザを事前学習するための生成フレームワークであるBlack-box Optimization Transformer (BOOMER)を提案する。 BOOMERでは,暗黙のブラックボックス関数最適化器の軌道実行を模倣する自己回帰モデルを訓練する。 これらの軌道はデフォルトでは利用できないため、オフラインデータからランダムポイントをソートして軌道を合成する単純なランダム化ヒューリスティックを開発した。 理論的には、このヒューリスティックは様々な低忠実度(探索)から高忠実度(探索)への遷移を模倣する軌道を誘導する。 さらに,軌道が探索から搾取へ遷移する速度を制御する機構を導入し,テスト時にオフラインデータの外部への一般化を行う。 実証的には、カジュアルなマスク付きトランスフォーマーを用いてBOOMERをインスタンス化し、Design-Benchで評価する。

関連論文リスト

• Guided Trajectory Generation with Diffusion Models for Offline Model-based Optimization [19.228156994045587]
  高速領域への軌道生成のための条件付き生成モデリング手法を提案する。 実験の結果,本手法はデザインベンチの競争基準よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-29T06:12:36Z)
• ROMO: Retrieval-enhanced Offline Model-based Optimization [14.277672372460785]
  データ駆動型ブラックボックスモデルベース最適化(MBO)の問題は、多くの実用的なアプリケーションシナリオで発生します。 検索強化オフラインモデルベース最適化(ROMO)を提案する。 ROMOは実装が簡単で、CoMBO設定における最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2023-10-11T15:04:33Z)
• Diffusion Models for Black-Box Optimization [29.64357898080842]
  オフラインブラックボックス最適化のためのDDOM(Denoising Diffusion Optimization Model)を提案する。 オフラインデータセットが与えられた場合、DDOMは関数値に基づいて条件付き生成モデルをブラックボックス関数のドメイン上で学習する。 DDOMは最先端のベースラインと競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:26:44Z)
• Prior-mean-assisted Bayesian optimization application on FRIB Front-End tunning [61.78406085010957]
  我々は、FRIBフロントエンドチューニングのためのBOの事前平均として、過去のデータに基づいてトレーニングされたニューラルネットワークモデルを利用する。 本稿では、FRIBフロントエンドチューニングのためのBOの事前平均として、過去のデータに基づいてトレーニングされたニューラルネットワークモデルを利用する。
  論文  参考訳（メタデータ） (2022-11-11T18:34:15Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Design-Bench: Benchmarks for Data-Driven Offline Model-Based Optimization [82.02008764719896]
  ブラックボックスモデルに基づく最適化問題は、タンパク質、DNA配列、航空機、ロボットの設計など、幅広い領域で広く使われている。 本稿では,統合評価プロトコルと最近の手法の参照実装を備えたオフラインMBOのためのベンチマークであるDesign-Benchを提案する。 私たちのベンチマークには、生物学、材料科学、ロボット工学における現実世界の最適化問題から派生した、多種多様な現実的なタスクが含まれています。
  論文  参考訳（メタデータ） (2022-02-17T05:33:27Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data [86.8949732640035]
  追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。 GP-UCBに類似した条件下では, 応答が得られないことを示す。 実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-02T05:03:38Z)
• Projection & Probability-Driven Black-Box Attack [205.9923346080908]
  既存のブラックボックス攻撃は、高次元空間における過剰なクエリを必要とする。 本稿では,この問題を解決するために,プロジェクション&確率駆動型ブラックボックス攻撃(PPBA)を提案する。 我々の手法は、最先端の手法に比べて攻撃成功率の高いクエリを少なくとも24%削減する必要がある。
  論文  参考訳（メタデータ） (2020-05-08T03:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。