論文の概要: B2Opt: Learning to Optimize Black-box Optimization with Little Budget
- arxiv url: http://arxiv.org/abs/2304.11787v2
- Date: Tue, 25 Jul 2023 07:56:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 20:51:58.129120
- Title: B2Opt: Learning to Optimize Black-box Optimization with Little Budget
- Title（参考訳）: B2Opt: 少ない予算でブラックボックス最適化を最適化する学習
- Authors: Xiaobin Li, Kai Wu, Xiaoyu Zhang, Handing Wang, Jing Liu
- Abstract要約: 本稿では,人的介入を伴わずに,目標タスクや安価なサロゲートタスクから最適化戦略を自動学習する強力な最適化フレームワークを設計する。
B2Optと呼ばれるディープニューラルネットワークフレームワークは、適合テストの生存率に基づく最適化戦略のより強力な表現を持っている。
最先端のBBOベースラインと比較して、B2Optは機能評価コストを低減して、複数桁の性能向上を実現することができる。
- 参考スコア（独自算出の注目度）: 15.95406229086798
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The core challenge of high-dimensional and expensive black-box optimization
(BBO) is how to obtain better performance faster with little function
evaluation cost. The essence of the problem is how to design an efficient
optimization strategy tailored to the target task. This paper designs a
powerful optimization framework to automatically learn the optimization
strategies from the target or cheap surrogate task without human intervention.
However, current methods are weak for this due to poor representation of
optimization strategy. To achieve this, 1) drawing on the mechanism of genetic
algorithm, we propose a deep neural network framework called B2Opt, which has a
stronger representation of optimization strategies based on survival of the
fittest; 2) B2Opt can utilize the cheap surrogate functions of the target task
to guide the design of the efficient optimization strategies. Compared to the
state-of-the-art BBO baselines, B2Opt can achieve multiple orders of magnitude
performance improvement with less function evaluation cost. We validate our
proposal on high-dimensional synthetic functions and two real-world
applications. We also find that deep B2Opt performs better than shallow ones.
- Abstract（参考訳）: 高次元かつ高価なブラックボックス最適化(BBO)の課題は、機能評価コストを少なくしてより高速な性能を実現する方法である。
問題の本質は、ターゲットタスクに適した効率的な最適化戦略を設計する方法である。
本稿では,人的介入を伴わずに,目標タスクや安価なサロゲートタスクから最適化戦略を自動学習する強力な最適化フレームワークを設計する。
しかし、最適化戦略の表現が不十分なため、現在の手法は弱い。
これを達成するために
1)遺伝的アルゴリズムのメカニズムを考察し,b2optと呼ばれる深層ニューラルネットワークフレームワークを提案する。
2) b2optはターゲットタスクの安価なサロゲート機能を利用して効率的な最適化戦略の設計を導くことができる。
最先端のBBOベースラインと比較して、B2Optは機能評価コストを低減して、複数桁の性能向上を実現することができる。
我々は,高次元合成関数と実世界の2つの応用に関する提案を検証する。
また、深部B2Optは浅いものよりも優れていることもわかりました。
関連論文リスト
- Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。
両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。
$(textFG)2textU$は本質的に並列コンピューティングをサポートするように設計されており、大規模分散コンピューティングシステムを効果的に活用することができる。
論文 参考訳（メタデータ） (2024-06-20T08:21:52Z) - Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳（メタデータ） (2024-06-12T16:58:41Z) - Localized Zeroth-Order Prompt Optimization [54.964765668688806]
そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。
ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。
注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
論文 参考訳（メタデータ） (2024-03-05T14:18:15Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - DADO -- Low-Cost Query Strategies for Deep Active Design Optimization [1.6298921134113031]
我々は,多目的設計最適化問題における計算コストを削減するために,自己最適化のための2つの選択戦略を提案する。
我々は流体力学の領域から大規模データセットの戦略を評価し、モデルの性能を決定するために2つの新しい評価指標を導入する。
論文 参考訳（メタデータ） (2023-07-10T13:01:27Z) - Large-Batch, Iteration-Efficient Neural Bayesian Design Optimization [37.339567743948955]
本稿では,BOの限界に対処するための新しいベイズ最適化フレームワークを提案する。
我々の重要な貢献は、高度にスケーラブルでサンプルベースの取得機能であり、非支配的な目的のソートを実行する。
我々は,ベイズ型ニューラルネットワークサロゲートと組み合わせることで,最小限の反復数でデータ集約環境に有効であることを示す。
論文 参考訳（メタデータ） (2023-06-01T19:10:57Z) - DECN: Automated Evolutionary Algorithms via Evolution Inspired Deep
Convolution Network [10.40999126818105]
本稿では、まず、自動EAに焦点を当てる: 自動EAは、関心の問題における構造を利用して、自動更新ルールを生成する。
手動で設計したEAから手動の介入なしに自動化されたEAへの移行を実現するために、深層進化畳み込みネットワーク(DECN)を設計する。
論文 参考訳（メタデータ） (2023-04-19T12:14:01Z) - Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。
幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
論文 参考訳（メタデータ） (2022-09-02T09:06:24Z) - A Simple Baseline for StyleGAN Inversion [133.5868210969111]
StyleGANのインバージョンは、トレーニング済みのStyleGANを実際の顔画像編集タスクに使用できるようにする上で重要な役割を果たす。
既存の最適化ベースの手法は高品質な結果を生み出すことができるが、最適化には時間がかかることが多い。
StyleGANインバージョンのための新しいフィードフォワードネットワークを提示し、効率と品質の面で大幅に改善します。
論文 参考訳（メタデータ） (2021-04-15T17:59:49Z) - Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。
この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文 参考訳（メタデータ） (2021-03-23T20:46:20Z) - Bayesian Optimization for Policy Search in High-Dimensional Systems via
Automatic Domain Selection [1.1240669509034296]
我々は,BOを高次元制御タスクに拡張するために,最適制御による結果を活用することを提案する。
BO問題を単純化するために,学習したダイナミクスモデルをモデルベースコントローラと組み合わせて利用する方法を示す。
本報告では,クワッドコプターの48次元ポリシを含む実ハードウェアおよびシミュレーションタスクについて実験的に評価する。
論文 参考訳（メタデータ） (2020-01-21T09:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。