論文の概要: B2Opt: Learning to Optimize Black-box Optimization with Little Budget
- arxiv url: http://arxiv.org/abs/2304.11787v1
- Date: Mon, 24 Apr 2023 01:48:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 16:29:06.442881
- Title: B2Opt: Learning to Optimize Black-box Optimization with Little Budget
- Title(参考訳): B2Opt: 少ない予算でブラックボックス最適化を最適化する学習
- Authors: Xiaobin Li, Kai Wu, Xiaoyu Zhang, Handing Wang, Jing Liu
- Abstract要約: ブラックボックス最適化(BBO)のための強力なフレームワークとしてL2O(Learning to Optimization)が登場した。
我々は最適化戦略のより強力な表現を持つB2Optという新しいフレームワークを提案する。
BBOのベースラインと比較すると、B2Optは機能評価コストを抑えて3~106ドルのパフォーマンス改善を実現している。
- 参考スコア(独自算出の注目度): 15.95406229086798
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning to optimize (L2O) has emerged as a powerful framework for black-box
optimization (BBO). L2O learns the optimization strategies from the target task
automatically without human intervention. This paper focuses on obtaining
better performance when handling high-dimensional and expensive BBO with little
function evaluation cost, which is the core challenge of black-box
optimization. However, current L2O-based methods are weak for this due to a
large number of evaluations on expensive black-box functions during training
and poor representation of optimization strategy. To achieve this, 1) we
utilize the cheap surrogate functions of the target task to guide the design of
the optimization strategies; 2) drawing on the mechanism of evolutionary
algorithm (EA), we propose a novel framework called B2Opt, which has a stronger
representation of optimization strategies. Compared to the BBO baselines, B2Opt
can achieve 3 to $10^6$ times performance improvement with less function
evaluation cost. We test our proposal in high-dimensional synthetic functions
and two real-world applications. We also find that deep B2Opt performs better
than shallow ones.
- Abstract(参考訳): learning to optimize (l2o) は black-box optimization (bbo) の強力なフレームワークとして登場した。
L2Oは人間の介入なしに目標タスクから最適化戦略を自動的に学習する。
本稿では,ブラックボックス最適化の課題である機能評価コストの少ない高次元高コストBBOの処理における性能向上に焦点をあてる。
しかし、現在のL2O法は、トレーニング中の高価なブラックボックス関数に対する多くの評価と最適化戦略の貧弱な表現のために弱い。
これを達成するために
1) 最適化戦略の設計を導くために, 対象タスクの安価なサロゲート機能を利用する。
2)進化的アルゴリズム(EA)のメカニズムに基づき,最適化戦略のより強力な表現であるB2Optという新しいフレームワークを提案する。
BBOのベースラインと比較して、B2Optは機能評価コストを抑えて3~10^6ドルのパフォーマンス向上を達成できる。
この提案を高次元合成関数と実世界の2つの応用で検証する。
また、深部B2Optは浅いものよりも優れていることもわかりました。
関連論文リスト
- Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。
両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。
$(textFG)2textU$は本質的に並列コンピューティングをサポートするように設計されており、大規模分散コンピューティングシステムを効果的に活用することができる。
論文 参考訳(メタデータ) (2024-06-20T08:21:52Z) - Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳(メタデータ) (2024-06-12T16:58:41Z) - Localized Zeroth-Order Prompt Optimization [54.964765668688806]
そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。
ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。
注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
論文 参考訳(メタデータ) (2024-03-05T14:18:15Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳(メタデータ) (2023-07-25T09:45:47Z) - DADO -- Low-Cost Query Strategies for Deep Active Design Optimization [1.6298921134113031]
我々は,多目的設計最適化問題における計算コストを削減するために,自己最適化のための2つの選択戦略を提案する。
我々は流体力学の領域から大規模データセットの戦略を評価し、モデルの性能を決定するために2つの新しい評価指標を導入する。
論文 参考訳(メタデータ) (2023-07-10T13:01:27Z) - Large-Batch, Iteration-Efficient Neural Bayesian Design Optimization [37.339567743948955]
本稿では,BOの限界に対処するための新しいベイズ最適化フレームワークを提案する。
我々の重要な貢献は、高度にスケーラブルでサンプルベースの取得機能であり、非支配的な目的のソートを実行する。
我々は,ベイズ型ニューラルネットワークサロゲートと組み合わせることで,最小限の反復数でデータ集約環境に有効であることを示す。
論文 参考訳(メタデータ) (2023-06-01T19:10:57Z) - DECN: Automated Evolutionary Algorithms via Evolution Inspired Deep
Convolution Network [10.40999126818105]
本稿では、まず、自動EAに焦点を当てる: 自動EAは、関心の問題における構造を利用して、自動更新ルールを生成する。
手動で設計したEAから手動の介入なしに自動化されたEAへの移行を実現するために、深層進化畳み込みネットワーク(DECN)を設計する。
論文 参考訳(メタデータ) (2023-04-19T12:14:01Z) - Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。
幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
論文 参考訳(メタデータ) (2022-09-02T09:06:24Z) - A Simple Baseline for StyleGAN Inversion [133.5868210969111]
StyleGANのインバージョンは、トレーニング済みのStyleGANを実際の顔画像編集タスクに使用できるようにする上で重要な役割を果たす。
既存の最適化ベースの手法は高品質な結果を生み出すことができるが、最適化には時間がかかることが多い。
StyleGANインバージョンのための新しいフィードフォワードネットワークを提示し、効率と品質の面で大幅に改善します。
論文 参考訳(メタデータ) (2021-04-15T17:59:49Z) - Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。
この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文 参考訳(メタデータ) (2021-03-23T20:46:20Z) - Bayesian Optimization for Policy Search in High-Dimensional Systems via
Automatic Domain Selection [1.1240669509034296]
我々は,BOを高次元制御タスクに拡張するために,最適制御による結果を活用することを提案する。
BO問題を単純化するために,学習したダイナミクスモデルをモデルベースコントローラと組み合わせて利用する方法を示す。
本報告では,クワッドコプターの48次元ポリシを含む実ハードウェアおよびシミュレーションタスクについて実験的に評価する。
論文 参考訳(メタデータ) (2020-01-21T09:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。