論文の概要: Dynamic Multi-objective Ensemble of Acquisition Functions in Batch
Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2206.11118v1
- Date: Wed, 22 Jun 2022 14:09:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-26 12:38:29.417372
- Title: Dynamic Multi-objective Ensemble of Acquisition Functions in Batch
Bayesian Optimization
- Title(参考訳): バッチベイズ最適化における動的多目的獲得関数の集合
- Authors: Jixiang Chen and Fu Luo and Zhenkun Wang
- Abstract要約: 獲得関数は最適化プロセスにおいて重要な役割を果たす。
3つの取得関数は、その現在のパフォーマンスと過去のパフォーマンスに基づいて、セットから動的に選択される。
進化的多目的アルゴリズムを用いて、そのようなMOPを最適化し、非支配的な解の集合を得ることができる。
- 参考スコア(独自算出の注目度): 1.1602089225841632
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Bayesian optimization (BO) is a typical approach to solve expensive
optimization problems. In each iteration of BO, a Gaussian process(GP) model is
trained using the previously evaluated solutions; then next candidate solutions
for expensive evaluation are recommended by maximizing a cheaply-evaluated
acquisition function on the trained surrogate model. The acquisition function
plays a crucial role in the optimization process. However, each acquisition
function has its own strengths and weaknesses, and no single acquisition
function can consistently outperform the others on all kinds of problems. To
better leverage the advantages of different acquisition functions, we propose a
new method for batch BO. In each iteration, three acquisition functions are
dynamically selected from a set based on their current and historical
performance to form a multi-objective optimization problem (MOP). Using an
evolutionary multi-objective algorithm to optimize such a MOP, a set of
non-dominated solutions can be obtained. To select batch candidate solutions,
we rank these non-dominated solutions into several layers according to their
relative performance on the three acquisition functions. The empirical results
show that the proposed method is competitive with the state-of-the-art methods
on different problems.
- Abstract(参考訳): ベイズ最適化(BO)は高価な最適化問題を解決する典型的な手法である。
boの各イテレーションでは、予め評価された解を用いてガウス過程(gp)モデルを訓練し、訓練されたサロゲートモデル上で安価に評価された取得関数を最大化することにより、高価な評価のための次の候補解を推奨する。
獲得関数は最適化プロセスにおいて重要な役割を果たす。
しかし、それぞれの獲得関数は強みと弱みを持ち、単一の獲得関数があらゆる種類の問題に対して一貫して他の関数を上回ることはない。
異なる獲得関数の利点をよりよく活用するために,バッチBOの新しい手法を提案する。
各イテレーションにおいて、3つの取得関数は、その現在および過去のパフォーマンスに基づいてセットから動的に選択され、多目的最適化問題(MOP)を形成する。
進化的多目的アルゴリズムを用いて、MOPを最適化し、非支配的な解の集合を得ることができる。
バッチ候補の解を選択するために,これら非支配的な解を3つの獲得関数の相対的性能に応じて複数の層に分類する。
実験の結果,提案手法は,異なる問題に対する最先端手法と競合することがわかった。
関連論文リスト
- Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳(メタデータ) (2023-12-28T23:15:18Z) - Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and
Optimization [59.386153202037086]
Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。
本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
論文 参考訳(メタデータ) (2023-11-22T01:32:06Z) - qPOTS: Efficient batch multiobjective Bayesian optimization via Pareto
optimal Thompson sampling [0.0]
多目的最適化を解くためのサンプル効率のアプローチはプロセス・オラクル・サロゲート (GP) を経由する。
本稿では,ランダムGPサンプルのフロンティアから新しい候補を選択する,単純かつ効果的なトンプソンサンプリングに基づくアプローチを提案する。
提案手法は, 実世界の実験だけでなく, 精度, 計算効率の両面において, 高い実験性能を示すものである。
論文 参考訳(メタデータ) (2023-10-24T12:35:15Z) - Multi-Objective Optimization Using the R2 Utility [4.506099292980221]
本稿では,多目的最適化問題を集合上定義された単目的最適化問題に再キャストする方法を示す。
この新しい問題に対する目的関数の適切なクラスは、スカラー化された最適化問題に対する重み付き積分として定義されるR2ユーティリティ関数である。
このユーティリティ関数は単調かつ部分モジュラーな集合関数であり、グリーディ最適化アルゴリズムを用いて効果的に最適化できることを示す。
論文 参考訳(メタデータ) (2023-05-19T16:01:35Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - Multi-Objective GFlowNets [59.16787189214784]
本稿では,多目的最適化の文脈において,多様な候補を生成する問題について検討する。
薬物発見やマテリアルデザインといった機械学習の多くの応用において、目標は、競合する可能性のある目標のセットを同時に最適化する候補を生成することである。
GFlowNetsをベースとした多目的GFlowNets(MOGFNs)を提案する。
論文 参考訳(メタデータ) (2022-10-23T16:15:36Z) - A Bayesian Optimization Framework for Finding Local Optima in Expensive
Multi-Modal Functions [18.570591025615453]
本稿では,高コストで評価可能なマルチモーダル目的関数に対する局所的・言語的ソリューションの集合を見つけるためのマルチモーダルBOフレームワークを開発する。
目的関数とその一階微分の結合分布を解析的に導出する。
本稿では、マルチモーダル設定によく知られたBO取得関数の変種を導入し、提案フレームワークの性能を実証する。
論文 参考訳(メタデータ) (2022-10-13T00:10:13Z) - Enhanced Opposition Differential Evolution Algorithm for Multimodal
Optimization [0.2538209532048866]
現実の問題は、本質的には複数の最適値からなるマルチモーダルである。
古典的な勾配に基づく手法は、目的関数が不連続あるいは微分不可能な最適化問題に対して失敗する。
我々は,MMOPを解くために,拡張オポポジション微分進化(EODE)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-08-23T16:18:27Z) - Uncertainty-Aware Search Framework for Multi-Objective Bayesian
Optimization [40.40632890861706]
高価な関数評価を用いたマルチオブジェクト(MO)ブラックボックス最適化の問題点を考察する。
UeMOと呼ばれる新しい不確実性対応検索フレームワークを提案し、評価のための入力シーケンスを効率的に選択する。
論文 参考訳(メタデータ) (2022-04-12T16:50:48Z) - Optimizer Amalgamation [124.33523126363728]
私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか?
まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。
また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
論文 参考訳(メタデータ) (2022-03-12T16:07:57Z) - Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。
本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
論文 参考訳(メタデータ) (2022-01-28T05:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。