論文の概要: A Bayesian Optimization Framework for Finding Local Optima in Expensive
Multi-Modal Functions
- arxiv url: http://arxiv.org/abs/2210.06635v2
- Date: Sun, 6 Aug 2023 03:35:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 00:49:29.632468
- Title: A Bayesian Optimization Framework for Finding Local Optima in Expensive
Multi-Modal Functions
- Title（参考訳）: 高価なマルチモーダル関数における局所オプティマ探索のためのベイズ最適化フレームワーク
- Authors: Yongsheng Mei, Tian Lan, Mahdi Imani, Suresh Subramaniam
- Abstract要約: 本稿では,高コストで評価可能なマルチモーダル目的関数に対する局所的・言語的ソリューションの集合を見つけるためのマルチモーダルBOフレームワークを開発する。
目的関数とその一階微分の結合分布を解析的に導出する。
本稿では、マルチモーダル設定によく知られたBO取得関数の変種を導入し、提案フレームワークの性能を実証する。
- 参考スコア（独自算出の注目度）: 18.570591025615453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization (BO) is a popular global optimization scheme for
sample-efficient optimization in domains with expensive function evaluations.
The existing BO techniques are capable of finding a single global optimum
solution. However, finding a set of global and local optimum solutions is
crucial in a wide range of real-world problems, as implementing some of the
optimal solutions might not be feasible due to various practical restrictions
(e.g., resource limitation, physical constraints, etc.). In such domains, if
multiple solutions are known, the implementation can be quickly switched to
another solution, and the best possible system performance can still be
obtained. This paper develops a multimodal BO framework to effectively find a
set of local/global solutions for expensive-to-evaluate multimodal objective
functions. We consider the standard BO setting with Gaussian process regression
representing the objective function. We analytically derive the joint
distribution of the objective function and its first-order derivatives. This
joint distribution is used in the body of the BO acquisition functions to
search for local optima during the optimization process. We introduce variants
of the well-known BO acquisition functions to the multimodal setting and
demonstrate the performance of the proposed framework in locating a set of
local optimum solutions using multiple optimization problems.
- Abstract（参考訳）: ベイズ最適化 (bayesian optimization, bo) は、高コスト関数評価領域におけるサンプル効率最適化のための一般的なグローバル最適化スキームである。
既存のbo技術は単一のグローバル最適解を見つけることができる。
しかし、様々な実用的制約(例えば、資源制限、物理的な制約など)のために最適解の実装が実現不可能な場合があるため、グローバルおよび局所最適解のセットを見つけることは、現実世界の幅広い問題において不可欠である。
このようなドメインでは、複数のソリューションが知られている場合、その実装を別のソリューションに素早く切り替えることができ、最良のシステム性能を得ることができる。
本稿では,マルチモーダル目的関数の局所解とグローバル解のセットを効果的に見つけるために,マルチモーダルboフレームワークを開発した。
目的関数を表すガウス過程回帰を用いた標準BO設定について検討する。
目的関数とその一階微分の結合分布を解析的に導出する。
この共同分布はBO取得関数の本体で最適化過程中の局所最適探索に使用される。
本稿では,よく知られたbo取得関数の変種をマルチモーダル設定に導入し,複数の最適化問題を用いた局所最適解集合の探索における提案フレームワークの性能を示す。
関連論文リスト
- Learning Multiple Initial Solutions to Optimization Problems [52.9380464408756]
厳密なランタイム制約の下で、同様の最適化問題を順次解決することは、多くのアプリケーションにとって不可欠である。
本稿では,問題インスタンスを定義するパラメータが与えられた初期解を多種多様に予測する学習を提案する。
提案手法は,すべての評価設定において有意かつ一貫した改善を実現し,必要な初期解の数に応じて効率よくスケールできることを実証した。
論文 参考訳（メタデータ） (2024-11-04T15:17:19Z) - Localized Zeroth-Order Prompt Optimization [54.964765668688806]
そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。
ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。
注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
論文 参考訳（メタデータ） (2024-03-05T14:18:15Z) - High-dimensional Bayesian Optimization via Covariance Matrix Adaptation
Strategy [16.521207412129833]
本稿では,CMA(Covariance Matrix Adaptation)戦略を用いて局所領域を定義する手法を提案する。
この探索分布に基づいて,大域的最適である確率の高いデータポイントからなる局所領域を定義する。
提案手法は,BO,TuRBO,BAxUSなどの既存のブラックボックスBOを組み込んでグローバルな最適解を求めるメタアルゴリズムとして機能する。
論文 参考訳（メタデータ） (2024-02-05T15:32:10Z) - Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳（メタデータ） (2023-12-28T23:15:18Z) - Federated Multi-Level Optimization over Decentralized Networks [55.776919718214224]
エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。
ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。
提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
論文 参考訳（メタデータ） (2023-10-10T00:21:10Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - Discovering Many Diverse Solutions with Bayesian Optimization [7.136022698519586]
信頼領域を用いたランク順ベイズ最適化(ROBOT)を提案する。
ROBOTは、ユーザが特定した多様性基準に従って、多様なハイパフォーマンスソリューションのポートフォリオを見つけることを目的としている。
そこで本研究では,機能評価をほとんど必要とせず,高い性能の多様な解を多数発見できることを示す。
論文 参考訳（メタデータ） (2022-10-20T01:56:38Z) - Joint Entropy Search for Multi-objective Bayesian Optimization [0.0]
本稿では,統合エントロピー探索(Joint Entropy Search)と呼ばれるBOのための情報理論獲得関数を提案する。
本稿では, ハイパーボリュームとその重み付き変種の観点から, 合成および実世界の諸問題に対するこの新しいアプローチの有効性を示す。
論文 参考訳（メタデータ） (2022-10-06T13:19:08Z) - Enhanced Opposition Differential Evolution Algorithm for Multimodal
Optimization [0.2538209532048866]
現実の問題は、本質的には複数の最適値からなるマルチモーダルである。
古典的な勾配に基づく手法は、目的関数が不連続あるいは微分不可能な最適化問題に対して失敗する。
我々は,MMOPを解くために,拡張オポポジション微分進化(EODE)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-08-23T16:18:27Z) - Dynamic Multi-objective Ensemble of Acquisition Functions in Batch
Bayesian Optimization [1.1602089225841632]
獲得関数は最適化プロセスにおいて重要な役割を果たす。
3つの取得関数は、その現在のパフォーマンスと過去のパフォーマンスに基づいて、セットから動的に選択される。
進化的多目的アルゴリズムを用いて、そのようなMOPを最適化し、非支配的な解の集合を得ることができる。
論文 参考訳（メタデータ） (2022-06-22T14:09:18Z) - Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。
本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
論文 参考訳（メタデータ） (2022-01-28T05:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。