論文の概要: Bayesian Optimization of Function Networks
- arxiv url: http://arxiv.org/abs/2112.15311v1
- Date: Fri, 31 Dec 2021 05:35:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-03 22:18:24.738353
- Title: Bayesian Optimization of Function Networks
- Title（参考訳）: 関数ネットワークのベイズ最適化
- Authors: Raul Astudillo, Peter I. Frazier
- Abstract要約: 本稿では,関数ネットワークの出力のベイジアン最適化,親ノードの出力の入力として各関数が要し,ネットワークの評価に要する時間について考察する。
我々の手法は、前者が無視する情報、すなわちネットワーク内の中間出力を活用することにより、クエリ効率を向上する。
提案手法は,いくつかの合成および実世界の問題において,標準的なベイズ最適化手法よりも劇的に優れていることを示す。
- 参考スコア（独自算出の注目度）: 20.73717187683924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider Bayesian optimization of the output of a network of functions,
where each function takes as input the output of its parent nodes, and where
the network takes significant time to evaluate. Such problems arise, for
example, in reinforcement learning, engineering design, and manufacturing.
While the standard Bayesian optimization approach observes only the final
output, our approach delivers greater query efficiency by leveraging
information that the former ignores: intermediate output within the network.
This is achieved by modeling the nodes of the network using Gaussian processes
and choosing the points to evaluate using, as our acquisition function, the
expected improvement computed with respect to the implied posterior on the
objective. Although the non-Gaussian nature of this posterior prevents
computing our acquisition function in closed form, we show that it can be
efficiently maximized via sample average approximation. In addition, we prove
that our method is asymptotically consistent, meaning that it finds a globally
optimal solution as the number of evaluations grows to infinity, thus
generalizing previously known convergence results for the expected improvement.
Notably, this holds even though our method might not evaluate the domain
densely, instead leveraging problem structure to leave regions unexplored.
Finally, we show that our approach dramatically outperforms standard Bayesian
optimization methods in several synthetic and real-world problems.
- Abstract（参考訳）: 本稿では,関数ネットワークの出力のベイジアン最適化,親ノードの出力の入力として各関数が要し,ネットワークの評価に要する時間について考察する。
このような問題は、強化学習、エンジニアリングデザイン、製造などにおいて発生する。
標準的なベイズ最適化アプローチは最終出力のみを観測するが、このアプローチは前者が無視する情報を活用することでクエリ効率が向上する:ネットワーク内の中間出力。
これは、ガウス過程を用いてネットワークのノードをモデル化し、我々の獲得関数として、目的のインプリッド後部について計算された期待改善を用いて評価する点を選択することで達成される。
この後部の非ガウス的性質は、我々の獲得関数を閉形式で計算することを妨げるが、サンプル平均近似により効率的に最大化できることが示される。
さらに,本手法が漸近的に一貫性があることを証明し,評価回数が無限に増大するにつれてグローバルに最適解を求めることにより,従来知られていた収束結果の一般化を期待できることを示した。
特に,本手法では領域を密に評価することができないが,領域を未探索のままにしておくために問題構造を利用する。
最後に,本手法は,いくつかの合成および実世界の問題において,標準的なベイズ最適化法よりも劇的に優れていることを示す。
関連論文リスト
- A Continuous Relaxation for Discrete Bayesian Optimization [17.312618575552]
推論と最適化は計算処理が可能であることを示す。
特に、観測と厳格な予算がほとんど存在しない最適化領域について検討する。
得られた取得関数は、連続的あるいは離散的な最適化アルゴリズムで最適化可能であることを示す。
論文 参考訳（メタデータ） (2024-04-26T14:47:40Z) - Bayesian Optimization of Function Networks with Partial Evaluations [16.447868102676885]
本稿では,どのノードと対応する入力を選択して,コストを意識して評価する知識勾配獲得関数を提案する。
我々の獲得関数は、幅広い種類の関数ネットワークの費用対効果を最適化する最初の方法である。
論文 参考訳（メタデータ） (2023-11-03T17:55:08Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Batch Bayesian Optimization via Particle Gradient Flows [0.5735035463793008]
ブラックボックスとしてしか利用できない,あるいは評価に費用がかかる対象関数のグローバルな最適化方法を示す。
確率測度の空間上の多点予測確率に基づく新しい関数を構築する。
論文 参考訳（メタデータ） (2022-09-10T18:10:15Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-09-23T17:38:24Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。
ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。
本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
論文 参考訳（メタデータ） (2020-10-07T08:19:48Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳（メタデータ） (2020-09-08T06:54:11Z) - Composition of kernel and acquisition functions for High Dimensional
Bayesian Optimization [0.1749935196721634]
目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。
このap-proachは確率的代理モデルの学習/更新をより効率的にする。
都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
論文 参考訳（メタデータ） (2020-03-09T15:45:57Z) - Uncertainty Quantification for Bayesian Optimization [12.433600693422235]
目的関数の最大点(あるいは値)の信頼領域を構築することにより、ベイズ最適化アルゴリズムの出力不確実性を評価する新しい手法を提案する。
我々の理論は、既存のシーケンシャルサンプリングポリシーと停止基準に対する統一的な不確実性定量化フレームワークを提供する。
論文 参考訳（メタデータ） (2020-02-04T22:48:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。