論文の概要: A Study of Bayesian Neural Network Surrogates for Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2305.20028v2
• Date: Wed, 8 May 2024 10:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 19:30:13.001471
• Title: A Study of Bayesian Neural Network Surrogates for Bayesian Optimization
• Title（参考訳）: ベイズ最適化のためのベイズニューラルネットワークサロゲートの検討
• Authors: Yucen Lily Li, Tim G. J. Rudner, Andrew Gordon Wilson,
• Abstract要約: ベイズニューラルネットワーク(BNN)は近年,実用的な機能近似器になりつつある。 我々は,BNNを最適化のための標準GPサロゲートの代替として検討する。
• 参考スコア（独自算出の注目度）: 46.97686790714025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization is a highly efficient approach to optimizing objective functions which are expensive to query. These objectives are typically represented by Gaussian process (GP) surrogate models which are easy to optimize and support exact inference. While standard GP surrogates have been well-established in Bayesian optimization, Bayesian neural networks (BNNs) have recently become practical function approximators, with many benefits over standard GPs such as the ability to naturally handle non-stationarity and learn representations for high-dimensional data. In this paper, we study BNNs as alternatives to standard GP surrogates for optimization. We consider a variety of approximate inference procedures for finite-width BNNs, including high-quality Hamiltonian Monte Carlo, low-cost stochastic MCMC, and heuristics such as deep ensembles. We also consider infinite-width BNNs, linearized Laplace approximations, and partially stochastic models such as deep kernel learning. We evaluate this collection of surrogate models on diverse problems with varying dimensionality, number of objectives, non-stationarity, and discrete and continuous inputs. We find: (i) the ranking of methods is highly problem dependent, suggesting the need for tailored inductive biases; (ii) HMC is the most successful approximate inference procedure for fully stochastic BNNs; (iii) full stochasticity may be unnecessary as deep kernel learning is relatively competitive; (iv) deep ensembles perform relatively poorly; (v) infinite-width BNNs are particularly promising, especially in high dimensions.
• Abstract（参考訳）: ベイズ最適化は、クエリに費用がかかる目的関数を最適化するための非常に効率的な手法である。 これらの目的は通常、最適化が容易で正確な推論をサポートするガウス過程(GP)シュロゲートモデルによって表される。 ベイジアン最適化において標準GPサロゲートは確立されているが、ベイジアンニューラルネットワーク(BNN)は近年、非定常性を自然に扱う能力や高次元データの表現を学ぶ能力など、標準GPよりも多くの利点を持つ実用的な関数近似器となっている。 本稿では,BNNを最適化のための標準GPサロゲートの代替として検討する。 有限幅BNNに対して,高品質なハミルトニアンモンテカルロ,低コスト確率MCMC,深層アンサンブルなどのヒューリスティックスなど,様々な近似的推論手順を検討する。 また、無限幅BNN、線形化ラプラス近似、深層カーネル学習のような部分確率モデルについても検討する。 本研究では, 異なる次元性, 目的数, 非定常性, 離散的かつ連続的な入力を有する多様な問題に対する代理モデルの収集を評価する。 以下に示す。 一 方法の格付けは、問題に大きく依存し、誘導バイアスの調整の必要性を示唆する。 (II) HMC は完全確率的 BNN に対する最も成功した近似推論法である。 (iii)ディープカーネル学習が比較的競争力があるため、完全な確率性は不要かもしれない。 (四)ディープアンサンブルは、比較的貧弱である。 (v)無限幅BNNは特に高次元において有望である。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Bayesian Kernelized Tensor Factorization as Surrogate for Bayesian Optimization [13.896697187967545]
  カーネル最適化(BO)は主にガウス過程(GP)をキーサロゲートモデルとして用いている。 本稿では,BOにおける新しい代理モデルとしてベイズ因子化(BKTF)を提案する。 BKTFは、不確実量化を伴う複素関数を特徴づけるための柔軟で効果的なアプローチを提供する。
  論文  参考訳（メタデータ） (2023-02-28T12:00:21Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Efficient Bayes Inference in Neural Networks through Adaptive Importance Sampling [19.518237361775533]
  BNNでは、トレーニング段階で、未知の重みとバイアスパラメータの完全な後部分布が生成される。 この機能は、数え切れないほどの機械学習アプリケーションに役立ちます。 医療医療や自動運転など、意思決定に重大な影響を及ぼす分野において特に魅力的である。
  論文  参考訳（メタデータ） (2022-10-03T14:59:23Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Consistent Sparse Deep Learning: Theory and Computation [11.24471623055182]
  スパース深層学習ネットワーク(DNN)を学習するための頻繁な方法を提案する。 提案手法は大規模ネットワーク圧縮や高次元非線形変数選択に非常に有効である。
  論文  参考訳（メタデータ） (2021-02-25T23:31:24Z)
• Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
  データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。 この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。 我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:04:27Z)
• Train Like a (Var)Pro: Efficient Training of Neural Networks with Variable Projection [2.7561479348365734]
  ディープニューラルネットワーク(DNN)は、さまざまな従来の機械学習タスクで最先端のパフォーマンスを達成した。 本稿では,多くの最先端アプリケーションで発生するDNNのトレーニングについて考察する。
  論文  参考訳（メタデータ） (2020-07-26T16:29:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。