論文の概要: Bayesian Kernelized Tensor Factorization as Surrogate for Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2302.14510v2
• Date: Fri, 26 May 2023 15:33:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 20:31:52.379342
• Title: Bayesian Kernelized Tensor Factorization as Surrogate for Bayesian Optimization
• Title（参考訳）: ベイズ最適化のためのサロゲートとしてのベイズ核化テンソル分解
• Authors: Mengying Lei and Lijun Sun
• Abstract要約: カーネル最適化(BO)は主にガウス過程(GP)をキーサロゲートモデルとして用いている。 本稿では,BOにおける新しい代理モデルとしてベイズ因子化(BKTF)を提案する。 BKTFは、不確実量化を伴う複素関数を特徴づけるための柔軟で効果的なアプローチを提供する。
• 参考スコア（独自算出の注目度）: 13.896697187967545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) primarily uses Gaussian processes (GP) as the key surrogate model, mostly with a simple stationary and separable kernel function such as the squared-exponential kernel with automatic relevance determination (SE-ARD). However, such simple kernel specifications are deficient in learning functions with complex features, such as being nonstationary, nonseparable, and multimodal. Approximating such functions using a local GP, even in a low-dimensional space, requires a large number of samples, not to mention in a high-dimensional setting. In this paper, we propose to use Bayesian Kernelized Tensor Factorization (BKTF) -- as a new surrogate model -- for BO in a $D$-dimensional Cartesian product space. Our key idea is to approximate the underlying $D$-dimensional solid with a fully Bayesian low-rank tensor CP decomposition, in which we place GP priors on the latent basis functions for each dimension to encode local consistency and smoothness. With this formulation, information from each sample can be shared not only with neighbors but also across dimensions. Although BKTF no longer has an analytical posterior, we can still efficiently approximate the posterior distribution through Markov chain Monte Carlo (MCMC) and obtain prediction and full uncertainty quantification (UQ). We conduct numerical experiments on both standard BO test functions and machine learning hyperparameter tuning problems, and our results show that BKTF offers a flexible and highly effective approach for characterizing complex functions with UQ, especially in cases where the initial sample size and budget are severely limited.
• Abstract（参考訳）: ベイズ最適化(BO)は、主にガウス過程(GP)をキーサロゲートモデルとして用いており、主に2乗述語カーネル(SE-ARD)のような固定的で分離可能なカーネル関数を持つ。 しかし、そのような単純なカーネル仕様は、非定常性、非分離性、マルチモーダルといった複雑な特徴を持つ学習機能に欠けている。 このような関数を局所gpを用いて近似するには、低次元空間であっても、高次元の設定では言及されない大量のサンプルが必要となる。 本稿では,BKTF (Bayesian Kernelized Tensor Factorization) を新しい代理モデルとして,D$D次元カルテシアン積空間におけるBOに対して用いることを提案する。 我々の重要なアイデアは、完全にベイジアンな低ランクテンソルcp分解を持つ、基礎となる$d$-dimensional solidを近似することであり、gp を各次元の潜在基底関数に前置して局所的一貫性と滑らかさを符号化する。 この定式化により、各サンプルからの情報は隣人だけでなく、次元にわたって共有できる。 BKTFはもはや分析後部を持たないが、マルコフ連鎖モンテカルロ(MCMC)による後部分布を効率的に近似し、予測と完全不確実量化(UQ)を得ることができる。 我々は,標準的なBOテスト関数と機械学習ハイパーパラメータチューニング問題の両方について数値実験を行い,BKTFは,特に初期サンプルサイズと予算が著しく制限された場合に,複雑な関数をUQで特徴づけるための柔軟かつ高効率なアプローチを提供することを示した。

関連論文リスト

• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• One-Dimensional Deep Image Prior for Curve Fitting of S-Parameters from Electromagnetic Solvers [57.441926088870325]
  Deep Image Prior(ディープ・イメージ・プライオリ、ディープ・イメージ・プライオリ、DIP)は、ランダムなd畳み込みニューラルネットワークの重みを最適化し、ノイズや過度な測定値からの信号に適合させる技術である。 本稿では,Vector Fitting (VF) の実装に対して,ほぼすべてのテスト例において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-06T20:28:37Z)
• A Study of Bayesian Neural Network Surrogates for Bayesian Optimization [46.97686790714025]
  ベイズニューラルネットワーク(BNN)は近年,実用的な機能近似器になりつつある。 我々は,BNNを最適化のための標準GPサロゲートの代替として検討する。
  論文  参考訳（メタデータ） (2023-05-31T17:00:00Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
  GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。 古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
  論文  参考訳（メタデータ） (2022-06-17T19:03:04Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)
• Misspecification-robust likelihood-free inference in high dimensions [13.934999364767918]
  本稿では,ベイズ最適化に基づく近似離散関数の確率的手法による拡張を提案する。 提案手法は,高次元パラメータ空間に対する計算スケーラビリティを,各パラメータの別個の取得関数と相違点を用いて達成する。 本手法は,100次元空間における標準例による計算効率のよい推論を成功させ,既存のモジュール化ABC法と比較した。
  論文  参考訳（メタデータ） (2020-02-21T16:06:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。