論文の概要: Mixed Variable Bayesian Optimization with Frequency Modulated Kernels
- arxiv url: http://arxiv.org/abs/2102.12792v1
- Date: Thu, 25 Feb 2021 11:28:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-26 14:00:58.461166
- Title: Mixed Variable Bayesian Optimization with Frequency Modulated Kernels
- Title(参考訳): 周波数変調カーネルを用いた混合変数ベイズ最適化
- Authors: Changyong Oh, Efstratios Gavves, Max Welling
- Abstract要約: 異なる種類の変数間の依存性を柔軟にモデリングする周波数変調(FM)カーネルを提案する。
BO-FMは正規化進化(RE)およびBOHBを含む競争相手を上回ります。
- 参考スコア(独自算出の注目度): 96.78099706164747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The sample efficiency of Bayesian optimization(BO) is often boosted by
Gaussian Process(GP) surrogate models. However, on mixed variable spaces,
surrogate models other than GPs are prevalent, mainly due to the lack of
kernels which can model complex dependencies across different types of
variables. In this paper, we propose the frequency modulated (FM) kernel
flexibly modeling dependencies among different types of variables, so that BO
can enjoy the further improved sample efficiency. The FM kernel uses distances
on continuous variables to modulate the graph Fourier spectrum derived from
discrete variables. However, the frequency modulation does not always define a
kernel with the similarity measure behavior which returns higher values for
pairs of more similar points. Therefore, we specify and prove conditions for FM
kernels to be positive definite and to exhibit the similarity measure behavior.
In experiments, we demonstrate the improved sample efficiency of GP BO using FM
kernels (BO-FM).On synthetic problems and hyperparameter optimization problems,
BO-FM outperforms competitors consistently. Also, the importance of the
frequency modulation principle is empirically demonstrated on the same
problems. On joint optimization of neural architectures and SGD
hyperparameters, BO-FM outperforms competitors including Regularized
evolution(RE) and BOHB. Remarkably, BO-FM performs better even than RE and BOHB
using three times as many evaluations.
- Abstract(参考訳): ベイズ最適化(BO)のサンプル効率は、しばしばガウス過程(GP)サロゲートモデルによって向上される。
しかし、混合変数空間では、GP以外のサーロゲートモデルは、主に異なる種類の変数間で複雑な依存性をモデル化できるカーネルが不足しているため、普及している。
本論文では、異なる種類の変数間の依存性を柔軟にモデリングする周波数変調(FM)カーネルを提案し、BOがさらなるサンプル効率の向上を享受できるようにする。
FMカーネルは連続変数の距離を使用して、離散変数から派生したグラフフーリエスペクトルを変調する。
しかし周波数変調は、より類似した点のペアに対して高い値を返す類似度測度挙動を持つカーネルを定義するとは限らない。
そこで本研究では,FMカーネルが正定値であることの条件を特定し,類似度測定の振る舞いを示す。
実験では, FMカーネル(BO-FM)を用いたGP BOの試料効率の改善を実演し, 合成問題やハイパーパラメータ最適化問題において, BO-FMは競争相手よりも一貫して優れていた。
また、同じ問題に対して周波数変調原理の重要性を実証的に示している。
ニューラルアーキテクチャとSGDハイパーパラメータの合同最適化において、BO-FMは正規化進化(RE)およびBOHBを含む競合他社を上回っている。
BO-FM は RE や BOHB よりも 3 倍の評価で優れた性能を発揮します。
関連論文リスト
- Solving High Frequency and Multi-Scale PDEs with Gaussian Processes [19.102390102861566]
PINNは、しばしば高周波およびマルチスケールのPDEを解決するのに苦労する。
我々はPDE溶液のパワースペクトルを学生t混合またはガウス混合でモデル化する。
我々はPDE解決の合理性と有効性を発見した最初の人物である。
論文 参考訳(メタデータ) (2023-11-08T05:26:58Z) - Improving and generalizing flow-based generative models with minibatch
optimal transport [90.01613198337833]
連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。
CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。
我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
論文 参考訳(メタデータ) (2023-02-01T14:47:17Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳(メタデータ) (2022-11-26T01:56:05Z) - FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。
3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文 参考訳(メタデータ) (2022-03-24T07:26:29Z) - Modelling Non-Smooth Signals with Complex Spectral Structure [26.749261270690432]
我々はGPCMモデルを再設計し、滑らかさに関する仮定を緩やかに仮定してスペクトル上のよりリッチな分布を誘導する。
また、平均場仮定を超越したより効果的な変分推論スキームを提案する。
提案したGPCMのバリエーションは、合成および実世界のデータに関する実験で検証され、有望な結果を示す。
論文 参考訳(メタデータ) (2022-03-14T11:02:38Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Bayesian Optimization over Hybrid Spaces [32.856318660282255]
離散変数と連続変数の複雑な相互作用を正確にモデル化する新しい手法を提案する。
我々は,加法的カーネルの定式化を利用して,ハイブリッド空間上の拡散カーネルを構築するための原理的アプローチを開発した。
人工的および6つの多種多様な実世界のベンチマーク実験により,HyBOが最先端の手法を著しく上回っていることが示された。
論文 参考訳(メタデータ) (2021-06-08T20:47:21Z) - Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to
Improve Generalization [89.7882166459412]
勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。
深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。
低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
論文 参考訳(メタデータ) (2021-03-31T16:08:06Z) - Approximate Inference for Spectral Mixture Kernel [25.087829816206813]
スペクトル混合核に対する近似ベイズ推定を提案する。
抽出されたエビデンス下界(ELBO)推定器にサンプリングベース変分推定を適用することにより,変分パラメータを最適化する。
提案した推論と2つの戦略が組み合わさってパラメータの収束を加速し、より良いパラメータをもたらす。
論文 参考訳(メタデータ) (2020-06-12T09:39:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。