論文の概要: Mixed Variable Bayesian Optimization with Frequency Modulated Kernels

• arxiv url: http://arxiv.org/abs/2102.12792v1
• Date: Thu, 25 Feb 2021 11:28:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-26 14:00:58.461166
• Title: Mixed Variable Bayesian Optimization with Frequency Modulated Kernels
• Title（参考訳）: 周波数変調カーネルを用いた混合変数ベイズ最適化
• Authors: Changyong Oh, Efstratios Gavves, Max Welling
• Abstract要約: 異なる種類の変数間の依存性を柔軟にモデリングする周波数変調(FM)カーネルを提案する。 BO-FMは正規化進化(RE)およびBOHBを含む競争相手を上回ります。
• 参考スコア（独自算出の注目度）: 96.78099706164747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The sample efficiency of Bayesian optimization(BO) is often boosted by Gaussian Process(GP) surrogate models. However, on mixed variable spaces, surrogate models other than GPs are prevalent, mainly due to the lack of kernels which can model complex dependencies across different types of variables. In this paper, we propose the frequency modulated (FM) kernel flexibly modeling dependencies among different types of variables, so that BO can enjoy the further improved sample efficiency. The FM kernel uses distances on continuous variables to modulate the graph Fourier spectrum derived from discrete variables. However, the frequency modulation does not always define a kernel with the similarity measure behavior which returns higher values for pairs of more similar points. Therefore, we specify and prove conditions for FM kernels to be positive definite and to exhibit the similarity measure behavior. In experiments, we demonstrate the improved sample efficiency of GP BO using FM kernels (BO-FM).On synthetic problems and hyperparameter optimization problems, BO-FM outperforms competitors consistently. Also, the importance of the frequency modulation principle is empirically demonstrated on the same problems. On joint optimization of neural architectures and SGD hyperparameters, BO-FM outperforms competitors including Regularized evolution(RE) and BOHB. Remarkably, BO-FM performs better even than RE and BOHB using three times as many evaluations.
• Abstract（参考訳）: ベイズ最適化(BO)のサンプル効率は、しばしばガウス過程(GP)サロゲートモデルによって向上される。 しかし、混合変数空間では、GP以外のサーロゲートモデルは、主に異なる種類の変数間で複雑な依存性をモデル化できるカーネルが不足しているため、普及している。 本論文では、異なる種類の変数間の依存性を柔軟にモデリングする周波数変調(FM)カーネルを提案し、BOがさらなるサンプル効率の向上を享受できるようにする。 FMカーネルは連続変数の距離を使用して、離散変数から派生したグラフフーリエスペクトルを変調する。 しかし周波数変調は、より類似した点のペアに対して高い値を返す類似度測度挙動を持つカーネルを定義するとは限らない。 そこで本研究では,FMカーネルが正定値であることの条件を特定し,類似度測定の振る舞いを示す。 実験では, FMカーネル(BO-FM)を用いたGP BOの試料効率の改善を実演し, 合成問題やハイパーパラメータ最適化問題において, BO-FMは競争相手よりも一貫して優れていた。 また、同じ問題に対して周波数変調原理の重要性を実証的に示している。 ニューラルアーキテクチャとSGDハイパーパラメータの合同最適化において、BO-FMは正規化進化(RE)およびBOHBを含む競合他社を上回っている。 BO-FM は RE や BOHB よりも 3 倍の評価で優れた性能を発揮します。

関連論文リスト

• Local Flow Matching Generative Models [19.859984725284896]
  フローマッチング(英: Flow Matching, FM)は、2つの分布を補間する連続的かつ非可逆的な流れを学習するためのシミュレーション不要な手法である。 FMサブモデルのシーケンスを学習し,それぞれがデータ-雑音方向のステップサイズまで拡散過程と一致するローカルフローマッチング(LFM)を導入する。 実験では, FMと比較して, LFMの訓練効率と競争的生成性能の改善を実証した。
  論文  参考訳（メタデータ） (2024-10-03T14:53:10Z)
• Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
  本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。 予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-07-02T16:15:37Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Switched Flow Matching: Eliminating Singularities via Switching ODEs [12.273757042838675]
  フローマッチング(FM)のような連続時間生成モデルは、ある分布と別の分布の間を移動する確率経路を構築する。 しかし、推論の間、学習したモデルはフローを正確に統合するために複数のニューラルネットワーク評価を必要とすることが多い。 本研究では,一様の ODE を FM で使用するのに対して,スイッチング ODE による特異性を排除した Switched FM (SFM) を提案する。
  論文  参考訳（メタデータ） (2024-05-19T16:21:04Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)
• Modelling Non-Smooth Signals with Complex Spectral Structure [26.749261270690432]
  我々はGPCMモデルを再設計し、滑らかさに関する仮定を緩やかに仮定してスペクトル上のよりリッチな分布を誘導する。 また、平均場仮定を超越したより効果的な変分推論スキームを提案する。 提案したGPCMのバリエーションは、合成および実世界のデータに関する実験で検証され、有望な結果を示す。
  論文  参考訳（メタデータ） (2022-03-14T11:02:38Z)
• Approximate Inference for Spectral Mixture Kernel [25.087829816206813]
  スペクトル混合核に対する近似ベイズ推定を提案する。 抽出されたエビデンス下界(ELBO)推定器にサンプリングベース変分推定を適用することにより,変分パラメータを最適化する。 提案した推論と2つの戦略が組み合わさってパラメータの収束を加速し、より良いパラメータをもたらす。
  論文  参考訳（メタデータ） (2020-06-12T09:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。