論文の概要: Bayesian Optimization via Continual Variational Last Layer Training

• arxiv url: http://arxiv.org/abs/2412.09477v1
• Date: Thu, 12 Dec 2024 17:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:09.143488
• Title: Bayesian Optimization via Continual Variational Last Layer Training
• Title（参考訳）: 連続的変分最終層訓練によるベイズ最適化
• Authors: Paul Brunzema, Mikkel Jordahn, John Willes, Sebastian Trimpe, Jasper Snoek, James Harrison,
• Abstract要約: 我々は,これらのモデルのトレーニングとGPの正確な条件付けを結びつけるために,変分ベイズ最後の層(VBLL)を構築した。 我々は、この接続を利用して、条件付けと最適化をインターリーブする効率的なオンライントレーニングアルゴリズムを開発する。 以上の結果から,VBLLネットワークは複雑な入力相関を持つタスクにおいてGPやBNNアーキテクチャを著しく上回っていることが示唆された。
• 参考スコア（独自算出の注目度）: 16.095427911235646
• License:
• Abstract: Gaussian Processes (GPs) are widely seen as the state-of-the-art surrogate models for Bayesian optimization (BO) due to their ability to model uncertainty and their performance on tasks where correlations are easily captured (such as those defined by Euclidean metrics) and their ability to be efficiently updated online. However, the performance of GPs depends on the choice of kernel, and kernel selection for complex correlation structures is often difficult or must be made bespoke. While Bayesian neural networks (BNNs) are a promising direction for higher capacity surrogate models, they have so far seen limited use due to poor performance on some problem types. In this paper, we propose an approach which shows competitive performance on many problem types, including some that BNNs typically struggle with. We build on variational Bayesian last layers (VBLLs), and connect training of these models to exact conditioning in GPs. We exploit this connection to develop an efficient online training algorithm that interleaves conditioning and optimization. Our findings suggest that VBLL networks significantly outperform GPs and other BNN architectures on tasks with complex input correlations, and match the performance of well-tuned GPs on established benchmark tasks.
• Abstract（参考訳）: ガウス過程(GP)は、不確実性をモデル化し、相関が容易に取得できるタスク(ユークリッド測度など)における性能と、オンラインで効率的に更新できる能力のために、ベイズ最適化(BO)の最先端のサロゲートモデルとして広く見なされている。 しかし、GPの性能はカーネルの選択に依存するため、複雑な相関構造に対するカーネルの選択は難しい場合が多い。 ベイズニューラルネットワーク(BNN)は高いキャパシティサロゲートモデルにとって有望な方向であるが、いくつかの問題タイプでは性能が低かったため、これまでは使用が制限されていた。 本稿では,BNN が通常抱える多くの問題に対して,競争力のある性能を示す手法を提案する。 我々は変分ベイズ最後の層(VBLL)を構築し、これらのモデルのトレーニングをGPの正確な条件付けに接続する。 我々は、この接続を利用して、条件付けと最適化をインターリーブする効率的なオンライントレーニングアルゴリズムを開発する。 以上の結果から,VBLLネットワークは,複雑な入力相関を持つタスクにおいてGPやBNNアーキテクチャを著しく上回り,既存のベンチマークタスクにおいてよく調整されたGPの性能に匹敵することがわかった。

関連論文リスト

• Revisiting the Equivalence of Bayesian Neural Networks and Gaussian Processes: On the Importance of Learning Activations [1.0468715529145969]
  トレーニング可能なアクティベーションは、広範囲なBNNに対するGP前の効果的なマッピングに不可欠であることを示す。 また、設計によるグローバルな定常性を確保するためのトレーニング可能な周期的アクティベーションも導入する。
  論文  参考訳（メタデータ） (2024-10-21T08:42:10Z)
• A Study of Bayesian Neural Network Surrogates for Bayesian Optimization [46.97686790714025]
  ベイズニューラルネットワーク(BNN)は近年,実用的な機能近似器になりつつある。 我々は,BNNを最適化のための標準GPサロゲートの代替として検討する。
  論文  参考訳（メタデータ） (2023-05-31T17:00:00Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• GNN at the Edge: Cost-Efficient Graph Neural Network Processing over Distributed Edge Servers [24.109721494781592]
  グラフニューラルネットワーク(GNN)はまだ探索中であり、その広範な採用に対する大きな違いを示している。 本稿では,多層ヘテロジニアスエッジネットワーク上での分散GNN処理のコスト最適化について検討する。 提案手法は, 高速収束速度で95.8%以上のコスト削減を行い, デファクトベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-31T13:03:16Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Belief Propagation Neural Networks [103.97004780313105]
  信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。 挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
  論文  参考訳（メタデータ） (2020-07-01T07:39:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。