論文の概要: High-Fidelity Transfer of Functional Priors for Wide Bayesian Neural Networks by Learning Activations

• arxiv url: http://arxiv.org/abs/2410.15777v1
• Date: Mon, 21 Oct 2024 08:42:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:54.855786
• Title: High-Fidelity Transfer of Functional Priors for Wide Bayesian Neural Networks by Learning Activations
• Title（参考訳）: 学習活性化によるワイドベイズニューラルネットワークの機能的事前の高忠実移動
• Authors: Marcin Sendera, Amin Sorkhei, Tomasz Kuśmierczyk,
• Abstract要約: トレーニング可能なアクティベーションが,BNN上で複雑な関数空間にどのように対応できるかを示す。 本稿では,識別可能性,損失構成,対称性などの重要な学習課題について論じる。 実験により,単一の広層層を有するBNNであっても,高忠実度関数空間を効果的に実現できることが判明した。
• 参考スコア（独自算出の注目度）: 1.0468715529145969
• License:
• Abstract: Function-space priors in Bayesian Neural Networks provide a more intuitive approach to embedding beliefs directly into the model's output, thereby enhancing regularization, uncertainty quantification, and risk-aware decision-making. However, imposing function-space priors on BNNs is challenging. We address this task through optimization techniques that explore how trainable activations can accommodate complex priors and match intricate target function distributions. We discuss critical learning challenges, including identifiability, loss construction, and symmetries that arise in this context. Furthermore, we enable evidence maximization to facilitate model selection by conditioning the functional priors on additional hyperparameters. Our empirical findings demonstrate that even BNNs with a single wide hidden layer, when equipped with these adaptive trainable activations and conditioning strategies, can effectively achieve high-fidelity function-space priors, providing a robust and flexible framework for enhancing Bayesian neural network performance.
• Abstract（参考訳）: ベイズニューラルネットワークの関数空間先行性は、モデルの出力に直接信念を埋め込むためのより直感的なアプローチを提供する。 しかしながら、関数空間をBNNに含めることは困難である。 トレーニング可能なアクティベーションが複雑な事前条件に適合し、複雑な対象関数分布に適合するかを探索する最適化手法により、この課題に対処する。 この文脈で生じる識別可能性、損失構成、対称性など、重要な学習課題について論じる。 さらに,機能的事前条件を追加のハイパーパラメータに設定することで,モデル選択を容易にするエビデンス最大化を実現する。 これらの適応的トレーニング可能なアクティベーションとコンディショニング戦略を備えたBNNでさえ、高忠実度関数空間を効果的に達成でき、ベイズニューラルネットワーク性能を向上させるための堅牢で柔軟なフレームワークを提供する。

関連論文リスト

• Bridge the Inference Gaps of Neural Processes via Expectation Maximization [27.92039393053804]
  ニューラルプロセス (NP) は関数上の分布を学習するための計算効率の良いモデルのファミリーである。 本稿では,期待フレームワーク内でのメタデータセットのログライクなターゲットのサロゲート目的を提案する。 結果のモデルは、自己正規化重み付きニューラルネットワーク(SI-NP)と呼ばれ、より正確な機能前処理を学習することができる。
  論文  参考訳（メタデータ） (2025-01-04T03:28:21Z)
• Bayesian Optimization via Continual Variational Last Layer Training [16.095427911235646]
  我々は,これらのモデルのトレーニングとGPの正確な条件付けを結びつけるために,変分ベイズ最後の層(VBLL)を構築した。 我々は、この接続を利用して、条件付けと最適化をインターリーブする効率的なオンライントレーニングアルゴリズムを開発する。 以上の結果から,VBLLネットワークは複雑な入力相関を持つタスクにおいてGPやBNNアーキテクチャを著しく上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-12-12T17:21:50Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Training-Free Neural Active Learning with Initialization-Robustness Guarantees [27.38525683635627]
  本稿では,ニューラルアクティブ学習におけるガウス過程 (EV-GP) の基準値との相違点について紹介する。 我々のEV-GP基準は、トレーニング不要、すなわち、データ選択中にNNのトレーニングを一切必要としない。
  論文  参考訳（メタデータ） (2023-06-07T14:28:42Z)
• Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains [7.936841911281107]
  我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。 我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
  論文  参考訳（メタデータ） (2023-06-01T16:31:36Z)
• A Study of Bayesian Neural Network Surrogates for Bayesian Optimization [46.97686790714025]
  ベイズニューラルネットワーク(BNN)は近年,実用的な機能近似器になりつつある。 我々は,BNNを最適化のための標準GPサロゲートの代替として検討する。
  論文  参考訳（メタデータ） (2023-05-31T17:00:00Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。