論文の概要: Hybrid Bayesian Neural Networks with Functional Probabilistic Layers
- arxiv url: http://arxiv.org/abs/2107.07014v1
- Date: Wed, 14 Jul 2021 21:25:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 14:10:20.801946
- Title: Hybrid Bayesian Neural Networks with Functional Probabilistic Layers
- Title（参考訳）: 機能的確率層を有するハイブリッドベイズニューラルネットワーク
- Authors: Daniel T. Chang
- Abstract要約: 機能不確実性を符号化する機能的確率層を持つハイブリッドベイズニューラルネットワークを提案する。
GPflusはガウス的プロセス層を提供する新しいライブラリである。
- 参考スコア（独自算出の注目度）: 0.6091702876917281
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian neural networks provide a direct and natural way to extend standard
deep neural networks to support probabilistic deep learning through the use of
probabilistic layers that, traditionally, encode weight (and bias) uncertainty.
In particular, hybrid Bayesian neural networks utilize standard deterministic
layers together with few probabilistic layers judicially positioned in the
networks for uncertainty estimation. A major aspect and benefit of Bayesian
inference is that priors, in principle, provide the means to encode prior
knowledge for use in inference and prediction. However, it is difficult to
specify priors on weights since the weights have no intuitive interpretation.
Further, the relationships of priors on weights to the functions computed by
networks are difficult to characterize. In contrast, functions are intuitive to
interpret and are direct since they map inputs to outputs. Therefore, it is
natural to specify priors on functions to encode prior knowledge, and to use
them in inference and prediction based on functions. To support this, we
propose hybrid Bayesian neural networks with functional probabilistic layers
that encode function (and activation) uncertainty. We discuss their foundations
in functional Bayesian inference, functional variational inference, sparse
Gaussian processes, and sparse variational Gaussian processes. We further
perform few proof-of-concept experiments using GPflus, a new library that
provides Gaussian process layers and supports their use with deterministic
Keras layers to form hybrid neural network and Gaussian process models.
- Abstract（参考訳）: ベイズニューラルネットワークは、従来の重み(およびバイアス)の不確実性をエンコードする確率的層を使用することで、確率的深層学習をサポートするために、標準の深部ニューラルネットワークを拡張する直接的な自然な方法を提供する。
特に、ハイブリッドベイズニューラルネットワークは、標準決定論的層と、不確実性推定のためにネットワーク内に配置される確率的層をほとんど利用しない。
ベイズ推論の主な側面と利点は、原則として、事前知識をエンコードして推論や予測に用いる手段を提供することである。
しかし、重みには直感的な解釈がないため、重みの事前指定は困難である。
さらに,ネットワークで計算された関数に対する重み付けの事前関係を特徴付けるのが困難である。
対照的に、関数は直感的に解釈でき、入力を出力にマップするため直接的である。
したがって、事前知識をエンコードし、関数に基づく推論や予測に使用する関数の優先順位を指定するのが自然である。
これを支援するために,機能不確実性を符号化する機能的確率層を持つハイブリッドベイズニューラルネットワークを提案する。
関数ベイズ推定,関数変分推論,スパースガウス過程,スパース変分ガウス過程におけるそれらの基礎について論じる。
我々はさらに,gaussian process layerを提供し,決定論的keras layerを用いてハイブリッドニューラルネットワークとgaussian process modelを形成する新しいライブラリであるgpflusを用いて,概念実証実験を行った。
関連論文リスト
- Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-28T18:33:26Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Bayesian Neural Networks: Essentials [0.6091702876917281]
複雑なため、ベイズニューラルネットワークを理解し、設計し、訓練するのは簡単ではない。
ディープニューラルネットワークは、多数の連続するレイヤの不確実性を考慮するために、冗長でコストがかかる。
ハイブリッドベイズニューラルネットワーク(英語版)は、ネットワーク内に法的に位置する確率的層がほとんどないが、実用的な解決策を提供する。
論文 参考訳（メタデータ） (2021-06-22T13:54:17Z) - BNNpriors: A library for Bayesian neural network inference with
different prior distributions [32.944046414823916]
bnnpriorsはベイズニューラルネットワーク上で最先端のマルコフ連鎖モンテカルロ推論を可能にする。
これは、新しいカスタムプリエントの設計と実装を容易にするモジュラーアプローチに従っている。
ベイズ系ニューラルネットワークにおける冷後効果の性質に関する基礎的発見を容易にした。
論文 参考訳（メタデータ） (2021-05-14T17:11:04Z) - All You Need is a Good Functional Prior for Bayesian Deep Learning [15.10662960548448]
これはベイジアンディープラーニングの極めて限定的な側面である、と我々は主張する。
本稿では,ニューラルネットワークの先行機能に適合する,新しい,堅牢なフレームワークを提案する。
我々は、これらの先行をスケーラブルなマルコフ連鎖モンテカルロサンプリングと結合させることで、体系的に大きな性能改善をもたらすという膨大な実験的な証拠を提供する。
論文 参考訳（メタデータ） (2020-11-25T15:36:16Z) - The Ridgelet Prior: A Covariance Function Approach to Prior
Specification for Bayesian Neural Networks [4.307812758854161]
ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。
これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
論文 参考訳（メタデータ） (2020-10-16T16:39:45Z) - Consistent feature selection for neural networks via Adaptive Group
Lasso [3.42658286826597]
ニューラルネットワークの重要な特徴を選択するための適応型グループの使用に関する理論的保証を提案し,確立する。
具体的には,1つの隠蔽層と双曲的タンジェント活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択法が整合であることを示す。
論文 参考訳（メタデータ） (2020-05-30T18:50:56Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。