論文の概要: Bayesian Neural Networks: Essentials
- arxiv url: http://arxiv.org/abs/2106.13594v1
- Date: Tue, 22 Jun 2021 13:54:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-04 19:47:29.038367
- Title: Bayesian Neural Networks: Essentials
- Title(参考訳): Bayesian Neural Networks: Essentials
- Authors: Daniel T. Chang
- Abstract要約: 複雑なため、ベイズニューラルネットワークを理解し、設計し、訓練するのは簡単ではない。
ディープニューラルネットワークは、多数の連続するレイヤの不確実性を考慮するために、冗長でコストがかかる。
ハイブリッドベイズニューラルネットワーク(英語版)は、ネットワーク内に法的に位置する確率的層がほとんどないが、実用的な解決策を提供する。
- 参考スコア(独自算出の注目度): 0.6091702876917281
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian neural networks utilize probabilistic layers that capture
uncertainty over weights and activations, and are trained using Bayesian
inference. Since these probabilistic layers are designed to be drop-in
replacement of their deterministic counter parts, Bayesian neural networks
provide a direct and natural way to extend conventional deep neural networks to
support probabilistic deep learning. However, it is nontrivial to understand,
design and train Bayesian neural networks due to their complexities. We discuss
the essentials of Bayesian neural networks including duality (deep neural
networks, probabilistic models), approximate Bayesian inference, Bayesian
priors, Bayesian posteriors, and deep variational learning. We use TensorFlow
Probability APIs and code examples for illustration. The main problem with
Bayesian neural networks is that the architecture of deep neural networks makes
it quite redundant, and costly, to account for uncertainty for a large number
of successive layers. Hybrid Bayesian neural networks, which use few
probabilistic layers judicially positioned in the networks, provide a practical
solution.
- Abstract(参考訳): ベイズニューラルネットワークは、重みとアクティベーションに対する不確かさを捉える確率的層を利用し、ベイズ推論を用いてトレーニングされる。
これらの確率層は決定論的カウンター部分の代替として設計されているため、ベイジアンニューラルネットワークは、確率的ディープラーニングをサポートするために従来のディープニューラルネットワークを拡張する直接的な自然な方法を提供する。
しかし、その複雑さからベイズ型ニューラルネットワークを理解し、設計し、訓練するのは非自明である。
本稿では、双対性(深部ニューラルネットワーク、確率モデル)、近似ベイズ推定、ベイズ先行、ベイズ後部学習、深部変分学習など、ベイズニューラルネットワークの本質について論じる。
イラストにはTensorFlow Probability APIとコード例を使用します。
ベイズ型ニューラルネットワークの主な問題は、ディープニューラルネットワークのアーキテクチャが、多くの連続するレイヤの不確実性を考慮するために非常に冗長で費用がかかることである。
ハイブリッドベイズニューラルネットワーク(hybrid bayesian neural networks, ハイブリッドベイズニューラルネットワーク)は、ネットワーク内の確率的層をほとんど使用せず、実用的なソリューションを提供する。
関連論文リスト
- Bayesian Neural Networks: A Min-Max Game Framework [2.130283000112442]
ベイズニューラルネットワークをミニマックスゲーム問題として定式化する。
我々はMNISTデータセットで実験を行い、主要な結果は既存のクローズドループ転写ニューラルネットワークに匹敵する結果を得た。
論文 参考訳(メタデータ) (2023-11-18T17:17:15Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Neural Network Pruning as Spectrum Preserving Process [7.386663473785839]
行列スペクトル学習とニューラルネットワーク学習の密集層と畳み込み層との密接な関係を同定する。
本稿では,ニューラルネットワークのプルーニングに適した行列スペーシフィケーションアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-07-18T05:39:32Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳(メタデータ) (2023-02-28T00:04:22Z) - Neural Bayesian Network Understudy [13.28673601999793]
ニューラルネットワークは条件付き確率を出力するように訓練でき、ベイズネットワークとほぼ同じ機能を提供する。
ニューラルネットワークに与えられた因果構造から推定される独立関係を符号化する2つのトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2022-11-15T15:56:51Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - The mathematics of adversarial attacks in AI -- Why deep learning is
unstable despite the existence of stable neural networks [69.33657875725747]
固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。
鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。
我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
論文 参考訳(メタデータ) (2021-09-13T16:19:25Z) - Building Compact and Robust Deep Neural Networks with Toeplitz Matrices [93.05076144491146]
この論文は、コンパクトで、訓練が容易で、信頼性があり、敵の例に対して堅牢なニューラルネットワークを訓練する問題に焦点を当てている。
Toeplitzファミリーの構造化行列の特性を利用して、コンパクトでセキュアなニューラルネットワークを構築する。
論文 参考訳(メタデータ) (2021-09-02T13:58:12Z) - Hybrid Bayesian Neural Networks with Functional Probabilistic Layers [0.6091702876917281]
機能不確実性を符号化する機能的確率層を持つハイブリッドベイズニューラルネットワークを提案する。
GPflusはガウス的プロセス層を提供する新しいライブラリである。
論文 参考訳(メタデータ) (2021-07-14T21:25:53Z) - Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
過パラメータのニューラルネットワークが制約を満たしていることを示す。
公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
論文 参考訳(メタデータ) (2020-12-30T18:46:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。