論文の概要: Dynamic Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2004.06963v2
- Date: Wed, 24 Jun 2020 14:29:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 02:56:28.397041
- Title: Dynamic Bayesian Neural Networks
- Title(参考訳): 動的ベイズ型ニューラルネットワーク
- Authors: Lorenzo Rimella and Nick Whiteley
- Abstract要約: 私たちは、Hidden Markov Neural Networkと呼ばれる時間進化型ニューラルネットワークを定義します。
フィードフォワードニューラルネットワークの重みは、隠れマルコフモデルの隠れ状態によってモデル化される。
フィルタリングアルゴリズムは、重みを経る時間に進化する時間に対する変動近似を学習するために用いられる。
- 参考スコア(独自算出の注目度): 2.28438857884398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We define an evolving in time Bayesian neural network called a Hidden Markov
neural network. The weights of a feed-forward neural network are modelled with
the hidden states of a Hidden Markov model, whose observed process is given by
the available data. A filtering algorithm is used to learn a variational
approximation to the evolving in time posterior over the weights. Training is
pursued through a sequential version of Bayes by Backprop Blundell et al. 2015,
which is enriched with a stronger regularization technique called variational
DropConnect. The experiments test variational DropConnect on MNIST and display
the performance of Hidden Markov neural networks on time series.
- Abstract(参考訳): ヒドゥンマルコフニューラルネットワーク(Hidden Markov Neural Network)と呼ばれるベイズ型ニューラルネットワークの進化を定義する。
フィードフォワードニューラルネットワークの重みは、観測されたプロセスが利用可能なデータによって与えられるHidden Markovモデルの隠れ状態によってモデル化される。
フィルタリングアルゴリズムは、重みを経る時間に進化する時間に対する変動近似を学習するために用いられる。
トレーニングはバックプロップのbrendell et al. 2015によるベイズのシーケンシャルバージョンを通じて実施される。
実験はmnist上の変分ドロップ接続をテストし,時系列における隠れマルコフニューラルネットワークの性能を示す。
関連論文リスト
- GARCH-Informed Neural Networks for Volatility Prediction in Financial Markets [0.0]
マーケットのボラティリティを計測し、予測する新しいハイブリッドなDeep Learningモデルを提案する。
他の時系列モデルと比較すると、GINNは決定係数(R2$)、平均正方形誤差(MSE)、平均絶対誤差(MAE)の点で優れたサンプル外予測性能を示した。
論文 参考訳(メタデータ) (2024-09-30T23:53:54Z) - Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。
ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
論文 参考訳(メタデータ) (2024-09-27T16:02:12Z) - Detecting Markovianity of Quantum Processes via Recurrent Neural Networks [0.0]
本稿では、マルコフ的および非マルコフ的量子過程を分類するために、リカレントニューラルネットワーク(RNN)を利用する新しい手法を提案する。
このモデルは、様々なシナリオにまたがって95%を超える例外的な精度を示す。
論文 参考訳(メタデータ) (2024-06-11T13:05:36Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors [2.3265565167163906]
ベイズニューラルネットワークは、ディープニューラルネットワークにおける不確実性をモデル化するための有望なアプローチである。
ニューラルネットワークの 後部分布からサンプルを生成することは 大きな課題です
この方向の進歩の1つは、モンテカルロ・マルコフ連鎖サンプリングアルゴリズムへの適応的なステップサイズの導入である。
本稿では,これらの手法が,ステップサイズやバッチサイズが小さくても,サンプリングした分布にかなりの偏りがあることを実証する。
論文 参考訳(メタデータ) (2024-03-13T15:21:14Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳(メタデータ) (2022-07-04T15:41:02Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Stochastic Recurrent Neural Network for Multistep Time Series
Forecasting [0.0]
我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。
私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
論文 参考訳(メタデータ) (2021-04-26T01:43:43Z) - Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。
アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
論文 参考訳(メタデータ) (2020-08-25T15:48:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。