論文の概要: Dynamic Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2004.06963v2
- Date: Wed, 24 Jun 2020 14:29:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 02:56:28.397041
- Title: Dynamic Bayesian Neural Networks
- Title(参考訳): 動的ベイズ型ニューラルネットワーク
- Authors: Lorenzo Rimella and Nick Whiteley
- Abstract要約: 私たちは、Hidden Markov Neural Networkと呼ばれる時間進化型ニューラルネットワークを定義します。
フィードフォワードニューラルネットワークの重みは、隠れマルコフモデルの隠れ状態によってモデル化される。
フィルタリングアルゴリズムは、重みを経る時間に進化する時間に対する変動近似を学習するために用いられる。
- 参考スコア(独自算出の注目度): 2.28438857884398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We define an evolving in time Bayesian neural network called a Hidden Markov
neural network. The weights of a feed-forward neural network are modelled with
the hidden states of a Hidden Markov model, whose observed process is given by
the available data. A filtering algorithm is used to learn a variational
approximation to the evolving in time posterior over the weights. Training is
pursued through a sequential version of Bayes by Backprop Blundell et al. 2015,
which is enriched with a stronger regularization technique called variational
DropConnect. The experiments test variational DropConnect on MNIST and display
the performance of Hidden Markov neural networks on time series.
- Abstract(参考訳): ヒドゥンマルコフニューラルネットワーク(Hidden Markov Neural Network)と呼ばれるベイズ型ニューラルネットワークの進化を定義する。
フィードフォワードニューラルネットワークの重みは、観測されたプロセスが利用可能なデータによって与えられるHidden Markovモデルの隠れ状態によってモデル化される。
フィルタリングアルゴリズムは、重みを経る時間に進化する時間に対する変動近似を学習するために用いられる。
トレーニングはバックプロップのbrendell et al. 2015によるベイズのシーケンシャルバージョンを通じて実施される。
実験はmnist上の変分ドロップ接続をテストし,時系列における隠れマルコフニューラルネットワークの性能を示す。
関連論文リスト
- Generative Kaleidoscopic Networks [2.321684718906739]
我々は、このニューラルネットワークの特性を利用して、ジェネレーティブ・カレイドスコープと呼ばれるデータセット・カレイドスコープを設計する。
我々は、CNN、Transformers、U-Netsといった他のディープラーニングアーキテクチャに対して、この現象を様々な程度に観測した。
論文 参考訳(メタデータ) (2024-02-19T02:48:40Z) - Bayesian Neural Networks: A Min-Max Game Framework [2.130283000112442]
ベイズニューラルネットワークをミニマックスゲーム問題として定式化する。
我々はMNISTデータセットで実験を行い、主要な結果は既存のクローズドループ転写ニューラルネットワークに匹敵する結果を得た。
論文 参考訳(メタデータ) (2023-11-18T17:17:15Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Spiking neural networks with Hebbian plasticity for unsupervised
representation learning [0.0]
教師なしの手順でデータから分散内部表現を学習するための新しいスパイクニューラルネットワークモデルを提案する。
オンライン相関に基づくHebbian-Bayesian学習と再配線機構を,前述した表現学習をスパイクニューラルネットワークに導入する。
我々は,非スパイクBCPNNに近い性能を示し,MNISTとF-MNISTの機械学習ベンチマークでトレーニングした場合,他のヘビーンのスパイクネットワークと競合することを示す。
論文 参考訳(メタデータ) (2023-05-05T22:34:54Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳(メタデータ) (2022-07-04T15:41:02Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳(メタデータ) (2022-01-11T20:53:15Z) - Stochastic Recurrent Neural Network for Multistep Time Series
Forecasting [0.0]
我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。
私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
論文 参考訳(メタデータ) (2021-04-26T01:43:43Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳(メタデータ) (2020-10-27T17:56:14Z) - Stochastic Bayesian Neural Networks [0.0]
ベイズニューラルネットワークの変分推論手法を,元のエビデンス下界を用いて構築する。
我々は,エビデンス低境界と呼ばれる新たな目的関数を用いて,エビデンス低境界を最大化するベイズニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2020-08-12T19:48:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。