論文の概要: Hidden Markov Neural Networks

• arxiv url: http://arxiv.org/abs/2004.06963v3
• Date: Thu, 16 Jan 2025 08:32:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-19 15:57:51.805716
• Title: Hidden Markov Neural Networks
• Title（参考訳）: 隠れマルコフニューラルネットワーク
• Authors: Lorenzo Rimella, Nick Whiteley,
• Abstract要約: 隠れマルコフニューラルネットワーク(Hidden Markov Neural Network)と呼ばれる,進化中のベイズ型ニューラルネットワークを定義する。 MNIST、動的分類タスク、ビデオにおける次のフレーム予測の実験は、隠れマルコフニューラルネットワークが強力な予測性能を提供することを示す。
• 参考スコア（独自算出の注目度）: 5.8317379706611385
• License:
• Abstract: We define an evolving in-time Bayesian neural network called a Hidden Markov Neural Network, which addresses the crucial challenge in time-series forecasting and continual learning: striking a balance between adapting to new data and appropriately forgetting outdated information. This is achieved by modelling the weights of a neural network as the hidden states of a Hidden Markov model, with the observed process defined by the available data. A filtering algorithm is employed to learn a variational approximation of the evolving-in-time posterior distribution over the weights. By leveraging a sequential variant of Bayes by Backprop, enriched with a stronger regularization technique called variational DropConnect, Hidden Markov Neural Networks achieve robust regularization and scalable inference. Experiments on MNIST, dynamic classification tasks, and next-frame forecasting in videos demonstrate that Hidden Markov Neural Networks provide strong predictive performance while enabling effective uncertainty quantification.
• Abstract（参考訳）: 時系列予測と連続学習における決定的な課題に対処する,Hidden Markov Neural Network(ヒドゥンマルコフニューラルネットワーク)と呼ばれる,進化中のベイズ型ニューラルネットワークを定義する。 これは、ニューラルネットワークの重みを隠れマルコフモデルの隠れ状態としてモデル化し、利用可能なデータによって観測されたプロセスを定義することで達成される。 重みに対する時間内後部分布の変動近似の学習にフィルタリングアルゴリズムを用いる。 BackpropによるBayesのシーケンシャルな変種を活用することで、変動DropConnectと呼ばれるより強力な正規化技術によって、隠れマルコフニューラルネットワークは堅牢な正規化とスケーラブルな推論を実現する。 MNIST、動的分類タスク、およびビデオにおける次のフレーム予測の実験は、隠れマルコフニューラルネットワークが効果的な不確実性定量化を実現しつつ、強力な予測性能を提供することを示した。

関連論文リスト

• GARCH-Informed Neural Networks for Volatility Prediction in Financial Markets [0.0]
  マーケットのボラティリティを計測し、予測する新しいハイブリッドなDeep Learningモデルを提案する。 他の時系列モデルと比較すると、GINNは決定係数(R2$)、平均正方形誤差(MSE)、平均絶対誤差(MAE)の点で優れたサンプル外予測性能を示した。
  論文  参考訳（メタデータ） (2024-09-30T23:53:54Z)
• Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
  我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。 ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-09-27T16:02:12Z)
• Detecting Markovianity of Quantum Processes via Recurrent Neural Networks [0.0]
  本稿では、マルコフ的および非マルコフ的量子過程を分類するために、リカレントニューラルネットワーク(RNN)を利用する新しい手法を提案する。 このモデルは、様々なシナリオにまたがって95%を超える例外的な精度を示す。
  論文  参考訳（メタデータ） (2024-06-11T13:05:36Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors [2.3265565167163906]
  ベイズニューラルネットワークは、ディープニューラルネットワークにおける不確実性をモデル化するための有望なアプローチである。 ニューラルネットワークの 後部分布からサンプルを生成することは 大きな課題です この方向の進歩の1つは、モンテカルロ・マルコフ連鎖サンプリングアルゴリズムへの適応的なステップサイズの導入である。 本稿では,これらの手法が,ステップサイズやバッチサイズが小さくても,サンプリングした分布にかなりの偏りがあることを実証する。
  論文  参考訳（メタデータ） (2024-03-13T15:21:14Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Stochastic Recurrent Neural Network for Multistep Time Series Forecasting [0.0]
  我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。 私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
  論文  参考訳（メタデータ） (2021-04-26T01:43:43Z)
• Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
  本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。 アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
  論文  参考訳（メタデータ） (2020-08-25T15:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。