論文の概要: MC-LSTM: Mass-Conserving LSTM
- arxiv url: http://arxiv.org/abs/2101.05186v2
- Date: Mon, 8 Feb 2021 14:24:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 08:06:42.350843
- Title: MC-LSTM: Mass-Conserving LSTM
- Title(参考訳): MC-LSTM:大量保存LSTM
- Authors: Pieter-Jan Hoedt, Frederik Kratzert, Daniel Klotz, Christina Halmich,
Markus Holzleitner, Grey Nearing, Sepp Hochreiter and G\"unter Klambauer
- Abstract要約: 保存量の再分配をモデル化するためにLSTMの帰納バイアスを延長することにより,大量保存LSTMは保存法則に準拠することを示す。
MC-LSTMは、トラフィック予測、振り子モデリング、水文学における大規模なベンチマークデータセットに適用され、ピークフローを予測するための新しい最先端技術を設定する。
- 参考スコア(独自算出の注目度): 4.223874618298011
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of Convolutional Neural Networks (CNNs) in computer vision is
mainly driven by their strong inductive bias, which is strong enough to allow
CNNs to solve vision-related tasks with random weights, meaning without
learning. Similarly, Long Short-Term Memory (LSTM) has a strong inductive bias
towards storing information over time. However, many real-world systems are
governed by conservation laws, which lead to the redistribution of particular
quantities -- e.g. in physical and economical systems. Our novel
Mass-Conserving LSTM (MC-LSTM) adheres to these conservation laws by extending
the inductive bias of LSTM to model the redistribution of those stored
quantities. MC-LSTMs set a new state-of-the-art for neural arithmetic units at
learning arithmetic operations, such as addition tasks, which have a strong
conservation law, as the sum is constant over time. Further, MC-LSTM is applied
to traffic forecasting, modelling a pendulum, and a large benchmark dataset in
hydrology, where it sets a new state-of-the-art for predicting peak flows. In
the hydrology example, we show that MC-LSTM states correlate with real-world
processes and are therefore interpretable.
- Abstract(参考訳): コンピュータビジョンにおける畳み込みニューラルネットワーク(cnns)の成功は主に、cnnがランダムな重みで視覚に関連するタスクを解決できるほど強い帰納的バイアスによってもたらされる。
同様に、Long Short-Term Memory (LSTM) は、時間とともに情報を保存することに強い帰納バイアスを持つ。
しかし、多くの現実世界のシステムは、例えば特定の量の再分配につながる保存法によって統治されている。
物理的・経済的システムです
本報では, 保存量の再分配をモデル化するために, LSTMの誘導バイアスを拡張して保存法則に準拠した。
MC-LSTMは、時間とともに一定となるため、強い保存法則を持つ加算タスクなど、算術演算の学習において、ニューラル演算ユニットの新たな最先端を定めている。
さらに、mc-lstmは、トラフィック予測、振り子モデリング、ハイドロロジーにおける大規模ベンチマークデータセットに適用され、ピークフローを予測するための新しい最新技術を設定する。
水理学の例では、MC-LSTM状態は現実世界の過程と相関し、解釈可能であることを示す。
関連論文リスト
- Neuro-mimetic Task-free Unsupervised Online Learning with Continual
Self-Organizing Maps [56.827895559823126]
自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。
低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。
MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
論文 参考訳(メタデータ) (2024-02-19T19:11:22Z) - Online Variational Sequential Monte Carlo [56.16884466478886]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳(メタデータ) (2023-12-19T21:45:38Z) - Learning Successor Representations with Distributed Hebbian Temporal
Memory [49.1574468325115]
本稿では,不確実性のある意思決定におけるオンライン隠れ表現学習の課題に対処する新しいアプローチを提案する。
提案アルゴリズムは因子グラフ形式と多成分ニューロンモデルに基づく分散Hebbian Temporal Memory (DHTM) である。
論文 参考訳(メタデータ) (2023-10-20T10:03:14Z) - On the Representational Capacity of Recurrent Neural Language Models [61.38536173209874]
計算時間を持つ有理重み付きRLMは、有理重み付き遷移を持つ決定論的確率的チューリングマシン(PTM)をシミュレートできることを示す。
また, 実時間計算の制約下では, 決定論的実時間有理PTMをシミュレートできることを示した。
論文 参考訳(メタデータ) (2023-10-19T17:39:47Z) - DeLELSTM: Decomposition-based Linear Explainable LSTM to Capture
Instantaneous and Long-term Effects in Time Series [26.378073712630467]
LSTMの解釈性を改善するために,分解に基づく線形説明可能LSTM(DeLELSTM)を提案する。
3つの経験的データセット上でのDeLELSTMの有効性と解釈性を示す。
論文 参考訳(メタデータ) (2023-08-26T07:45:41Z) - Self-learning locally-optimal hypertuning using maximum entropy, and
comparison of machine learning approaches for estimating fatigue life in
composite materials [0.0]
疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。
予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
論文 参考訳(メタデータ) (2022-10-19T12:20:07Z) - Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。
本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文 参考訳(メタデータ) (2022-08-28T17:50:19Z) - Mitigating Out-of-Distribution Data Density Overestimation in
Energy-Based Models [54.06799491319278]
深部エネルギーベースモデル(EBM)は、複雑な分布を学習する能力によって注目されている。
EBMの訓練には、Langevin Monte Carlo (LMC) を用いた最大推定(MLE)を用いることが多い。
短周期LCCのMLEが, 誤った密度推定でEMMに収束する理由を考察する。
論文 参考訳(メタデータ) (2022-05-30T02:49:17Z) - Simulation of Open Quantum Dynamics with Bootstrap-Based Long Short-Term
Memory Recurrent Neural Network [0.0]
ブートストラップ法はLSTM-NNの構成と予測に適用される。
ブートストラップに基づくLSTM-NNアプローチは、オープンシステムの長期量子力学を伝播する実用的で強力なツールである。
論文 参考訳(メタデータ) (2021-08-03T05:58:54Z) - Deep Learning modeling of Limit Order Book: a comparative perspective [0.0]
本研究は、高周波取引のためのディープラーニング分野における理論的および実践的な問題に対処する。
ランダムモデル、ロジスティック回帰、LSTM、アテンションマスクを備えたLSTM、CNN-LSTM、アテンションなどの最先端モデルについてレビューし、同じタスクで比較する。
モデリング手法の根底にある次元は、リミット・オーダー・ブックの力学に固有のものかどうかを理解するために研究される。
論文 参考訳(メタデータ) (2020-07-12T17:06:30Z) - Long short-term memory networks and laglasso for bond yield forecasting:
Peeping inside the black box [10.412912723760172]
長期記憶(LSTM)ネットワークを用いた結合収率予測の最初の研究を行った。
我々は,シーケンス・ツー・シーケンス・アーキテクチャを用いて,メモリセル内の選択された位置におけるLSTM信号の時間的計算を行う。
論文 参考訳(メタデータ) (2020-05-05T14:23:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。