論文の概要: MC-LSTM: Mass-Conserving LSTM

• arxiv url: http://arxiv.org/abs/2101.05186v2
• Date: Mon, 8 Feb 2021 14:24:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 08:06:42.350843
• Title: MC-LSTM: Mass-Conserving LSTM
• Title（参考訳）: MC-LSTM:大量保存LSTM
• Authors: Pieter-Jan Hoedt, Frederik Kratzert, Daniel Klotz, Christina Halmich, Markus Holzleitner, Grey Nearing, Sepp Hochreiter and G\"unter Klambauer
• Abstract要約: 保存量の再分配をモデル化するためにLSTMの帰納バイアスを延長することにより,大量保存LSTMは保存法則に準拠することを示す。 MC-LSTMは、トラフィック予測、振り子モデリング、水文学における大規模なベンチマークデータセットに適用され、ピークフローを予測するための新しい最先端技術を設定する。
• 参考スコア（独自算出の注目度）: 4.223874618298011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of Convolutional Neural Networks (CNNs) in computer vision is mainly driven by their strong inductive bias, which is strong enough to allow CNNs to solve vision-related tasks with random weights, meaning without learning. Similarly, Long Short-Term Memory (LSTM) has a strong inductive bias towards storing information over time. However, many real-world systems are governed by conservation laws, which lead to the redistribution of particular quantities -- e.g. in physical and economical systems. Our novel Mass-Conserving LSTM (MC-LSTM) adheres to these conservation laws by extending the inductive bias of LSTM to model the redistribution of those stored quantities. MC-LSTMs set a new state-of-the-art for neural arithmetic units at learning arithmetic operations, such as addition tasks, which have a strong conservation law, as the sum is constant over time. Further, MC-LSTM is applied to traffic forecasting, modelling a pendulum, and a large benchmark dataset in hydrology, where it sets a new state-of-the-art for predicting peak flows. In the hydrology example, we show that MC-LSTM states correlate with real-world processes and are therefore interpretable.
• Abstract（参考訳）: コンピュータビジョンにおける畳み込みニューラルネットワーク(cnns)の成功は主に、cnnがランダムな重みで視覚に関連するタスクを解決できるほど強い帰納的バイアスによってもたらされる。 同様に、Long Short-Term Memory (LSTM) は、時間とともに情報を保存することに強い帰納バイアスを持つ。 しかし、多くの現実世界のシステムは、例えば特定の量の再分配につながる保存法によって統治されている。 物理的・経済的システムです 本報では, 保存量の再分配をモデル化するために, LSTMの誘導バイアスを拡張して保存法則に準拠した。 MC-LSTMは、時間とともに一定となるため、強い保存法則を持つ加算タスクなど、算術演算の学習において、ニューラル演算ユニットの新たな最先端を定めている。 さらに、mc-lstmは、トラフィック予測、振り子モデリング、ハイドロロジーにおける大規模ベンチマークデータセットに適用され、ピークフローを予測するための新しい最新技術を設定する。 水理学の例では、MC-LSTM状態は現実世界の過程と相関し、解釈可能であることを示す。

関連論文リスト

• Unlocking the Power of LSTM for Long Term Time Series Forecasting [27.245021350821638]
  本稿では, sLSTM 上に実装したP-sLSTM という単純なアルゴリズムを提案する。 これらの改良により、TSFにおけるsLSTMの性能が大幅に向上し、最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-08-19T13:59:26Z)
• Implementation Guidelines and Innovations in Quantum LSTM Networks [2.938337278931738]
  本稿では,従来のLSTMネットワークに量子コンピューティングの原理を統合する量子LSTMモデルの理論的解析と実装計画を提案する。 シーケンシャルなデータ処理を強化するための実際のアーキテクチャとその実践的効果は、今後の研究で開発され、実証される。
  論文  参考訳（メタデータ） (2024-06-13T10:26:14Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• On the Representational Capacity of Recurrent Neural Language Models [56.19166912044362]
  計算時間を持つ有理重み付きRLMは、有理重み付き遷移を持つ決定論的確率的チューリングマシン(PTM)をシミュレートできることを示す。 また, 実時間計算の制約下では, 決定論的実時間有理PTMをシミュレートできることを示した。
  論文  参考訳（メタデータ） (2023-10-19T17:39:47Z)
• DeLELSTM: Decomposition-based Linear Explainable LSTM to Capture Instantaneous and Long-term Effects in Time Series [26.378073712630467]
  LSTMの解釈性を改善するために,分解に基づく線形説明可能LSTM(DeLELSTM)を提案する。 3つの経験的データセット上でのDeLELSTMの有効性と解釈性を示す。
  論文  参考訳（メタデータ） (2023-08-26T07:45:41Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• Mitigating Out-of-Distribution Data Density Overestimation in Energy-Based Models [54.06799491319278]
  深部エネルギーベースモデル(EBM)は、複雑な分布を学習する能力によって注目されている。 EBMの訓練には、Langevin Monte Carlo (LMC) を用いた最大推定(MLE)を用いることが多い。 短周期LCCのMLEが, 誤った密度推定でEMMに収束する理由を考察する。
  論文  参考訳（メタデータ） (2022-05-30T02:49:17Z)
• Simulation of Open Quantum Dynamics with Bootstrap-Based Long Short-Term Memory Recurrent Neural Network [0.0]
  ブートストラップ法はLSTM-NNの構成と予測に適用される。 ブートストラップに基づくLSTM-NNアプローチは、オープンシステムの長期量子力学を伝播する実用的で強力なツールである。
  論文  参考訳（メタデータ） (2021-08-03T05:58:54Z)
• Deep Learning modeling of Limit Order Book: a comparative perspective [0.0]
  本研究は、高周波取引のためのディープラーニング分野における理論的および実践的な問題に対処する。 ランダムモデル、ロジスティック回帰、LSTM、アテンションマスクを備えたLSTM、CNN-LSTM、アテンションなどの最先端モデルについてレビューし、同じタスクで比較する。 モデリング手法の根底にある次元は、リミット・オーダー・ブックの力学に固有のものかどうかを理解するために研究される。
  論文  参考訳（メタデータ） (2020-07-12T17:06:30Z)
• Object Tracking through Residual and Dense LSTMs [67.98948222599849]
  LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。 ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
  論文  参考訳（メタデータ） (2020-06-22T08:20:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。