論文の概要: VMRNN: Integrating Vision Mamba and LSTM for Efficient and Accurate Spatiotemporal Forecasting
- arxiv url: http://arxiv.org/abs/2403.16536v3
- Date: Sat, 29 Jun 2024 06:23:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-02 14:49:11.219903
- Title: VMRNN: Integrating Vision Mamba and LSTM for Efficient and Accurate Spatiotemporal Forecasting
- Title(参考訳): VMRNN: 効率的な時空間予測のためのビジョンマンバとLSTMの統合
- Authors: Yujin Tang, Peijie Dong, Zhenheng Tang, Xiaowen Chu, Junwei Liang,
- Abstract要約: 時間的予測のためのRNNを持つVTやCNNは、時間的・空間的ダイナミクスを予測するのに相容れない結果をもたらす。
最近のMambaベースのアーキテクチャは、非常に長いシーケンスモデリング能力に熱中している。
本稿では,ビジョンマンバブロックの強度をLSTMと統合した再帰ユニットであるVMRNNセルを提案する。
- 参考スコア(独自算出の注目度): 11.058879849373572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Combining CNNs or ViTs, with RNNs for spatiotemporal forecasting, has yielded unparalleled results in predicting temporal and spatial dynamics. However, modeling extensive global information remains a formidable challenge; CNNs are limited by their narrow receptive fields, and ViTs struggle with the intensive computational demands of their attention mechanisms. The emergence of recent Mamba-based architectures has been met with enthusiasm for their exceptional long-sequence modeling capabilities, surpassing established vision models in efficiency and accuracy, which motivates us to develop an innovative architecture tailored for spatiotemporal forecasting. In this paper, we propose the VMRNN cell, a new recurrent unit that integrates the strengths of Vision Mamba blocks with LSTM. We construct a network centered on VMRNN cells to tackle spatiotemporal prediction tasks effectively. Our extensive evaluations show that our proposed approach secures competitive results on a variety of tasks while maintaining a smaller model size. Our code is available at https://github.com/yyyujintang/VMRNN-PyTorch.
- Abstract(参考訳): CNN や ViT を時空間予測用の RNN と組み合わせることで,時間的・空間的ダイナミクスを予測できる無矛盾の結果が得られた。
しかし、広範にグローバルな情報をモデリングすることは依然として困難な課題であり、CNNは狭い受容領域によって制限されており、ViTは注意機構の計算的要求に苦慮している。
最近のマンバをベースとしたアーキテクチャの出現は、高効率と精度で確立されたビジョンモデルを超え、時空間予測に適した革新的なアーキテクチャを開発する動機となった、非常に長いシーケンスモデリング能力に熱中している。
本稿では,視覚マンバブロックの強みをLSTMと統合した新しいリカレントユニットであるVMRNNセルを提案する。
時空間予測処理を効果的に行うため,VMRNNセルを中心としたネットワークを構築した。
提案手法は, モデルサイズを小さく保ちながら, 様々なタスクにおける競争力を確保できることを示す。
私たちのコードはhttps://github.com/yyyujintang/VMRNN-PyTorchで公開されています。
関連論文リスト
- Deep State Space Recurrent Neural Networks for Time Series Forecasting [0.0]
本稿では,固有状態空間モデルの原理とリカレントニューラルネットワーク(RNN)の動的機能とを融合した新しいニューラルネットワークフレームワークを提案する。
結果によると、Kolmogorov-Arnold Networks(KAN)とLSTMにインスパイアされたTKANは、有望な結果を示している。
論文 参考訳(メタデータ) (2024-07-21T17:59:27Z) - SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。
伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。
本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2024-05-29T08:00:15Z) - Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-02T16:23:50Z) - Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。
本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。
提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-12-04T09:07:09Z) - Disentangling Structured Components: Towards Adaptive, Interpretable and
Scalable Time Series Forecasting [52.47493322446537]
本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。
SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。
SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
論文 参考訳(メタデータ) (2023-05-22T13:39:44Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳(メタデータ) (2022-06-26T16:00:22Z) - EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision
Transformers [88.52500757894119]
自己注意に基づく視覚変換器(ViT)は、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)に代わる、非常に競争力のあるアーキテクチャとして登場した。
われわれはEdgeViTsを紹介した。これは新しい軽量ViTのファミリーで、注目に基づく視覚モデルが初めて、最高の軽量CNNと競合することを可能にする。
論文 参考訳(メタデータ) (2022-05-06T18:17:19Z) - Automatic Remaining Useful Life Estimation Framework with Embedded
Convolutional LSTM as the Backbone [5.927250637620123]
組込み畳み込みLSTM(E NeuralTM)と呼ばれる新しいLSTM変種を提案する。
ETMでは、異なる1次元の畳み込みの群がLSTM構造に埋め込まれている。
RUL推定のために広く用いられているいくつかのベンチマークデータセットに対する最先端のアプローチよりも,提案したEMMアプローチの方が優れていることを示す。
論文 参考訳(メタデータ) (2020-08-10T08:34:20Z) - Industrial Forecasting with Exponentially Smoothed Recurrent Neural
Networks [0.0]
本稿では,産業応用における非定常力学系のモデル化に好適な指数的スムーズなリカレントニューラルネットワーク(RNN)のクラスを提案する。
指数スムーズなRNNの電力負荷、気象データ、株価予測への応用は、多段階時系列予測における隠れ状態の指数スムーズ化の有効性を強調している。
論文 参考訳(メタデータ) (2020-04-09T17:53:49Z) - Error-feedback stochastic modeling strategy for time series forecasting
with convolutional neural networks [11.162185201961174]
本稿では,ランダム畳み込みネットワーク(ESM-CNN)ニューラル時系列予測タスクを構築するための新しいError-feedback Modeling (ESM)戦略を提案する。
提案したESM-CNNは、最先端のランダムニューラルネットワークを上回るだけでなく、トレーニングされた最先端のディープニューラルネットワークモデルと比較して、予測能力と計算オーバーヘッドの低減も実現している。
論文 参考訳(メタデータ) (2020-02-03T13:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。