論文の概要: VMRNN: Integrating Vision Mamba and LSTM for Efficient and Accurate Spatiotemporal Forecasting

• arxiv url: http://arxiv.org/abs/2403.16536v3
• Date: Sat, 29 Jun 2024 06:23:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 14:49:11.219903
• Title: VMRNN: Integrating Vision Mamba and LSTM for Efficient and Accurate Spatiotemporal Forecasting
• Title（参考訳）: VMRNN: 効率的な時空間予測のためのビジョンマンバとLSTMの統合
• Authors: Yujin Tang, Peijie Dong, Zhenheng Tang, Xiaowen Chu, Junwei Liang,
• Abstract要約: 時間的予測のためのRNNを持つVTやCNNは、時間的・空間的ダイナミクスを予測するのに相容れない結果をもたらす。 最近のMambaベースのアーキテクチャは、非常に長いシーケンスモデリング能力に熱中している。 本稿では,ビジョンマンバブロックの強度をLSTMと統合した再帰ユニットであるVMRNNセルを提案する。
• 参考スコア（独自算出の注目度）: 11.058879849373572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining CNNs or ViTs, with RNNs for spatiotemporal forecasting, has yielded unparalleled results in predicting temporal and spatial dynamics. However, modeling extensive global information remains a formidable challenge; CNNs are limited by their narrow receptive fields, and ViTs struggle with the intensive computational demands of their attention mechanisms. The emergence of recent Mamba-based architectures has been met with enthusiasm for their exceptional long-sequence modeling capabilities, surpassing established vision models in efficiency and accuracy, which motivates us to develop an innovative architecture tailored for spatiotemporal forecasting. In this paper, we propose the VMRNN cell, a new recurrent unit that integrates the strengths of Vision Mamba blocks with LSTM. We construct a network centered on VMRNN cells to tackle spatiotemporal prediction tasks effectively. Our extensive evaluations show that our proposed approach secures competitive results on a variety of tasks while maintaining a smaller model size. Our code is available at https://github.com/yyyujintang/VMRNN-PyTorch.
• Abstract（参考訳）: CNN や ViT を時空間予測用の RNN と組み合わせることで,時間的・空間的ダイナミクスを予測できる無矛盾の結果が得られた。 しかし、広範にグローバルな情報をモデリングすることは依然として困難な課題であり、CNNは狭い受容領域によって制限されており、ViTは注意機構の計算的要求に苦慮している。 最近のマンバをベースとしたアーキテクチャの出現は、高効率と精度で確立されたビジョンモデルを超え、時空間予測に適した革新的なアーキテクチャを開発する動機となった、非常に長いシーケンスモデリング能力に熱中している。 本稿では,視覚マンバブロックの強みをLSTMと統合した新しいリカレントユニットであるVMRNNセルを提案する。 時空間予測処理を効果的に行うため,VMRNNセルを中心としたネットワークを構築した。 提案手法は, モデルサイズを小さく保ちながら, 様々なタスクにおける競争力を確保できることを示す。 私たちのコードはhttps://github.com/yyyujintang/VMRNN-PyTorchで公開されています。

関連論文リスト

• Enhancing SNN-based Spatio-Temporal Learning: A Benchmark Dataset and Cross-Modality Attention Model [30.66645039322337]
  高品質なベンチマークデータセットは、ニューラルネットワーク(SNN)の発展に非常に重要である しかし、SNNベースのクロスモーダル融合はまだ未定である。 本研究では,SNNの時間的特性をよりよく活用できるニューロモルフィックデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-21T06:59:04Z)
• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• SpikingSSMs: Learning Long Sequences with Sparse and Parallel Spiking State Space Models [19.04709216497077]
  長いシーケンス学習のためのスパイキング状態空間モデル(SpikingSSM)を開発した。 樹状ニューロン構造にインスパイアされた我々は、神経力学を元のSSMブロックと階層的に統合する。 そこで本研究では,リセット後の膜電位を正確に予測し,学習可能なしきい値に適合する軽量サロゲート動的ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T09:35:49Z)
• MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
  本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。 具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。 実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-08-15T02:29:00Z)
• Deep State Space Recurrent Neural Networks for Time Series Forecasting [0.0]
  本稿では,固有状態空間モデルの原理とリカレントニューラルネットワーク(RNN)の動的機能とを融合した新しいニューラルネットワークフレームワークを提案する。 結果によると、Kolmogorov-Arnold Networks(KAN)とLSTMにインスパイアされたTKANは、有望な結果を示している。
  論文  参考訳（メタデータ） (2024-07-21T17:59:27Z)
• Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
  スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。 SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。 本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:23:50Z)
• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• Disentangling Structured Components: Towards Adaptive, Interpretable and Scalable Time Series Forecasting [52.47493322446537]
  本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。 SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。 SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
  論文  参考訳（メタデータ） (2023-05-22T13:39:44Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Automatic Remaining Useful Life Estimation Framework with Embedded Convolutional LSTM as the Backbone [5.927250637620123]
  組込み畳み込みLSTM(E NeuralTM)と呼ばれる新しいLSTM変種を提案する。 ETMでは、異なる1次元の畳み込みの群がLSTM構造に埋め込まれている。 RUL推定のために広く用いられているいくつかのベンチマークデータセットに対する最先端のアプローチよりも,提案したEMMアプローチの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-10T08:34:20Z)
• Industrial Forecasting with Exponentially Smoothed Recurrent Neural Networks [0.0]
  本稿では,産業応用における非定常力学系のモデル化に好適な指数的スムーズなリカレントニューラルネットワーク(RNN)のクラスを提案する。 指数スムーズなRNNの電力負荷、気象データ、株価予測への応用は、多段階時系列予測における隠れ状態の指数スムーズ化の有効性を強調している。
  論文  参考訳（メタデータ） (2020-04-09T17:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。