論文の概要: MSegRNN:Enhanced SegRNN Model with Mamba for Long-Term Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2407.10768v1
- Date: Mon, 15 Jul 2024 14:50:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 14:51:56.372808
- Title: MSegRNN:Enhanced SegRNN Model with Mamba for Long-Term Time Series Forecasting
- Title(参考訳): MSegRNN:長期連続予測のためのMambaを用いたSegRNNモデルの拡張
- Authors: GaoXiang Zhao, XiaoQiang Wang,
- Abstract要約: 本研究では,微調整された単一層マンバ構造を用いて情報を前処理するSegRNNの変種を紹介する。
暗黙のセグメンテーションと残留構造をモデルエンコーディングセクションに組み込んで、固有のデータ反復サイクルをさらに削減する。
この変種はMSegRNNと呼ばれ、Mamba構造を用いて有用な情報を選択し、変換シーケンスを生成する。
- 参考スコア(独自算出の注目度): 3.8747319171189947
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of long-term time series forecasting demands handling extensive look-back windows and long-range prediction steps, posing significant challenges for RNN-based methodologies. Among these, SegRNN, a robust RNN-driven model, has gained considerable attention in LTSF analysis for achieving state-of-the-art results while maintaining a remarkably streamlined architecture. Concurrently, the Mamba structure has demonstrated its advantages in small to medium-sized models due to its capability for information selection. This study introduces a variant of SegRNN that preprocesses information using a fine-tuned single-layer Mamba structure. Additionally, it incorporates implicit segmentation and residual structures into the model's encoding section to further reduce the inherent data iterative cycles of RNN architectures and implicitly integrate inter-channel correlations. This variant, named MSegRNN, utilizes the Mamba structure to select useful information, resulting in a transformed sequence. The linear-strategy-adapted derivative retains the superior memory efficiency of the original SegRNN while demonstrating enhanced performance. Empirical evaluations on real-world LTSF datasets demonstrate the superior performance of our model, thereby contributing to the advancement of LTSF methodologies.
- Abstract(参考訳): 長期連続予測の分野は、広範囲の見返りウィンドウと長距離予測ステップを扱う要求を処理し、RNNベースの方法論に重大な課題を提起している。
これらのうち、堅牢なRNN駆動モデルであるSegRNNは、最先端のアーキテクチャを維持しながら、最先端の成果を達成するためにLTSF分析にかなりの注目を集めている。
同時に、Mamba構造は、情報選択の能力により、中小のモデルでその利点を実証している。
本研究では,微調整された単一層マンバ構造を用いて情報を前処理するSegRNNの変種を紹介する。
さらに、暗黙のセグメンテーションと残留構造をモデルエンコーディングセクションに組み込んで、RNNアーキテクチャ固有のデータ反復サイクルをさらに減らし、チャネル間相関を暗黙的に統合する。
この変種はMSegRNNと呼ばれ、Mamba構造を用いて有用な情報を選択し、変換シーケンスを生成する。
線形戦略適応微分は、性能を向上しつつ、元のSegRNNの優れたメモリ効率を保っている。
実世界のLTSFデータセットに対する実証的な評価は,本モデルの優れた性能を示し,LTSF手法の進歩に寄与する。
関連論文リスト
- SegRNN: Segment Recurrent Neural Network for Long-Term Time Series
Forecasting [5.885828775057383]
RNNベースの手法は、長期時系列予測ドメインにおいて課題に直面している。
このドメインの優位性はTransformerに移行し、CNNはアプローチしている。
LTSFタスクに対するRNNの繰り返し回数を削減するための2つの新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-22T05:23:04Z) - Disentangling Structured Components: Towards Adaptive, Interpretable and
Scalable Time Series Forecasting [52.47493322446537]
本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。
SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。
SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
論文 参考訳(メタデータ) (2023-05-22T13:39:44Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳(メタデータ) (2022-06-26T16:00:22Z) - MS-RNN: A Flexible Multi-Scale Framework for Spatiotemporal Predictive
Learning [7.311071760653835]
予測学習のための最近のRNNモデルを強化するために,Multi-Scale RNN (MS-RNN) という汎用フレームワークを提案する。
我々はMS-RNNフレームワークを理論解析と徹底的な実験により検証する。
その結果、我々のフレームワークを組み込んだRNNモデルは、メモリコストが大幅に削減されるが、以前よりも性能が向上していることがわかった。
論文 参考訳(メタデータ) (2022-06-07T04:57:58Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳(メタデータ) (2020-10-08T18:24:12Z) - Recurrent Graph Tensor Networks: A Low-Complexity Framework for
Modelling High-Dimensional Multi-Way Sequence [24.594587557319837]
我々は、リカレントニューラルネットワーク(RNN)における隠れ状態のモデリングを近似するグラフフィルタフレームワークを開発する。
提案するフレームワークは、複数のマルチウェイシーケンスモデリングタスクを通じて検証され、従来のRNNに対してベンチマークされる。
提案したRGTNは,標準RNNよりも優れるだけでなく,従来のRNNと関連する次元の曲線を緩和できることを示す。
論文 参考訳(メタデータ) (2020-09-18T10:13:36Z) - SCG-Net: Self-Constructing Graph Neural Networks for Semantic
Segmentation [23.623276007011373]
本稿では,画像から直接長距離依存グラフを学習し,コンテキスト情報を効率的に伝達するモジュールを提案する。
モジュールは、新しい適応対角法と変分下界により最適化される。
ニューラルネットワーク(SCG-Net)に組み込まれると、セマンティックセグメンテーションがエンドツーエンドで行われ、競争性能が向上する。
論文 参考訳(メタデータ) (2020-09-03T12:13:09Z) - Automatic Remaining Useful Life Estimation Framework with Embedded
Convolutional LSTM as the Backbone [5.927250637620123]
組込み畳み込みLSTM(E NeuralTM)と呼ばれる新しいLSTM変種を提案する。
ETMでは、異なる1次元の畳み込みの群がLSTM構造に埋め込まれている。
RUL推定のために広く用いられているいくつかのベンチマークデータセットに対する最先端のアプローチよりも,提案したEMMアプローチの方が優れていることを示す。
論文 参考訳(メタデータ) (2020-08-10T08:34:20Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳(メタデータ) (2020-06-22T10:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。