論文の概要: MODE: Efficient Time Series Prediction with Mamba Enhanced by Low-Rank Neural ODEs
- arxiv url: http://arxiv.org/abs/2601.00920v1
- Date: Thu, 01 Jan 2026 11:23:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:21.853669
- Title: MODE: Efficient Time Series Prediction with Mamba Enhanced by Low-Rank Neural ODEs
- Title(参考訳): モデル:低ランクニューラルネットワークによるマンバによる効率的な時系列予測
- Authors: Xingsheng Chen, Regina Zhang, Bo Gao, Xingwei He, Xiaofeng Liu, Pietro Lio, Kwok-Yan Lam, Siu-Ming Yiu,
- Abstract要約: 時系列予測は、金融、医療、エネルギーシステム、環境モデリングといった様々な分野において重要な役割を果たす。
我々は,低ランクニューラル正規微分方程式 (Neural ODE) と拡張マンバアーキテクチャを統合する統一フレームワーク MODE を提案する。
コントリビューションには,(1)長期連続モデリングのための統一的かつ効率的なアーキテクチャ,(2)時間的表現の強化を目的とした低ランクニューラルODEへのマンバの選択走査の統合,(3)低ランク近似と動的選択走査によって実現される効率とスケーラビリティの大幅な改善が含まれている。
- 参考スコア(独自算出の注目度): 41.50535363508025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series prediction plays a pivotal role across diverse domains such as finance, healthcare, energy systems, and environmental modeling. However, existing approaches often struggle to balance efficiency, scalability, and accuracy, particularly when handling long-range dependencies and irregularly sampled data. To address these challenges, we propose MODE, a unified framework that integrates Low-Rank Neural Ordinary Differential Equations (Neural ODEs) with an Enhanced Mamba architecture. As illustrated in our framework, the input sequence is first transformed by a Linear Tokenization Layer and then processed through multiple Mamba Encoder blocks, each equipped with an Enhanced Mamba Layer that employs Causal Convolution, SiLU activation, and a Low-Rank Neural ODE enhancement to efficiently capture temporal dynamics. This low-rank formulation reduces computational overhead while maintaining expressive power. Furthermore, a segmented selective scanning mechanism, inspired by pseudo-ODE dynamics, adaptively focuses on salient subsequences to improve scalability and long-range sequence modeling. Extensive experiments on benchmark datasets demonstrate that MODE surpasses existing baselines in both predictive accuracy and computational efficiency. Overall, our contributions include: (1) a unified and efficient architecture for long-term time series modeling, (2) integration of Mamba's selective scanning with low-rank Neural ODEs for enhanced temporal representation, and (3) substantial improvements in efficiency and scalability enabled by low-rank approximation and dynamic selective scanning.
- Abstract(参考訳): 時系列予測は、金融、医療、エネルギーシステム、環境モデリングといった様々な分野において重要な役割を果たす。
しかし、既存のアプローチは、特に長距離依存や不規則にサンプリングされたデータを扱う場合、効率、スケーラビリティ、精度のバランスをとるのに苦労することが多い。
これらの課題に対処するため、我々は低ランクニューラルネットワーク正規微分方程式(Neural ODE)と拡張マンバアーキテクチャを統合する統合フレームワークであるMODEを提案する。
筆者らがフレームワークで説明したように、入力シーケンスはまず線形トークン化層によって変換され、次に複数のMamba Encoderブロックを介して処理される。
この低ランクな定式化は、表現力を維持しながら計算オーバーヘッドを低減する。
さらに、擬似ODEダイナミクスにインスパイアされたセグメント選択走査機構は、拡張性と長距離シーケンスモデリングを改善するために、有能なサブシーケンスに適応的に焦点をあてる。
ベンチマークデータセットの大規模な実験は、MODEが予測精度と計算効率の両方で既存のベースラインを超えることを示した。
1)長期連続モデリングのための統一的で効率的なアーキテクチャ,(2)時間的表現の強化を目的とした低ランクニューラルODEとMambaの選択走査の統合,(3)低ランク近似と動的選択走査によって実現される効率とスケーラビリティの大幅な改善。
関連論文リスト
- MMA: A Momentum Mamba Architecture for Human Activity Recognition with Inertial Sensors [6.7394387525196215]
慣性センサーからのヒューマンアクティビティ認識(HAR)はユビキタスコンピューティング、モバイルヘルス、環境知能に不可欠である。
モーメントム・マンバ(Momentum Mamba)は、時間ステップ間の情報フローの安定性を改善するために2次ダイナミクスを組み込んだ運動量増強型SSMである。
複数のHARベンチマークの実験では、バニラ・マンバとトランスフォーマーのベースラインの精度、堅牢性、収束速度が一貫した向上を示した。
論文 参考訳(メタデータ) (2025-11-26T16:21:36Z) - Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。
我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
論文 参考訳(メタデータ) (2025-09-03T18:05:02Z) - Neural Predictive Control to Coordinate Discrete- and Continuous-Time Models for Time-Series Analysis with Control-Theoretical Improvements [46.19047880604178]
時系列問題を連続ODEに基づく最適制御問題として再放送する。
データからのみダイナミックスを学ぶのではなく、タスクの目的に向かってODE軌道を操縦する制御アクションを最適化する。
軽度の仮定では、この多重水平最適化は無限水平解への指数収束をもたらす。
論文 参考訳(メタデータ) (2025-08-03T16:41:00Z) - UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。
U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。
UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
論文 参考訳(メタデータ) (2024-10-15T04:56:43Z) - SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2024-08-21T09:12:59Z) - Mamba-Spike: Enhancing the Mamba Architecture with a Spiking Front-End for Efficient Temporal Data Processing [4.673285689826945]
Mamba-Spikeは、スパイクするフロントエンドとMambaのバックボーンを統合して、効率的な時間的データ処理を実現する新しいニューロモルフィックアーキテクチャである。
このアーキテクチャは、最先端のベースラインを一貫して上回り、高い精度、低いレイテンシ、エネルギー効率の向上を実現している。
論文 参考訳(メタデータ) (2024-08-04T14:10:33Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳(メタデータ) (2022-09-01T10:46:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。