論文の概要: Mamba4Cast: Efficient Zero-Shot Time Series Forecasting with State Space Models

• arxiv url: http://arxiv.org/abs/2410.09385v1
• Date: Sat, 12 Oct 2024 06:35:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 14:44:04.799617
• Title: Mamba4Cast: Efficient Zero-Shot Time Series Forecasting with State Space Models
• Title（参考訳）: Mamba4Cast: ステートスペースモデルによる効率的なゼロショット時系列予測
• Authors: Sathya Kamesh Bhethanabhotla, Omar Swelam, Julien Siems, David Salinas, Frank Hutter,
• Abstract要約: Mamba4Castは時系列予測のためのゼロショット基礎モデルである。 データセット固有の微調整を必要とせずに、多様な時系列タスクを堅牢に一般化する。
• 参考スコア（独自算出の注目度）: 38.162017417805885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces Mamba4Cast, a zero-shot foundation model for time series forecasting. Based on the Mamba architecture and inspired by Prior-data Fitted Networks (PFNs), Mamba4Cast generalizes robustly across diverse time series tasks without the need for dataset specific fine-tuning. Mamba4Cast's key innovation lies in its ability to achieve strong zero-shot performance on real-world datasets while having much lower inference times than time series foundation models based on the transformer architecture. Trained solely on synthetic data, the model generates forecasts for entire horizons in a single pass, outpacing traditional auto-regressive approaches. Our experiments show that Mamba4Cast performs competitively against other state-of-the-art foundation models in various data sets while scaling significantly better with the prediction length. The source code can be accessed at https://github.com/automl/Mamba4Cast.
• Abstract（参考訳）: 本稿では,時系列予測のためのゼロショット基礎モデルであるMamba4Castを紹介する。 Mambaアーキテクチャをベースとし、PFN(Presideed-data Fitted Networks)にインスパイアされたMamba4Castは、データセット固有の微調整を必要とせずに、さまざまな時系列タスクを堅牢に一般化する。 Mamba4Castの重要なイノベーションは、リアルタイムデータセット上で強力なゼロショットパフォーマンスを実現する能力であると同時に、トランスフォーマーアーキテクチャに基づいた時系列基盤モデルよりもはるかに低い推論時間を持つことだ。 合成データのみに基づいてトレーニングされたこのモデルは、1回のパスで水平線全体の予測を生成し、従来の自己回帰的アプローチを上回る。 実験の結果,Mamba4Castは様々なデータセットにおいて,他の最先端基盤モデルと競合して動作し,予測長のスケーリングも大幅に向上した。 ソースコードはhttps://github.com/automl/Mamba4Cast.comからアクセスすることができる。

関連論文リスト

• A Mamba Foundation Model for Time Series Forecasting [13.593170999506889]
  本稿では,マンバアーキテクチャ上に構築された時系列予測のための線形複雑基盤モデルであるTSMambaを紹介する。 このモデルは、前方および後方のMambaエンコーダを通して時間的依存関係をキャプチャし、高い予測精度を達成する。 また、タスク固有の予測モデルと比較して、競争力や優れたフルショットパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-11-05T09:34:05Z)
• No "Zero-Shot" Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance [68.18779562801762]
  マルチモーダルモデルは、下流の"ゼロショット"のパフォーマンスを線形改善するために、指数関数的に多くのデータを必要とする。 本研究は,大規模な訓練パラダイムの下での「ゼロショット」一般化能力の鍵となる訓練データに対する指数関数的要求を明らかにする。
  論文  参考訳（メタデータ） (2024-04-04T17:58:02Z)
• Towards Foundation Time Series Model: To Synthesize Or Not To Synthesize? [2.8707270250981094]
  本論では,合成データに基づく基礎モデルの学習に有利であるか,限られた実例のみを利用する方がよいか,という課題について考察する。 本実験は,通常の時系列のみを対象として実施し,実時間時系列のみを活用することを優先して述べる。
  論文  参考訳（メタデータ） (2024-03-04T23:03:17Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• For2For: Learning to forecast from forecasts [1.6752182911522522]
  本稿では,標準予測手法と機械学習モデルを組み合わせた時系列予測フレームワークを提案する。 M4コンペティションデータセットでテストされたこのアプローチは、四半期シリーズの全ての応募よりも優れており、月次シリーズの受賞アルゴリズム以外のすべてのものよりも正確である。
  論文  参考訳（メタデータ） (2020-01-14T03:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。