論文の概要: DAM: Towards A Foundation Model for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2407.17880v1
• Date: Thu, 25 Jul 2024 08:48:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 14:38:10.816704
• Title: DAM: Towards A Foundation Model for Time Series Forecasting
• Title（参考訳）: DAM:時系列予測の基礎モデルを目指して
• Authors: Luke Darlow, Qiwen Deng, Ahmed Hassan, Martin Asenov, Rajkarn Singh, Artjom Joosen, Adam Barker, Amos Storkey,
• Abstract要約: 本稿では,ランダムにサンプリングされた履歴を抽出し,時間連続関数として調整可能な基底組成を出力するニューラルモデルを提案する。 1)長い尾の分布からランダムにサンプリングされたヒストリーを使用する柔軟なアプローチ、(2)これらの活発にサンプリングされたヒストリーに基づいてトレーニングされたトランスフォーマーバックボーンを表現的出力として、(3)時間の連続関数の基底係数を含む。
• 参考スコア（独自算出の注目度）: 0.8231118867997028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is challenging to scale time series forecasting models such that they forecast accurately for multiple distinct domains and datasets, all with potentially different underlying collection procedures (e.g., sample resolution), patterns (e.g., periodicity), and prediction requirements (e.g., reconstruction vs. forecasting). We call this general task universal forecasting. Existing methods usually assume that input data is regularly sampled, and they forecast to pre-determined horizons, resulting in failure to generalise outside of the scope of their training. We propose the DAM - a neural model that takes randomly sampled histories and outputs an adjustable basis composition as a continuous function of time for forecasting to non-fixed horizons. It involves three key components: (1) a flexible approach for using randomly sampled histories from a long-tail distribution, that enables an efficient global perspective of the underlying temporal dynamics while retaining focus on the recent history; (2) a transformer backbone that is trained on these actively sampled histories to produce, as representational output, (3) the basis coefficients of a continuous function of time. We show that a single univariate DAM, trained on 25 time series datasets, either outperformed or closely matched existing SoTA models at multivariate long-term forecasting across 18 datasets, including 8 held-out for zero-shot transfer, even though these models were trained to specialise for each dataset-horizon combination. This single DAM excels at zero-shot transfer and very-long-term forecasting, performs well at imputation, is interpretable via basis function composition and attention, can be tuned for different inference-cost requirements, is robust to missing and irregularly sampled data {by design}.
• Abstract（参考訳）: 時系列予測モデルをスケールすることは困難であり、複数の異なるドメインやデータセットに対して正確に予測できる。これらはすべて、潜在的に異なるコレクション手順(例:サンプル解像度)、パターン(例:周期性)、予測要求(例:再構築対予測)を持つ。 私たちはこの一般的なタスクを普遍的な予測と呼ぶ。 既存の手法では、入力データが定期的にサンプリングされ、事前に決定された地平線に予測されるため、トレーニングの範囲外の一般化に失敗する。 本研究では,非固定地平線に予測する時間の連続関数として,ランダムにサンプリングされたヒストリーを抽出し,調整可能な基底組成を出力するニューラルモデルDAMを提案する。 1) 長期分布からランダムにサンプリングされたヒストリーを使用する柔軟なアプローチは、最近の歴史に焦点をあてつつ、基礎となる時間的ダイナミクスの効率的な大局的な視点を可能にし、(2) 積極的にサンプルされたヒストリーに基づいてトレーニングされたトランスフォーマーバックボーンは、表現的出力として、(3) 時間の連続関数の基底係数を生成する。 我々は,25の時系列データセットでトレーニングされた1つの単変量DAMが,データセットと水平の組み合わせを専門に訓練したにもかかわらず,0ショット転送のための8つのホールドアウトを含む18データセットにわたる多変量長期予測において,既存のSoTAモデルよりも優れ,あるいは密に一致していることを示す。 この単一のDAMはゼロショット転送や超長期予測に優れ、計算能力は良好であり、基本関数の構成と注意によって解釈可能であり、異なる推論コストの要求に対して調整可能であり、欠落したサンプルデータに対して堅牢で不規則にサンプリングされたデータ {by design} を設計する。

関連論文リスト

• Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
  時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。 既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。 本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
  論文  参考訳（メタデータ） (2024-11-24T04:56:45Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Generative Pretrained Hierarchical Transformer for Time Series Forecasting [3.739587363053192]
  予測のための新しい生成事前学習型階層型トランスフォーマーアーキテクチャ,textbfGPHTを提案する。 主流の自己教師付き事前学習モデルと教師付きモデルを用いて,8つのデータセット上で十分な実験を行う。 その結果、GPHTは、従来の長期予測タスクにおいて、様々な微調整およびゼロ/フェーショット学習設定のベースラインモデルを上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-26T11:54:54Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Few-Shot Forecasting of Time-Series with Heterogeneous Channels [4.635820333232681]
  本研究では,時間的埋め込みを組み込んだ置換不変な深部集合ブロックからなるモデルを開発する。 実験を通して、我々のモデルはより単純なシナリオから実行されたベースラインよりも優れた一般化を提供することを示す。
  論文  参考訳（メタデータ） (2022-04-07T14:02:15Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• MECATS: Mixture-of-Experts for Quantile Forecasts of Aggregated Time Series [11.826510794042548]
  我々はtexttMECATS という異種の専門家フレームワークを混合して導入する。 集約階層を通じて関連付けられた時系列の集合の値を同時に予測する。 異なる種類の予測モデルを個別の専門家として使用することで、各モデルの形式を対応する時系列の性質に合わせて調整することができる。
  論文  参考訳（メタデータ） (2021-12-22T05:05:30Z)
• Global Models for Time Series Forecasting: A Simulation Study [2.580765958706854]
  自動回帰(AR)や季節ARのような単純なデータ生成プロセス(DGP)からカオスロジスティックマップ、自己興奮型閾値自動回帰、マッキーグラス方程式といった複雑なDGPまで、時系列をシミュレートする。 データセットの長さと系列数は、さまざまなシナリオで変化します。 我々はこれらのデータセットに対して,Recurrent Neural Networks (RNN), Feed-Forward Neural Networks, Pooled Regression (PR) Model, Light Gradient Boosting Models (LGBM)などの大域的予測モデルを用いて実験を行った。
  論文  参考訳（メタデータ） (2020-12-23T04:45:52Z)
• Drift-Adjusted And Arbitrated Ensemble Framework For Time Series Forecasting [0.491574468325115]
  時系列データの複雑で進化的な性質のため、時系列予測は難しい問題である。 あらゆる時系列データに対して普遍的に有効な方法は存在しない。 そこで本研究では,そのような分布ドリフトを考慮した再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2020-03-16T10:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。