Fugu-MT 論文翻訳(概要): Transformers and Their Roles as Time Series Foundation Models

論文の概要: Transformers and Their Roles as Time Series Foundation Models

arxiv url: http://arxiv.org/abs/2502.03383v1
Date: Wed, 05 Feb 2025 17:18:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-06 14:28:28.598440
Title: Transformers and Their Roles as Time Series Foundation Models
Title（参考訳）: 時系列基礎モデルとしてのトランスフォーマーとその役割
Authors: Dennis Wu, Yihan He, Yuan Cao, Jianqing Fan, Han Liu,
Abstract要約: 我々は,変換器を時系列基礎モデルとして解析し,近似と一般化機能に着目した。任意の数の共変量を持つ自己回帰モデルにMOIRAIが自動的に適合できることを実証する。実験は、時系列基礎モデルとしてのトランスフォーマーの有効性を強調し、我々の理論的な結果を支持する。
参考スコア（独自算出の注目度）: 14.61139607588868
License:
Abstract: We give a comprehensive analysis of transformers as time series foundation models, focusing on their approximation and generalization capabilities. First, we demonstrate that there exist transformers that fit an autoregressive model on input univariate time series via gradient descent. We then analyze MOIRAI, a multivariate time series foundation model capable of handling an arbitrary number of covariates. We prove that it is capable of automatically fitting autoregressive models with an arbitrary number of covariates, offering insights into its design and empirical success. For generalization, we establish bounds for pretraining when the data satisfies Dobrushin's condition. Experiments support our theoretical findings, highlighting the efficacy of transformers as time series foundation models.
Abstract（参考訳）: 時系列基礎モデルとして変換器を包括的に解析し,近似と一般化機能に着目した。まず、勾配降下による入力単変量時系列に自己回帰モデルに適合する変換器が存在することを示す。次に、任意の数の共変量を扱うことができる多変量時系列基礎モデルMOIRAIを解析する。任意の数の共変量に自己回帰モデルを自動的に適合させることが可能であることを証明し、その設計と経験的成功に関する洞察を提供する。一般化するために、ドブルシンの条件を満たすデータを事前学習するための境界を確立する。実験は、時系列基礎モデルとしてのトランスフォーマーの有効性を強調し、我々の理論的な結果を支持する。

関連論文リスト

Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
論文参考訳（メタデータ） (2024-10-14T13:01:11Z)
TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model [11.281386703572842]
時間的自己回帰生成型トランスフォーマーアーキテクチャを利用するモデル群が開発されている。 TimeDiTは時系列の一般的な基礎モデルであり、時間的自己回帰生成の代わりにデノナイジング拡散パラダイムを用いる。 TimeDiTの有効性を実証するために,予測,計算,異常検出などのタスクの多種多様な実験を行った。
論文参考訳（メタデータ） (2024-09-03T22:31:57Z)
Predictive Modeling in the Reservoir Kernel Motif Space [0.9217021281095907]
本研究では,線形貯水池のカーネルビューに基づく時系列予測手法を提案する。我々は、我々のアプローチがコア貯水池モデルとどのように関係しているかについての光を遮蔽するアプローチの幾何学的解釈を提供する。実験では,提案モデルの予測性能と最近の最先端変圧器モデルとの比較を行った。
論文参考訳（メタデータ） (2024-05-11T16:12:25Z)
tsGT: Stochastic Time Series Modeling With Transformer [0.12905935507312413]
本稿では,汎用トランスアーキテクチャ上に構築された時系列モデルであるtsGTを紹介する。 tsGT は MAD と RMSE の最先端モデルより優れており、QL と CRPS のピアよりも 4 つの一般的なデータセットで優れていることを示す。
論文参考訳（メタデータ） (2024-03-08T22:59:41Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文参考訳（メタデータ） (2024-02-04T06:55:55Z)
Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-10-12T12:29:32Z)
Predicting Ordinary Differential Equations with Transformers [65.07437364102931]
単一溶液軌道の不規則サンプリングおよび雑音観測から,スカラー常微分方程式(ODE)を記号形式で復元するトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルを開発した。提案手法は, 1回に一度, ODE の大規模な事前訓練を行った後, モデルのいくつかの前方通過において, 新たな観測解の法則を推測することができる。
論文参考訳（メタデータ） (2023-07-24T08:46:12Z)
Non-autoregressive Conditional Diffusion Models for Time Series Prediction [3.9722979176564763]
TimeDiffは、高品質な時系列予測を実現する非自己回帰拡散モデルである。我々はTimeDiffが既存の時系列拡散モデルより一貫して優れていることを示す。
論文参考訳（メタデータ） (2023-06-08T08:53:59Z)
Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文参考訳（メタデータ） (2023-05-26T00:43:02Z)
One Fits All:Power General Time Series Analysis by Pretrained LM [23.292260325891032]
自然言語や画像の事前学習モデルでは,すべてのメイン時系列解析タスクにおいて,同等あるいは最先端のパフォーマンスが得られることを示す。この結果から,自然言語や画像を用いた事前学習モデルでは,すべての時系列解析タスクにおいて,同等あるいは最先端のパフォーマンスが得られることが示された。
論文参考訳（メタデータ） (2023-02-23T11:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。