論文の概要: TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model
- arxiv url: http://arxiv.org/abs/2409.02322v1
- Date: Tue, 3 Sep 2024 22:31:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 20:51:59.820034
- Title: TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model
- Title（参考訳）: TimeDiT:時系列基礎モデルのための汎用拡散変換器
- Authors: Defu Cao, Wen Ye, Yizhou Zhang, Yan Liu,
- Abstract要約: 時間的自己回帰生成型トランスフォーマーアーキテクチャを利用するモデル群が開発されている。
TimeDiTは時系列の一般的な基礎モデルであり、時間的自己回帰生成の代わりにデノナイジング拡散パラダイムを用いる。
TimeDiTの有効性を実証するために,予測,計算,異常検出などのタスクの多種多様な実験を行った。
- 参考スコア（独自算出の注目度）: 11.281386703572842
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: With recent advances in building foundation models for texts and video data, there is a surge of interest in foundation models for time series. A family of models have been developed, utilizing a temporal auto-regressive generative Transformer architecture, whose effectiveness has been proven in Large Language Models. While the empirical results are promising, almost all existing time series foundation models have only been tested on well-curated ``benchmark'' datasets very similar to texts. However, real-world time series exhibit unique challenges, such as variable channel sizes across domains, missing values, and varying signal sampling intervals due to the multi-resolution nature of real-world data. Additionally, the uni-directional nature of temporally auto-regressive decoding limits the incorporation of domain knowledge, such as physical laws expressed as partial differential equations (PDEs). To address these challenges, we introduce the Time Diffusion Transformer (TimeDiT), a general foundation model for time series that employs a denoising diffusion paradigm instead of temporal auto-regressive generation. TimeDiT leverages the Transformer architecture to capture temporal dependencies and employs diffusion processes to generate high-quality candidate samples without imposing stringent assumptions on the target distribution via novel masking schemes and a channel alignment strategy. Furthermore, we propose a finetuning-free model editing strategy that allows the seamless integration of external knowledge during the sampling process without updating any model parameters. Extensive experiments conducted on a varity of tasks such as forecasting, imputation, and anomaly detection, demonstrate the effectiveness of TimeDiT.
- Abstract（参考訳）: 近年,テキストやビデオデータの基礎モデルの構築が進み,時系列の基礎モデルへの関心が高まっている。
時間的自己回帰生成型トランスフォーマーアーキテクチャを応用したモデル群が開発され,その有効性は大規模言語モデルで証明されている。
実証的な結果は有望だが、既存の時系列の基礎モデルは、テキストと非常によく似た '`benchmark''' データセットでのみテストされている。
しかし、実世界の時系列は、ドメイン間の可変チャネルサイズ、欠落値、および実世界のデータの多重解像度の性質に起因する様々な信号サンプリング間隔など、ユニークな課題を示す。
さらに、時間的に自己回帰的復号化の一方向的性質は、偏微分方程式(PDE)として表される物理法則のような領域知識の包含を制限する。
これらの課題に対処するために,時間拡散変換器(Time Diffusion Transformer, TimeDiT)を導入する。
TimeDiTはTransformerアーキテクチャを活用して時間的依存関係をキャプチャし、拡散プロセスを用いて、新しいマスキングスキームとチャネルアライメント戦略を通じて、ターゲット分布に厳密な仮定を課すことなく、高品質な候補サンプルを生成する。
さらに,モデルパラメータを更新することなく,サンプリングプロセス中に外部知識をシームレスに統合するファインタニングフリーモデル編集手法を提案する。
TimeDiTの有効性を実証するために,予測,計算,異常検出などのタスクの多種多様な実験を行った。
関連論文リスト
- ODEStream: A Buffer-Free Online Learning Framework with ODE-based Adaptor for Streaming Time Series Forecasting [11.261457967759688]
ODEStreamはバッファフリーの継続的学習フレームワークで、データに時間的依存関係を統合する時間的分離レイヤを備えている。
提案手法は,履歴データの動的および分布が時間とともにどのように変化するかを学ぶことに焦点を当て,ストリーミングシーケンスの直接処理を容易にする。
ベンチマーク実世界のデータセットによる評価は、ODEStreamが最先端のオンライン学習とストリーミング分析のベースラインを上回っていることを示している。
論文 参考訳（メタデータ） (2024-11-11T22:36:33Z) - Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。
39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
論文 参考訳（メタデータ） (2024-10-14T13:01:11Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from
the perspective of partial differential equations [49.80959046861793]
本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。
7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
論文 参考訳（メタデータ） (2024-02-25T17:39:44Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-02-04T20:00:45Z) - TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。
TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
論文 参考訳（メタデータ） (2023-10-08T00:02:25Z) - Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
本稿では,Ti-MAEという新しいフレームワークを提案する。
Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。
いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
論文 参考訳（メタデータ） (2023-01-21T03:20:23Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - TFAD: A Decomposition Time Series Anomaly Detection Architecture with
Time-Frequency Analysis [12.867257563413972]
時系列異常検出は、複雑な時間的依存と限られたラベルデータのために難しい問題である。
本稿では,時間領域と周波数領域の両方を利用した時間周波数解析に基づく時系列異常検出モデル(TFAD)を提案する。
論文 参考訳（メタデータ） (2022-10-18T09:08:57Z) - Heteroscedastic Temporal Variational Autoencoder For Irregular Time Series [15.380441563675243]
HeTVAE(Heteroscedastic Temporal Variational Autoencoder)と呼ばれる不規則サンプル時系列のための新しいディープラーニングフレームワークを提案する。
HeTVAEは、入力観察間隔に関する情報を符号化する新しい入力層と、入力間隔による不確かさを伝播する時間的VAEアーキテクチャと、変数による出力の不確実性を可能にするヘテロセダスティック出力層とを含む。
提案したアーキテクチャは,近年提案された潜時変動モデルと同様に,時間スパースおよび不規則サンプリングによる変動不確かさを,ベースラインや従来のモデルよりもよく反映できることを示す。
論文 参考訳（メタデータ） (2021-07-23T16:59:21Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳（メタデータ） (2021-02-02T06:15:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。