論文の概要: TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model
- arxiv url: http://arxiv.org/abs/2409.02322v1
- Date: Tue, 3 Sep 2024 22:31:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 20:51:59.820034
- Title: TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model
- Title（参考訳）: TimeDiT:時系列基礎モデルのための汎用拡散変換器
- Authors: Defu Cao, Wen Ye, Yizhou Zhang, Yan Liu,
- Abstract要約: 時間的自己回帰生成型トランスフォーマーアーキテクチャを利用するモデル群が開発されている。
TimeDiTは時系列の一般的な基礎モデルであり、時間的自己回帰生成の代わりにデノナイジング拡散パラダイムを用いる。
TimeDiTの有効性を実証するために,予測,計算,異常検出などのタスクの多種多様な実験を行った。
- 参考スコア（独自算出の注目度）: 11.281386703572842
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: With recent advances in building foundation models for texts and video data, there is a surge of interest in foundation models for time series. A family of models have been developed, utilizing a temporal auto-regressive generative Transformer architecture, whose effectiveness has been proven in Large Language Models. While the empirical results are promising, almost all existing time series foundation models have only been tested on well-curated ``benchmark'' datasets very similar to texts. However, real-world time series exhibit unique challenges, such as variable channel sizes across domains, missing values, and varying signal sampling intervals due to the multi-resolution nature of real-world data. Additionally, the uni-directional nature of temporally auto-regressive decoding limits the incorporation of domain knowledge, such as physical laws expressed as partial differential equations (PDEs). To address these challenges, we introduce the Time Diffusion Transformer (TimeDiT), a general foundation model for time series that employs a denoising diffusion paradigm instead of temporal auto-regressive generation. TimeDiT leverages the Transformer architecture to capture temporal dependencies and employs diffusion processes to generate high-quality candidate samples without imposing stringent assumptions on the target distribution via novel masking schemes and a channel alignment strategy. Furthermore, we propose a finetuning-free model editing strategy that allows the seamless integration of external knowledge during the sampling process without updating any model parameters. Extensive experiments conducted on a varity of tasks such as forecasting, imputation, and anomaly detection, demonstrate the effectiveness of TimeDiT.
- Abstract（参考訳）: 近年,テキストやビデオデータの基礎モデルの構築が進み,時系列の基礎モデルへの関心が高まっている。
時間的自己回帰生成型トランスフォーマーアーキテクチャを応用したモデル群が開発され,その有効性は大規模言語モデルで証明されている。
実証的な結果は有望だが、既存の時系列の基礎モデルは、テキストと非常によく似た '`benchmark''' データセットでのみテストされている。
しかし、実世界の時系列は、ドメイン間の可変チャネルサイズ、欠落値、および実世界のデータの多重解像度の性質に起因する様々な信号サンプリング間隔など、ユニークな課題を示す。
さらに、時間的に自己回帰的復号化の一方向的性質は、偏微分方程式(PDE)として表される物理法則のような領域知識の包含を制限する。
これらの課題に対処するために,時間拡散変換器(Time Diffusion Transformer, TimeDiT)を導入する。
TimeDiTはTransformerアーキテクチャを活用して時間的依存関係をキャプチャし、拡散プロセスを用いて、新しいマスキングスキームとチャネルアライメント戦略を通じて、ターゲット分布に厳密な仮定を課すことなく、高品質な候補サンプルを生成する。
さらに,モデルパラメータを更新することなく,サンプリングプロセス中に外部知識をシームレスに統合するファインタニングフリーモデル編集手法を提案する。
TimeDiTの有効性を実証するために,予測,計算,異常検出などのタスクの多種多様な実験を行った。
関連論文リスト
- TiVaT: A Transformer with a Single Unified Mechanism for Capturing Asynchronous Dependencies in Multivariate Time Series Forecasting [4.733959271565453]
TiVaTは、単一の統一モジュール、JA(Joint-Axis)アテンションモジュールを組み込んだ新しいアーキテクチャである。
JA attentionモジュールは、特に非同期インタラクションをキャプチャする関連機能を動的に選択する。
大規模な実験では、さまざまなデータセットにわたるTiVaTの全体的なパフォーマンスが示されている。
論文 参考訳（メタデータ） (2024-10-02T13:24:24Z) - StreamEnsemble: Predictive Queries over Spatiotemporal Streaming Data [0.8437187555622164]
本稿では,時間的(ST)データ分布上の予測クエリに対する新しいアプローチであるStreamEnemblesを提案する。
実験により,本手法は従来のアンサンブル手法や単一モデル手法よりも精度と時間で優れていたことが明らかとなった。
論文 参考訳（メタデータ） (2024-09-30T23:50:16Z) - Robust Multivariate Time Series Forecasting against Intra- and Inter-Series Transitional Shift [40.734564394464556]
本稿では,時系列内/時系列間の相関関係を統合的に把握し,時変遷移分布をモデル化するための統一確率グラフモデルを提案する。
6つの高定常MTSデータセットに対する広範囲な実験により、JointPGMの有効性と効率を検証した。
論文 参考訳（メタデータ） (2024-07-18T06:16:03Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - Graph Spatiotemporal Process for Multivariate Time Series Anomaly
Detection with Missing Values [67.76168547245237]
本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。
実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
論文 参考訳（メタデータ） (2024-01-11T10:10:16Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-05-16T07:53:42Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳（メタデータ） (2022-02-07T21:37:29Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳（メタデータ） (2021-02-02T06:15:15Z) - Multivariate Probabilistic Time Series Forecasting via Conditioned
Normalizing Flows [8.859284959951204]
時系列予測は科学的・工学的な問題の基本である。
深層学習法はこの問題に適している。
多くの実世界のデータセットにおける標準メトリクスの最先端よりも改善されていることを示す。
論文 参考訳（メタデータ） (2020-02-14T16:16:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。