論文の概要: TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model

• arxiv url: http://arxiv.org/abs/2409.02322v2
• Date: Tue, 11 Feb 2025 00:53:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:04:39.415651
• Title: TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model
• Title（参考訳）: TimeDiT:時系列基礎モデルのための汎用拡散変換器
• Authors: Defu Cao, Wen Ye, Yizhou Zhang, Yan Liu,
• Abstract要約: TimeDiTは時間依存性学習と確率的サンプリングを組み合わせた拡散トランスフォーマーモデルである。 TimeDiTは、さまざまなタスクにわたるトレーニングと推論プロセスを調和させるために、統一的なマスキングメカニズムを採用している。 我々の体系的評価は、ゼロショット/ファインチューニングによる予測と計算という基本的なタスクにおいて、TimeDiTの有効性を示す。
• 参考スコア（独自算出の注目度）: 11.281386703572842
• License:
• Abstract: Foundation models, particularly Large Language Models (LLMs), have revolutionized text and video processing, yet time series data presents distinct challenges for such approaches due to domain-specific features such as missing values, multi-resolution characteristics, etc. Furthermore, the de-facto autoregressive transformers tend to learn deterministic temporal dependencies within pre-trained data while overlooking inherent uncertainties and lacking integration of physical constraints. In this paper, we introduce TimeDiT, a diffusion transformer model that synergistically combines transformer-based temporal dependency learning with diffusion-based probabilistic sampling. TimeDiT employs a unified masking mechanism to harmonize the training and inference process across diverse tasks while introducing a theoretically grounded, finetuning-free model editing strategy that enables flexible integration of external knowledge during sampling. Acknowledging the challenges of unifying multiple downstream tasks under a single model, our systematic evaluation demonstrates TimeDiT's effectiveness both in fundamental tasks, i.e., forecasting and imputation, through zero-shot/fine-tuning; and in domain tasks, i.e., multi-resolution forecasting, anomaly detection, and data generation, establishing it as a \textit{proto-foundation model} that bridges the gap between general-purpose and domain-specific models.
• Abstract（参考訳）: 基礎モデル、特にLarge Language Models (LLMs) は、テキストとビデオ処理に革命をもたらしたが、時系列データは、欠落値やマルチレゾリューション特性などのドメイン固有の特徴のために、そのようなアプローチに対して異なる課題を提示している。 さらに、デファクト自己回帰変換器は、固有の不確実性を見落とし、物理的制約の統合を欠きながら、事前訓練されたデータ内の決定論的時間的依存関係を学習する傾向にある。 本稿では,変換器に基づく時間依存性学習と拡散に基づく確率的サンプリングを相乗的に組み合わせた拡散変圧器モデルであるTimeDiTを紹介する。 TimeDiTは、様々なタスクにわたるトレーニングと推論プロセスを調和させると同時に、サンプリング中に外部知識の柔軟な統合を可能にする理論的に根拠のない微調整のないモデル編集戦略を導入するために、統一的なマスキング機構を採用している。 一つのモデルの下で複数の下流タスクを統合することの課題を認識し、系統的評価は、基本的なタスク、すなわち予測と計算、ゼロショット/ファインチューニング、ドメインタスク、すなわちマルチレゾリューション予測、異常検出、データ生成においてTimeDiTの有効性を実証し、汎用モデルとドメイン固有モデルのギャップを埋める \textit{proto-foundation model} として確立する。

関連論文リスト

• TiVaT: A Transformer with a Single Unified Mechanism for Capturing Asynchronous Dependencies in Multivariate Time Series Forecasting [4.733959271565453]
  TiVaTは、単一の統一モジュール、JA(Joint-Axis)アテンションモジュールを組み込んだ新しいアーキテクチャである。 JA attentionモジュールは、特に非同期インタラクションをキャプチャする関連機能を動的に選択する。 大規模な実験では、さまざまなデータセットにわたるTiVaTの全体的なパフォーマンスが示されている。
  論文  参考訳（メタデータ） (2024-10-02T13:24:24Z)
• StreamEnsemble: Predictive Queries over Spatiotemporal Streaming Data [0.8437187555622164]
  本稿では,時間的(ST)データ分布上の予測クエリに対する新しいアプローチであるStreamEnemblesを提案する。 実験により,本手法は従来のアンサンブル手法や単一モデル手法よりも精度と時間で優れていたことが明らかとなった。
  論文  参考訳（メタデータ） (2024-09-30T23:50:16Z)
• Robust Multivariate Time Series Forecasting against Intra- and Inter-Series Transitional Shift [40.734564394464556]
  本稿では,時系列内/時系列間の相関関係を統合的に把握し,時変遷移分布をモデル化するための統一確率グラフモデルを提案する。 6つの高定常MTSデータセットに対する広範囲な実験により、JointPGMの有効性と効率を検証した。
  論文  参考訳（メタデータ） (2024-07-18T06:16:03Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
  本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。 実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T10:10:16Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Multivariate Probabilistic Time Series Forecasting via Conditioned Normalizing Flows [8.859284959951204]
  時系列予測は科学的・工学的な問題の基本である。 深層学習法はこの問題に適している。 多くの実世界のデータセットにおける標準メトリクスの最先端よりも改善されていることを示す。
  論文  参考訳（メタデータ） (2020-02-14T16:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。