論文の概要: TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model

• arxiv url: http://arxiv.org/abs/2409.02322v2
• Date: Tue, 11 Feb 2025 00:53:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:04:39.415651
• Title: TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model
• Title（参考訳）: TimeDiT:時系列基礎モデルのための汎用拡散変換器
• Authors: Defu Cao, Wen Ye, Yizhou Zhang, Yan Liu,
• Abstract要約: TimeDiTは時間依存性学習と確率的サンプリングを組み合わせた拡散トランスフォーマーモデルである。 TimeDiTは、さまざまなタスクにわたるトレーニングと推論プロセスを調和させるために、統一的なマスキングメカニズムを採用している。 我々の体系的評価は、ゼロショット/ファインチューニングによる予測と計算という基本的なタスクにおいて、TimeDiTの有効性を示す。
• 参考スコア（独自算出の注目度）: 11.281386703572842
• License:
• Abstract: Foundation models, particularly Large Language Models (LLMs), have revolutionized text and video processing, yet time series data presents distinct challenges for such approaches due to domain-specific features such as missing values, multi-resolution characteristics, etc. Furthermore, the de-facto autoregressive transformers tend to learn deterministic temporal dependencies within pre-trained data while overlooking inherent uncertainties and lacking integration of physical constraints. In this paper, we introduce TimeDiT, a diffusion transformer model that synergistically combines transformer-based temporal dependency learning with diffusion-based probabilistic sampling. TimeDiT employs a unified masking mechanism to harmonize the training and inference process across diverse tasks while introducing a theoretically grounded, finetuning-free model editing strategy that enables flexible integration of external knowledge during sampling. Acknowledging the challenges of unifying multiple downstream tasks under a single model, our systematic evaluation demonstrates TimeDiT's effectiveness both in fundamental tasks, i.e., forecasting and imputation, through zero-shot/fine-tuning; and in domain tasks, i.e., multi-resolution forecasting, anomaly detection, and data generation, establishing it as a \textit{proto-foundation model} that bridges the gap between general-purpose and domain-specific models.
• Abstract（参考訳）: 基礎モデル、特にLarge Language Models (LLMs) は、テキストとビデオ処理に革命をもたらしたが、時系列データは、欠落値やマルチレゾリューション特性などのドメイン固有の特徴のために、そのようなアプローチに対して異なる課題を提示している。 さらに、デファクト自己回帰変換器は、固有の不確実性を見落とし、物理的制約の統合を欠きながら、事前訓練されたデータ内の決定論的時間的依存関係を学習する傾向にある。 本稿では,変換器に基づく時間依存性学習と拡散に基づく確率的サンプリングを相乗的に組み合わせた拡散変圧器モデルであるTimeDiTを紹介する。 TimeDiTは、様々なタスクにわたるトレーニングと推論プロセスを調和させると同時に、サンプリング中に外部知識の柔軟な統合を可能にする理論的に根拠のない微調整のないモデル編集戦略を導入するために、統一的なマスキング機構を採用している。 一つのモデルの下で複数の下流タスクを統合することの課題を認識し、系統的評価は、基本的なタスク、すなわち予測と計算、ゼロショット/ファインチューニング、ドメインタスク、すなわちマルチレゾリューション予測、異常検出、データ生成においてTimeDiTの有効性を実証し、汎用モデルとドメイン固有モデルのギャップを埋める \textit{proto-foundation model} として確立する。

関連論文リスト

• ODEStream: A Buffer-Free Online Learning Framework with ODE-based Adaptor for Streaming Time Series Forecasting [11.261457967759688]
  ODEStreamはバッファフリーの継続的学習フレームワークで、データに時間的依存関係を統合する時間的分離レイヤを備えている。 提案手法は,履歴データの動的および分布が時間とともにどのように変化するかを学ぶことに焦点を当て,ストリーミングシーケンスの直接処理を容易にする。 ベンチマーク実世界のデータセットによる評価は、ODEStreamが最先端のオンライン学習とストリーミング分析のベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-11-11T22:36:33Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
  本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T17:39:44Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
  本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
  論文  参考訳（メタデータ） (2023-10-08T00:02:25Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• TFAD: A Decomposition Time Series Anomaly Detection Architecture with Time-Frequency Analysis [12.867257563413972]
  時系列異常検出は、複雑な時間的依存と限られたラベルデータのために難しい問題である。 本稿では,時間領域と周波数領域の両方を利用した時間周波数解析に基づく時系列異常検出モデル(TFAD)を提案する。
  論文  参考訳（メタデータ） (2022-10-18T09:08:57Z)
• Heteroscedastic Temporal Variational Autoencoder For Irregular Time Series [15.380441563675243]
  HeTVAE(Heteroscedastic Temporal Variational Autoencoder)と呼ばれる不規則サンプル時系列のための新しいディープラーニングフレームワークを提案する。 HeTVAEは、入力観察間隔に関する情報を符号化する新しい入力層と、入力間隔による不確かさを伝播する時間的VAEアーキテクチャと、変数による出力の不確実性を可能にするヘテロセダスティック出力層とを含む。 提案したアーキテクチャは,近年提案された潜時変動モデルと同様に,時間スパースおよび不規則サンプリングによる変動不確かさを,ベースラインや従来のモデルよりもよく反映できることを示す。
  論文  参考訳（メタデータ） (2021-07-23T16:59:21Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。