論文の概要: UTSD: Unified Time Series Diffusion Model

• arxiv url: http://arxiv.org/abs/2412.03068v1
• Date: Wed, 04 Dec 2024 06:42:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:09:35.059855
• Title: UTSD: Unified Time Series Diffusion Model
• Title（参考訳）: UTSD:統一時系列拡散モデル
• Authors: Xiangkai Ma, Xiaobin Hong, Wenzhong Li, Sanglu Lu,
• Abstract要約: 多領域確率分布をモデル化するために、初めて統一時系列拡散モデルを確立する。 我々は、主要なベンチマークで広範な実験を行い、事前訓練されたUTSDは、すべてのデータドメインにおける既存の基礎モデルより優れています。
• 参考スコア（独自算出の注目度）: 13.555837288440946
• License:
• Abstract: Transformer-based architectures have achieved unprecedented success in time series analysis. However, facing the challenge of across-domain modeling, existing studies utilize statistical prior as prompt engineering fails under the huge distribution shift among various domains. In this paper, a Unified Time Series Diffusion (UTSD) model is established for the first time to model the multi-domain probability distribution, utilizing the powerful probability distribution modeling ability of Diffusion. Unlike the autoregressive models that capture the conditional probabilities of the prediction horizon to the historical sequence, we use a diffusion denoising process to model the mixture distribution of the cross-domain data and generate the prediction sequence for the target domain directly utilizing conditional sampling. The proposed UTSD contains three pivotal designs: (1) The condition network captures the multi-scale fluctuation patterns from the observation sequence, which are utilized as context representations to guide the denoising network to generate the prediction sequence; (2) Adapter-based fine-tuning strategy, the multi-domain universal representation learned in the pretraining stage is utilized for downstream tasks in target domains; (3) The diffusion and denoising process on the actual sequence space, combined with the improved classifier free guidance as the conditional generation strategy, greatly improves the stability and accuracy of the downstream task. We conduct extensive experiments on mainstream benchmarks, and the pre-trained UTSD outperforms existing foundation models on all data domains, exhibiting superior zero-shot generalization ability. After training from scratch, UTSD achieves comparable performance against domain-specific proprietary models. The empirical results validate the potential of UTSD as a time series foundational model.
• Abstract（参考訳）: トランスフォーマーベースのアーキテクチャは、時系列解析において前例のない成功を収めた。 しかし、ドメイン間モデリングの課題に直面した既存研究では、各ドメイン間の大きな分散シフトの下では、迅速なエンジニアリングが失敗するため、統計的に先行している。 本稿では、拡散の強力な確率分布モデリング能力を利用して、多領域確率分布をモデル化する統一時系列拡散(UTSD)モデルを初めて確立する。 予測地平線から履歴シーケンスへの条件付き確率をキャプチャする自己回帰モデルとは異なり、拡散復調法を用いてクロスドメインデータの混合分布をモデル化し、条件付きサンプリングを直接利用してターゲットドメインの予測シーケンスを生成する。 提案したUTSD は,(1) 条件ネットワークが観測シーケンスからマルチスケール変動パターンをキャプチャし,予測シーケンスを生成するためのコンテキスト表現として利用する,(2) 適応型微調整戦略,(2) 事前学習段階で学習した多元的普遍表現を,目標領域の下流タスクに活用する,(3) 実列空間上での拡散・復調処理と,条件生成戦略として改良されたクラス化フリーガイダンスを併用することにより,下流タスクの安定性と精度を大幅に向上する,という3つの重要な設計を含む。 我々は、主要なベンチマークで広範な実験を行い、事前訓練されたUTSDは、すべてのデータ領域における既存の基礎モデルよりも優れたゼロショット一般化能力を示す。 スクラッチからトレーニングした後、UTSDはドメイン固有のプロプライエタリモデルに対して同等のパフォーマンスを達成する。 実験により,UTSDの時系列基礎モデルとしての可能性を検証した。

関連論文リスト

• On conditional diffusion models for PDE simulations [53.01911265639582]
  スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。 本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。 また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:31:04Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model [11.281386703572842]
  時間的自己回帰生成型トランスフォーマーアーキテクチャを利用するモデル群が開発されている。 TimeDiTは時系列の一般的な基礎モデルであり、時間的自己回帰生成の代わりにデノナイジング拡散パラダイムを用いる。 TimeDiTの有効性を実証するために,予測,計算,異常検出などのタスクの多種多様な実験を行った。
  論文  参考訳（メタデータ） (2024-09-03T22:31:57Z)
• Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
  拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。 因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
  論文  参考訳（メタデータ） (2024-07-01T15:43:25Z)
• Transfer Learning for Diffusion Models [43.10840361752551]
  拡散モデルは高品質な合成サンプルを一貫して生成する。 コレクションコストや関連するリスクのため、現実のアプリケーションでは実用的ではありません。 本稿では,従来の微調整法や正規化法とは異なる新しいアプローチであるTransfer Guided Diffusion Process (TGDP)を紹介する。
  論文  参考訳（メタデータ） (2024-05-27T06:48:58Z)
• MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided Learning Process [26.661721555671626]
  本稿では,最先端の予測性能を実現する新しい多粒度時系列(MG-TSD)モデルを提案する。 われわれのアプローチは外部データに頼らず、様々な領域にまたがって汎用的で適用可能である。
  論文  参考訳（メタデータ） (2024-03-09T01:15:03Z)
• Exploiting Diffusion Prior for Generalizable Dense Prediction [85.4563592053464]
  近年のテキスト・トゥ・イメージ(T2I)拡散モデルでは、既成の高密度予測器では予測できないことがある。 我々は,事前学習したT2Iモデルを用いたパイプラインDMPを,高密度予測タスクの先駆けとして導入する。 限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:44Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Predict, Refine, Synthesize: Self-Guiding Diffusion Models for Probabilistic Time Series Forecasting [10.491628898499684]
  時系列の非条件学習拡散モデルであるTSDiffを提案する。 提案する自己誘導機構により、補助的ネットワークやトレーニング手順の変更を必要とせず、推論中に下流タスクに対してTSDiffを条件付けることができる。 本研究では,予測,改良,合成データ生成という3つの時系列タスクにおいて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-07-21T10:56:36Z)
• Latent Autoregressive Source Separation [5.871054749661012]
  本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。 分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
  論文  参考訳（メタデータ） (2023-01-09T17:32:00Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。