論文の概要: MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided
Learning Process
- arxiv url: http://arxiv.org/abs/2403.05751v1
- Date: Sat, 9 Mar 2024 01:15:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 12:42:43.839074
- Title: MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided
Learning Process
- Title(参考訳): MG-TSD:ガイド付き学習プロセスによる多粒度時系列拡散モデル
- Authors: Xinyao Fan, Yueying Wu, Chang Xu, Yuhao Huang, Weiqing Liu, Jiang Bian
- Abstract要約: 本稿では,最先端の予測性能を実現する新しい多粒度時系列(MG-TSD)モデルを提案する。
われわれのアプローチは外部データに頼らず、様々な領域にまたがって汎用的で適用可能である。
- 参考スコア(独自算出の注目度): 28.251181984023205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, diffusion probabilistic models have attracted attention in
generative time series forecasting due to their remarkable capacity to generate
high-fidelity samples. However, the effective utilization of their strong
modeling ability in the probabilistic time series forecasting task remains an
open question, partially due to the challenge of instability arising from their
stochastic nature. To address this challenge, we introduce a novel
Multi-Granularity Time Series Diffusion (MG-TSD) model, which achieves
state-of-the-art predictive performance by leveraging the inherent granularity
levels within the data as given targets at intermediate diffusion steps to
guide the learning process of diffusion models. The way to construct the
targets is motivated by the observation that the forward process of the
diffusion model, which sequentially corrupts the data distribution to a
standard normal distribution, intuitively aligns with the process of smoothing
fine-grained data into a coarse-grained representation, both of which result in
a gradual loss of fine distribution features. In the study, we derive a novel
multi-granularity guidance diffusion loss function and propose a concise
implementation method to effectively utilize coarse-grained data across various
granularity levels. More importantly, our approach does not rely on additional
external data, making it versatile and applicable across various domains.
Extensive experiments conducted on real-world datasets demonstrate that our
MG-TSD model outperforms existing time series prediction methods.
- Abstract(参考訳): 近年, 拡散確率モデルは, 高忠実度サンプルの生成能力に優れ, 時系列予測に注目が集まっている。
しかし,確率的時系列予測タスクにおける強力なモデリング能力の有効利用は,確率的性質から生じる不安定性の問題もあって,未解決の問題が残る。
この課題に対処するために,中間拡散ステップで与えられたデータ内の固有の粒度レベルを活用して,拡散モデルの学習プロセスを導くことにより,最先端の予測性能を実現する,新たな多粒度時系列拡散(mg-tsd)モデルを提案する。
ターゲットを構築する方法は、データ分布を標準正規分布に順次破壊する拡散モデルの前方過程が、細粒度データを粗粒度表現に平滑化する過程と直感的に一致し、両者とも微粒度分布特性の段階的損失をもたらすという観察によって動機付けられたものである。
本研究では,新しい多粒性誘導拡散損失関数を導出し,様々な粒度レベルの粗粒データを効果的に活用するための簡潔な実装法を提案する。
さらに重要なことは、私たちのアプローチは追加の外部データに依存しないので、様々なドメインにまたがって汎用的で適用できます。
我々のMG-TSDモデルが既存の時系列予測法より優れていることを示す。
関連論文リスト
- Diffusion Models Trained with Large Data Are Transferable Visual Models [51.9937114613558]
そこで本研究では,適度な量の目標データを用いて,基本的な視覚知覚タスクにおいて顕著な伝達性能を実現することができることを示す。
結果は、様々なタスクや実世界のデータセットにまたがる拡散モデルのバックボーンの顕著な転送可能性を示している。
論文 参考訳(メタデータ) (2024-03-10T04:23:24Z) - Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳(メタデータ) (2024-02-15T18:59:18Z) - Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳(メタデータ) (2024-02-12T22:26:52Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in
Influence Estimation [58.20016784231991]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳(メタデータ) (2024-01-17T07:58:18Z) - Expanding Expressiveness of Diffusion Models with Limited Data via
Self-Distillation based Fine-Tuning [24.791783885165923]
限られたデータセット上での拡散モデルの訓練は、限られた生成能力と表現性の観点から問題を引き起こす。
これらの課題に対処するために、SDFT(Self-Distillation for Fine-Tuning diffusion model)を提案する。
論文 参考訳(メタデータ) (2023-11-02T06:24:06Z) - Predict, Refine, Synthesize: Self-Guiding Diffusion Models for
Probabilistic Time Series Forecasting [10.491628898499684]
時系列の非条件学習拡散モデルであるTSDiffを提案する。
提案する自己誘導機構により、補助的ネットワークやトレーニング手順の変更を必要とせず、推論中に下流タスクに対してTSDiffを条件付けることができる。
本研究では,予測,改良,合成データ生成という3つの時系列タスクにおいて,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-07-21T10:56:36Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-21T18:49:22Z) - DYffusion: A Dynamics-informed Diffusion Model for Spatiotemporal
Forecasting [18.86526240105348]
本稿では,確率的予測のための拡散モデルを効率的に訓練する手法を提案する。
我々は,標準拡散モデルの前方および逆過程を模倣する時間条件補間器と予測器ネットワークを訓練する。
本手法は, 海面温度, ナビエ-ストークス流, および湧水系の複雑な力学の確率論的予測を競合的に行う。
論文 参考訳(メタデータ) (2023-06-03T02:46:31Z) - Diff-Instruct: A Universal Approach for Transferring Knowledge From
Pre-trained Diffusion Models [77.83923746319498]
本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。
Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。
GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
論文 参考訳(メタデータ) (2023-05-29T04:22:57Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳(メタデータ) (2023-01-19T09:48:07Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳(メタデータ) (2022-09-06T16:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。