論文の概要: Diffusion Auto-regressive Transformer for Effective Self-supervised Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2410.05711v1
• Date: Tue, 8 Oct 2024 06:08:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 13:19:50.175022
• Title: Diffusion Auto-regressive Transformer for Effective Self-supervised Time Series Forecasting
• Title（参考訳）: 自己教師型時系列予測のための拡散自己回帰変換器
• Authors: Daoyu Wang, Mingyue Cheng, Zhiding Liu, Qi Liu, Enhong Chen,
• Abstract要約: 我々はTimeDARTと呼ばれる新しい自己管理手法を提案する。 TimeDARTは、時系列データ内のグローバルシーケンス依存とローカル詳細特徴の両方をキャプチャする。 私たちのコードはhttps://github.com/Melmaphother/TimeDART.comで公開されています。
• 参考スコア（独自算出の注目度）: 47.58016750718323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning has become a popular and effective approach for enhancing time series forecasting, enabling models to learn universal representations from unlabeled data. However, effectively capturing both the global sequence dependence and local detail features within time series data remains challenging. To address this, we propose a novel generative self-supervised method called TimeDART, denoting Diffusion Auto-regressive Transformer for Time series forecasting. In TimeDART, we treat time series patches as basic modeling units. Specifically, we employ an self-attention based Transformer encoder to model the dependencies of inter-patches. Additionally, we introduce diffusion and denoising mechanisms to capture the detail locality features of intra-patch. Notably, we design a cross-attention-based denoising decoder that allows for adjustable optimization difficulty in the self-supervised task, facilitating more effective self-supervised pre-training. Furthermore, the entire model is optimized in an auto-regressive manner to obtain transferable representations. Extensive experiments demonstrate that TimeDART achieves state-of-the-art fine-tuning performance compared to the most advanced competitive methods in forecasting tasks. Our code is publicly available at https://github.com/Melmaphother/TimeDART.
• Abstract（参考訳）: 自己教師付き学習は、ラベルのないデータから普遍的な表現を学習できる時系列予測の強化に人気があり、効果的なアプローチとなっている。 しかし,グローバルシーケンス依存と時系列データ内の局所的詳細特徴の両方を効果的に捉えることは困難である。 そこで本研究では,時系列予測のための拡散自己回帰変換器を記述した,TimeDARTと呼ばれる新たな自己制御手法を提案する。 TimeDARTでは、時系列パッチを基本的なモデリング単位として扱う。 具体的には、パッチ間の依存関係をモデル化するために、自己アテンションベースのTransformerエンコーダを用いる。 さらに, パッチ内における局所性の特徴を詳細に把握するための拡散・復調機構を導入する。 特に、自己教師付きタスクにおいて、調整可能な最適化難易度を実現し、より効果的な自己教師付き事前訓練を容易にする、横断的注意に基づく復号化デコーダを設計する。 さらに、モデル全体が自動回帰的に最適化され、転送可能な表現が得られる。 大規模な実験により、TimeDARTはタスク予測における最も先進的な競合手法と比較して最先端の微調整性能を達成することが示された。 私たちのコードはhttps://github.com/Melmaphother/TimeDART.comで公開されています。

関連論文リスト

• Score as Action: Fine-Tuning Diffusion Generative Models by Continuous-time Reinforcement Learning [9.025671446527694]
  人間のフィードバックからの強化学習(RLHF)は、信頼できる生成AIモデルを構築する上で重要なステップとなっている。 本研究は、連続時間RLを用いた微動拡散モデルに対する規律付きアプローチを開発することを目的とする。
  論文  参考訳（メタデータ） (2025-02-03T20:50:05Z)
• WaveGNN: Modeling Irregular Multivariate Time Series for Accurate Predictions [3.489870763747715]
  実世界の時系列は、しばしば不整合タイムスタンプ、欠落したエントリ、可変サンプリングレートなどの不規則性を示す。 既存のアプローチは、しばしばバイアスを生じさせる計算に頼っている。 本稿では,不規則にサンプリングされた時系列データを埋め込んで正確な予測を行う新しいフレームワークWaveGNNを提案する。
  論文  参考訳（メタデータ） (2024-12-14T00:03:44Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
  TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。 提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。 我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
  論文  参考訳（メタデータ） (2024-01-06T06:26:49Z)
• Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
  モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。 クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。 KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
  論文  参考訳（メタデータ） (2023-10-04T07:14:43Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
  野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。 本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
  論文  参考訳（メタデータ） (2022-09-01T10:46:09Z)
• Large Scale Time-Series Representation Learning via Simultaneous Low and High Frequency Feature Bootstrapping [7.0064929761691745]
  本稿では,非コントラスト型自己教師型学習手法を提案する。 提案手法は生の時系列データを入力として、モデルの2つのブランチに対して2つの異なる拡張ビューを生成する。 モデルの堅牢性を実証するために,5つの実世界の時系列データセットに関する広範な実験とアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-04-24T14:39:47Z)
• Stacking VAE with Graph Neural Networks for Effective and Interpretable Time Series Anomaly Detection [5.935707085640394]
  本研究では,実効かつ解釈可能な時系列異常検出のための,グラフニューラルネットワークを用いた自動エンコーダ(VAE)モデルを提案する。 我々は,提案モデルが3つの公開データセットの強いベースラインを上回っており,大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T09:50:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。