Fugu-MT 論文翻訳(概要): Diffusion Auto-regressive Transformer for Effective Self-supervised Time Series Forecasting

論文の概要: Diffusion Auto-regressive Transformer for Effective Self-supervised Time Series Forecasting

arxiv url: http://arxiv.org/abs/2410.05711v1
Date: Tue, 8 Oct 2024 06:08:33 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 13:19:50.175022
Title: Diffusion Auto-regressive Transformer for Effective Self-supervised Time Series Forecasting
Title（参考訳）: 自己教師型時系列予測のための拡散自己回帰変換器
Authors: Daoyu Wang, Mingyue Cheng, Zhiding Liu, Qi Liu, Enhong Chen,
Abstract要約: 我々はTimeDARTと呼ばれる新しい自己管理手法を提案する。 TimeDARTは、時系列データ内のグローバルシーケンス依存とローカル詳細特徴の両方をキャプチャする。私たちのコードはhttps://github.com/Melmaphother/TimeDART.comで公開されています。
参考スコア（独自算出の注目度）: 47.58016750718323
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Self-supervised learning has become a popular and effective approach for enhancing time series forecasting, enabling models to learn universal representations from unlabeled data. However, effectively capturing both the global sequence dependence and local detail features within time series data remains challenging. To address this, we propose a novel generative self-supervised method called TimeDART, denoting Diffusion Auto-regressive Transformer for Time series forecasting. In TimeDART, we treat time series patches as basic modeling units. Specifically, we employ an self-attention based Transformer encoder to model the dependencies of inter-patches. Additionally, we introduce diffusion and denoising mechanisms to capture the detail locality features of intra-patch. Notably, we design a cross-attention-based denoising decoder that allows for adjustable optimization difficulty in the self-supervised task, facilitating more effective self-supervised pre-training. Furthermore, the entire model is optimized in an auto-regressive manner to obtain transferable representations. Extensive experiments demonstrate that TimeDART achieves state-of-the-art fine-tuning performance compared to the most advanced competitive methods in forecasting tasks. Our code is publicly available at https://github.com/Melmaphother/TimeDART.
Abstract（参考訳）: 自己教師付き学習は、ラベルのないデータから普遍的な表現を学習できる時系列予測の強化に人気があり、効果的なアプローチとなっている。しかし,グローバルシーケンス依存と時系列データ内の局所的詳細特徴の両方を効果的に捉えることは困難である。そこで本研究では,時系列予測のための拡散自己回帰変換器を記述した,TimeDARTと呼ばれる新たな自己制御手法を提案する。 TimeDARTでは、時系列パッチを基本的なモデリング単位として扱う。具体的には、パッチ間の依存関係をモデル化するために、自己アテンションベースのTransformerエンコーダを用いる。さらに, パッチ内における局所性の特徴を詳細に把握するための拡散・復調機構を導入する。特に、自己教師付きタスクにおいて、調整可能な最適化難易度を実現し、より効果的な自己教師付き事前訓練を容易にする、横断的注意に基づく復号化デコーダを設計する。さらに、モデル全体が自動回帰的に最適化され、転送可能な表現が得られる。大規模な実験により、TimeDARTはタスク予測における最も先進的な競合手法と比較して最先端の微調整性能を達成することが示された。私たちのコードはhttps://github.com/Melmaphother/TimeDART.comで公開されています。

関連論文リスト

TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model [11.281386703572842]
時間的自己回帰生成型トランスフォーマーアーキテクチャを利用するモデル群が開発されている。 TimeDiTは時系列の一般的な基礎モデルであり、時間的自己回帰生成の代わりにデノナイジング拡散パラダイムを用いる。 TimeDiTの有効性を実証するために,予測,計算,異常検出などのタスクの多種多様な実験を行った。
論文参考訳（メタデータ） (2024-09-03T22:31:57Z)
sTransformer: A Modular Approach for Extracting Inter-Sequential and Temporal Information for Time-Series Forecasting [6.434378359932152]
既存のTransformerベースのモデルを,(1)モデル構造の変更,(2)入力データの変更の2つのタイプに分類する。我々は、シーケンシャル情報と時間情報の両方をフルにキャプチャするSequence and Temporal Convolutional Network(STCN)を導入する$textbfsTransformer$を提案する。我々は,線形モデルと既存予測モデルとを長期時系列予測で比較し,新たな成果を得た。
論文参考訳（メタデータ） (2024-08-19T06:23:41Z)
Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
多くの実用化には時系列予測が不可欠である。トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
論文参考訳（メタデータ） (2024-02-08T03:00:50Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
論文参考訳（メタデータ） (2024-01-06T06:26:49Z)
Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。 KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
論文参考訳（メタデータ） (2023-10-04T07:14:43Z)
TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
論文参考訳（メタデータ） (2023-03-01T08:33:16Z)
Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
論文参考訳（メタデータ） (2023-01-21T03:20:23Z)
Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文参考訳（メタデータ） (2023-01-05T13:59:29Z)
Large Scale Time-Series Representation Learning via Simultaneous Low and High Frequency Feature Bootstrapping [7.0064929761691745]
本稿では,非コントラスト型自己教師型学習手法を提案する。提案手法は生の時系列データを入力として、モデルの2つのブランチに対して2つの異なる拡張ビューを生成する。モデルの堅牢性を実証するために,5つの実世界の時系列データセットに関する広範な実験とアブレーション研究を行った。
論文参考訳（メタデータ） (2022-04-24T14:39:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。