論文の概要: MSDformer: Multi-scale Discrete Transformer For Time Series Generation

• arxiv url: http://arxiv.org/abs/2505.14202v1
• Date: Tue, 20 May 2025 11:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.082077
• Title: MSDformer: Multi-scale Discrete Transformer For Time Series Generation
• Title（参考訳）: MSDformer: 時系列生成のためのマルチスケール離散変換器
• Authors: Zhicheng Chen, Shibo Feng, Xi Xiao, Zhong Zhang, Qing Li, Xingyu Gao, Peilin Zhao,
• Abstract要約: マルチスケール離散変換器(MSDformer)と呼ばれる,マルチスケールDTMに基づく時系列生成手法を提案する。 MSDformerは、複数のスケールで離散トークン表現を学習するために、マルチスケールの時系列トークンーを使用しており、時系列データの複雑な性質を共同で特徴づけている。 実験により、MSDformerは最先端の手法よりも大幅に優れていることが示された。
• 参考スコア（独自算出の注目度）: 34.850082388835034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete Token Modeling (DTM), which employs vector quantization techniques, has demonstrated remarkable success in modeling non-natural language modalities, particularly in time series generation. While our prior work SDformer established the first DTM-based framework to achieve state-of-the-art performance in this domain, two critical limitations persist in existing DTM approaches: 1) their inability to capture multi-scale temporal patterns inherent to complex time series data, and 2) the absence of theoretical foundations to guide model optimization. To address these challenges, we proposes a novel multi-scale DTM-based time series generation method, called Multi-Scale Discrete Transformer (MSDformer). MSDformer employs a multi-scale time series tokenizer to learn discrete token representations at multiple scales, which jointly characterize the complex nature of time series data. Subsequently, MSDformer applies a multi-scale autoregressive token modeling technique to capture the multi-scale patterns of time series within the discrete latent space. Theoretically, we validate the effectiveness of the DTM method and the rationality of MSDformer through the rate-distortion theorem. Comprehensive experiments demonstrate that MSDformer significantly outperforms state-of-the-art methods. Both theoretical analysis and experimental results demonstrate that incorporating multi-scale information and modeling multi-scale patterns can substantially enhance the quality of generated time series in DTM-based approaches. The code will be released upon acceptance.
• Abstract（参考訳）: ベクトル量子化技術を用いた離散トークンモデリング(DTM)は,特に時系列生成において,非自然な言語モーダルのモデル化において顕著な成功を収めている。 私たちの以前の作業であるSDformerは、このドメインで最先端のパフォーマンスを実現するための最初のDTMベースのフレームワークを確立しましたが、既存のDTMアプローチでは2つの重要な制限が続きます。 1)複雑な時系列データに固有のマルチスケールの時間パターンをキャプチャできないこと、 2)モデル最適化を導く理論的基礎が存在しないこと。 これらの課題に対処するため,Multi-Scale Discrete Transformer (MSDformer) と呼ばれるマルチスケールDTMベースの時系列生成手法を提案する。 MSDformerは、複数のスケールで離散トークン表現を学習するために、マルチスケールの時系列トークンーを使用しており、時系列データの複雑な性質を共同で特徴づけている。 その後、MSDformerは、離散潜在空間内の時系列のマルチスケールパターンをキャプチャするために、マルチスケールの自動回帰トークンモデリング技術を適用した。 理論的には、DTM法の有効性とMSDformerの合理性は、速度歪み定理を用いて検証する。 総合的な実験により、MSDformerは最先端の手法を大きく上回っていることが示された。 理論的解析と実験の結果から,マルチスケール情報の導入とマルチスケールパターンのモデリングにより,DTMに基づく手法で生成した時系列の品質を大幅に向上できることが示された。 コードは受理時にリリースされます。

関連論文リスト

• Continual Multimodal Contrastive Learning [70.60542106731813]
  マルチモーダル・コントラッシブ・ラーニング(MCL)は、異なるモーダルを整列させ、関節空間で多モーダル表現を生成する。 マルチモーダルデータは単一のプロセスで収集されることはめったになく、スクラッチからのトレーニングは計算コストがかかる。 本稿では, 安定性と塑性の2つの原理によりCMCLを定式化する。 理論的には、二辺から部分空間への勾配の更新を計画する、新しい最適化に基づく手法を導出する。
  論文  参考訳（メタデータ） (2025-03-19T07:57:08Z)
• TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model [11.281386703572842]
  TimeDiTは時間依存性学習と確率的サンプリングを組み合わせた拡散トランスフォーマーモデルである。 TimeDiTは、さまざまなタスクにわたるトレーニングと推論プロセスを調和させるために、統一的なマスキングメカニズムを採用している。 我々の体系的評価は、ゼロショット/ファインチューニングによる予測と計算という基本的なタスクにおいて、TimeDiTの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-03T22:31:57Z)
• LTSM-Bundle: A Toolbox and Benchmark on Large Language Models for Time Series Forecasting [69.33802286580786]
  LTSM-Bundleは総合的なツールボックスであり、LTSMをトレーニングするためのベンチマークである。 複数の次元からLTSMをモジュール化し、ベンチマークし、プロンプト戦略、トークン化アプローチ、ベースモデルの選択、データ量、データセットの多様性を含む。 実験により、この組み合わせは最先端のLTSMや従来のTSF法と比較して、ゼロショットと少数ショットのパフォーマンスが優れていることが示された。
  論文  参考訳（メタデータ） (2024-06-20T07:09:19Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models [5.37935922811333]
  State Space Models (SSM) は、一変量時系列モデリングのための古典的なアプローチである。 本稿では、2つの入力依存型2次元SSMヘッドと異なる離散化プロセスを用いて長期進行と季節パターンを学習するチメラについて述べる。 実験により,広範囲で多様なベンチマークにおいて,Chimeraの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-06T17:58:09Z)
• Multitask Learning for Time Series Data with 2D Convolution [32.72419542473646]
  マルチタスク学習(MTL)は、密接に関連する一連のタスクを同時に処理できる統一モデルを開発することを目的としている。 本稿では,MTLの時系列分類問題への適用について検討する。 現状の1D畳み込みモデルとMLLを統合した場合,RTCモデルの性能は実際に低下することを示す。
  論文  参考訳（メタデータ） (2023-10-05T22:00:17Z)
• Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
  野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。 本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
  論文  参考訳（メタデータ） (2022-09-01T10:46:09Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Variational Dynamic Mixtures [18.730501689781214]
  逐次潜伏変数を推定するための変分動的混合(VDM)を開発した。 実証実験により、VDMは、高マルチモーダルデータセットにおける競合するアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-20T16:10:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。