論文の概要: Delayformer: spatiotemporal transformation for predicting high-dimensional dynamics

• arxiv url: http://arxiv.org/abs/2506.11528v1
• Date: Fri, 13 Jun 2025 07:30:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.6939
• Title: Delayformer: spatiotemporal transformation for predicting high-dimensional dynamics
• Title（参考訳）: Delayformer:高次元ダイナミクス予測のための時空間変換
• Authors: Zijian Wang, Peng Tao, Luonan Chen,
• Abstract要約: Delayformerは、すべての変数の動的を同時に予測するためのフレームワークである。 動的システムの観点から、Delayformerは個々の変数ではなくシステム状態を予測する。 Delayformerは、合成データセットと実世界のデータセットの両方でのタスクの予測において、現在の最先端メソッドよりも優れています。
• 参考スコア（独自算出の注目度）: 4.984442247236504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predicting time-series is of great importance in various scientific and engineering fields. However, in the context of limited and noisy data, accurately predicting dynamics of all variables in a high-dimensional system is a challenging task due to their nonlinearity and also complex interactions. Current methods including deep learning approaches often perform poorly for real-world systems under such circumstances. This study introduces the Delayformer framework for simultaneously predicting dynamics of all variables, by developing a novel multivariate spatiotemporal information (mvSTI) transformation that makes each observed variable into a delay-embedded state (vector) and further cross-learns those states from different variables. From dynamical systems viewpoint, Delayformer predicts system states rather than individual variables, thus theoretically and computationally overcoming such nonlinearity and cross-interaction problems. Specifically, it first utilizes a single shared Visual Transformer (ViT) encoder to cross-represent dynamical states from observed variables in a delay embedded form and then employs distinct linear decoders for predicting next states, i.e. equivalently predicting all original variables parallelly. By leveraging the theoretical foundations of delay embedding theory and the representational capabilities of Transformers, Delayformer outperforms current state-of-the-art methods in forecasting tasks on both synthetic and real-world datasets. Furthermore, the potential of Delayformer as a foundational time-series model is demonstrated through cross-domain forecasting tasks, highlighting its broad applicability across various scenarios.
• Abstract（参考訳）: 時系列の予測は、様々な科学・工学分野において非常に重要である。 しかし、制限付きノイズの多いデータでは、高次元系の全ての変数の力学を正確に予測することは、その非線形性や複雑な相互作用のために難しい課題である。 ディープラーニングアプローチを含む現在の手法は、そのような状況下では現実のシステムでは不十分であることが多い。 本研究では,各変数を遅延埋め込み状態 (vector) に変換する新しい多変量時空間情報 (mvSTI) 変換を開発し,各変数の動的特性を同時に予測するDelayformerフレームワークを提案する。 動的システムの観点から、Delayformerは個々の変数ではなくシステム状態を予測する。 具体的には、まず単一の共有Visual Transformer (ViT)エンコーダを使用して、遅延埋め込み形式で観察された変数から動的状態を相互に表現し、次に別の線形デコーダを用いて次の状態を予測する。 遅延埋め込み理論の理論的基礎とトランスフォーマーの表現能力を活用することで、Delayformerは、合成データセットと実世界のデータセットの両方でタスクを予測する現在の最先端の手法より優れている。 さらに、Delayformerの基本的な時系列モデルとしての可能性は、ドメイン間予測タスクを通じて示され、様々なシナリオにまたがる幅広い適用性を強調している。

関連論文リスト

• Spatio-temporal Fourier Transformer (StFT) for Long-term Dynamics Prediction [13.502705948250359]
  マルチスケールおよびマルチ物理システムの長期的ダイナミクスのシミュレーションは、科学と工学において大きな課題となる。 ニューラル演算子は、その柔軟性と計算効率のために、そのようなダイナミクスを予測するための有望なモデルとして登場した。 本稿では,予測の不確実性を推定・緩和し,長期予測の精度と信頼性を高めるための生成残差補正機構を提案する。
  論文  参考訳（メタデータ） (2025-03-14T22:04:03Z)
• Dynamical Diffusion: Learning Temporal Dynamics with Diffusion Models [71.63194926457119]
  動的拡散(DyDiff, Dynamical Diffusion)は, 時間的に意識された前と逆のプロセスを含む理論的に健全なフレームワークである。 科学的時間的予測、ビデオ予測、時系列予測に関する実験は、動的拡散が時間的予測タスクのパフォーマンスを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2025-03-02T16:10:32Z)
• EDformer: Embedded Decomposition Transformer for Interpretable Multivariate Time Series Predictions [4.075971633195745]
  本稿では,時系列予測タスクのための組込みトランス「EDformer」を提案する。 基本要素を変更することなく、Transformerアーキテクチャを再利用し、その構成部品の有能な機能について検討する。 このモデルは、複雑な実世界の時系列データセットの精度と効率の観点から、最先端の予測結果を得る。
  論文  参考訳（メタデータ） (2024-12-16T11:13:57Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model [11.281386703572842]
  TimeDiTは時間依存性学習と確率的サンプリングを組み合わせた拡散トランスフォーマーモデルである。 TimeDiTは、さまざまなタスクにわたるトレーニングと推論プロセスを調和させるために、統一的なマスキングメカニズムを採用している。 我々の体系的評価は、ゼロショット/ファインチューニングによる予測と計算という基本的なタスクにおいて、TimeDiTの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-03T22:31:57Z)
• TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables [75.83318701911274]
  TimeXerは外部情報を取り込み、内因性変数の予測を強化する。 TimeXerは、12の現実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-29T11:54:35Z)
• Modulated Neural ODEs [32.2290908839375]
  変動の静的因子から動的状態を分離する新しいフレームワークであるModulated Neural ODEs (MoNODEs)を紹介する。 振動系,ビデオおよび人間の歩行軌跡でMoNODEを試験し,各軌跡に軌跡特異的な変調が認められた。
  論文  参考訳（メタデータ） (2023-02-26T08:26:01Z)
• Temporal Tensor Transformation Network for Multivariate Time Series Prediction [1.2354076490479515]
  本稿では,時間変換ネットワーク(Temporal Transformation Network)と呼ばれる新しいディープラーニングアーキテクチャを提案する。 これにより、元の多変量時系列の新しい表現が得られ、畳み込みカーネルは、比較的大きな時間領域からの可変相互作用信号だけでなく、複雑で非線形な特徴を抽出することができる。 実験結果から、時間変換ネットワークは、様々なタスクにわたるウィンドウベースの予測において、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-01-04T07:28:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。