論文の概要: ContiFormer: Continuous-Time Transformer for Irregular Time Series Modeling

• arxiv url: http://arxiv.org/abs/2402.10635v1
• Date: Fri, 16 Feb 2024 12:34:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 16:29:11.598216
• Title: ContiFormer: Continuous-Time Transformer for Irregular Time Series Modeling
• Title（参考訳）: ContiFormer: 不規則時系列モデリングのための連続時間変換器
• Authors: Yuqi Chen, Kan Ren, Yansen Wang, Yuchen Fang, Weiwei Sun, Dongsheng Li
• Abstract要約: 不規則な時系列上の連続時間ダイナミクスのモデリングは、連続的に発生するデータの進化と相関を考慮するために重要である。 リカレントニューラルネットワークやTransformerモデルを含む従来の方法は、強力なニューラルネットワークを通じて誘導バイアスを利用して複雑なパターンをキャプチャする。 本稿では,バニラ変換器の関係モデリングを連続時間領域に拡張するContiFormerを提案する。
• 参考スコア（独自算出の注目度）: 30.12824131306359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling continuous-time dynamics on irregular time series is critical to account for data evolution and correlations that occur continuously. Traditional methods including recurrent neural networks or Transformer models leverage inductive bias via powerful neural architectures to capture complex patterns. However, due to their discrete characteristic, they have limitations in generalizing to continuous-time data paradigms. Though neural ordinary differential equations (Neural ODEs) and their variants have shown promising results in dealing with irregular time series, they often fail to capture the intricate correlations within these sequences. It is challenging yet demanding to concurrently model the relationship between input data points and capture the dynamic changes of the continuous-time system. To tackle this problem, we propose ContiFormer that extends the relation modeling of vanilla Transformer to the continuous-time domain, which explicitly incorporates the modeling abilities of continuous dynamics of Neural ODEs with the attention mechanism of Transformers. We mathematically characterize the expressive power of ContiFormer and illustrate that, by curated designs of function hypothesis, many Transformer variants specialized in irregular time series modeling can be covered as a special case of ContiFormer. A wide range of experiments on both synthetic and real-world datasets have illustrated the superior modeling capacities and prediction performance of ContiFormer on irregular time series data. The project link is https://seqml.github.io/contiformer/.
• Abstract（参考訳）: 不規則な時系列の連続時間ダイナミクスのモデリングは、データの進化と連続的に発生する相関を考慮に入れるのに不可欠である。 リカレントニューラルネットワークやTransformerモデルを含む従来の方法は、強力なニューラルネットワークを通じて誘導バイアスを利用して複雑なパターンをキャプチャする。 しかし、離散的な特性のため、連続時間データパラダイムへの一般化には限界がある。 ニューラル常微分方程式 (Neural ODEs) とその変種は不規則な時系列を扱う上で有望な結果を示しているが、しばしばこれらの列内の複雑な相関を捉えることができない。 入力データポイント間の関係を同時にモデル化し、連続時間システムの動的変化を捉えることは、依然として困難である。 そこで本研究では,バニラ変圧器のモデリングを連続時間領域に拡張するコンティフォームを提案する。 我々は,contiformerの表現力の数学的特徴付けを行い,関数仮説のキュレーション設計により,不規則時系列モデリングに特化した多くの変種をcontiformerの特別な場合として扱うことができることを示す。 合成および実世界の両方のデータセットに対する幅広い実験により、不規則時系列データ上でのContiFormerの優れたモデリング能力と予測性能が示された。 プロジェクトリンクはhttps://seqml.github.io/contiformer/。

関連論文リスト

• TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model [11.281386703572842]
  時間的自己回帰生成型トランスフォーマーアーキテクチャを利用するモデル群が開発されている。 TimeDiTは時系列の一般的な基礎モデルであり、時間的自己回帰生成の代わりにデノナイジング拡散パラダイムを用いる。 TimeDiTの有効性を実証するために,予測,計算,異常検出などのタスクの多種多様な実験を行った。
  論文  参考訳（メタデータ） (2024-09-03T22:31:57Z)
• Rough Transformers: Lightweight Continuous-Time Sequence Modelling with Path Signatures [46.58170057001437]
  本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 様々な時系列関連タスクにおいて、Rough Transformersはベニラアテンションよりも常に優れています。
  論文  参考訳（メタデータ） (2024-05-31T14:00:44Z)
• Rough Transformers for Continuous and Efficient Time-Series Modelling [46.58170057001437]
  実世界の医療環境における時系列データは、典型的には長距離依存を示し、一様でない間隔で観察される。 本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 Rough Transformersは、Neural ODEベースのモデルの利点を得ながら、バニラアテンションを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-03-15T13:29:45Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Model-Attentive Ensemble Learning for Sequence Modeling [86.4785354333566]
  シーケンスモデリング(MAES)のためのモデル・アテンティブ・アンサンブル・ラーニングを提案する。 MAESは、異なるシーケンスダイナミクスの専門家を専門とし、予測を適応的に重み付けるために、注目ベースのゲーティングメカニズムを利用する時系列の専門家の混合物です。 MAESが時系列シフトを受けるデータセットの人気シーケンスモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2021-02-23T05:23:35Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Synergetic Learning of Heterogeneous Temporal Sequences for Multi-Horizon Probabilistic Forecasting [48.8617204809538]
  本稿では,新しい条件生成モデルである変分相乗型マルチホライゾンネットワーク(VSMHN)を提案する。 不均一なシーケンス間で複雑な相関関係を学習するために、深部プロセスモデルと変動的リカレントニューラルネットワークの進歩を組み合わせるために、調整されたエンコーダが考案された。 我々のモデルは変動予測を用いて効果的に訓練でき、モンテカルロシミュレーションを用いて予測を生成することができる。
  論文  参考訳（メタデータ） (2021-01-31T11:00:55Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。