論文の概要: ContiFormer: Continuous-Time Transformer for Irregular Time Series
Modeling
- arxiv url: http://arxiv.org/abs/2402.10635v1
- Date: Fri, 16 Feb 2024 12:34:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 16:29:11.598216
- Title: ContiFormer: Continuous-Time Transformer for Irregular Time Series
Modeling
- Title(参考訳): ContiFormer: 不規則時系列モデリングのための連続時間変換器
- Authors: Yuqi Chen, Kan Ren, Yansen Wang, Yuchen Fang, Weiwei Sun, Dongsheng Li
- Abstract要約: 不規則な時系列上の連続時間ダイナミクスのモデリングは、連続的に発生するデータの進化と相関を考慮するために重要である。
リカレントニューラルネットワークやTransformerモデルを含む従来の方法は、強力なニューラルネットワークを通じて誘導バイアスを利用して複雑なパターンをキャプチャする。
本稿では,バニラ変換器の関係モデリングを連続時間領域に拡張するContiFormerを提案する。
- 参考スコア(独自算出の注目度): 30.12824131306359
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modeling continuous-time dynamics on irregular time series is critical to
account for data evolution and correlations that occur continuously.
Traditional methods including recurrent neural networks or Transformer models
leverage inductive bias via powerful neural architectures to capture complex
patterns. However, due to their discrete characteristic, they have limitations
in generalizing to continuous-time data paradigms. Though neural ordinary
differential equations (Neural ODEs) and their variants have shown promising
results in dealing with irregular time series, they often fail to capture the
intricate correlations within these sequences. It is challenging yet demanding
to concurrently model the relationship between input data points and capture
the dynamic changes of the continuous-time system. To tackle this problem, we
propose ContiFormer that extends the relation modeling of vanilla Transformer
to the continuous-time domain, which explicitly incorporates the modeling
abilities of continuous dynamics of Neural ODEs with the attention mechanism of
Transformers. We mathematically characterize the expressive power of
ContiFormer and illustrate that, by curated designs of function hypothesis,
many Transformer variants specialized in irregular time series modeling can be
covered as a special case of ContiFormer. A wide range of experiments on both
synthetic and real-world datasets have illustrated the superior modeling
capacities and prediction performance of ContiFormer on irregular time series
data. The project link is https://seqml.github.io/contiformer/.
- Abstract(参考訳): 不規則な時系列の連続時間ダイナミクスのモデリングは、データの進化と連続的に発生する相関を考慮に入れるのに不可欠である。
リカレントニューラルネットワークやTransformerモデルを含む従来の方法は、強力なニューラルネットワークを通じて誘導バイアスを利用して複雑なパターンをキャプチャする。
しかし、離散的な特性のため、連続時間データパラダイムへの一般化には限界がある。
ニューラル常微分方程式 (Neural ODEs) とその変種は不規則な時系列を扱う上で有望な結果を示しているが、しばしばこれらの列内の複雑な相関を捉えることができない。
入力データポイント間の関係を同時にモデル化し、連続時間システムの動的変化を捉えることは、依然として困難である。
そこで本研究では,バニラ変圧器のモデリングを連続時間領域に拡張するコンティフォームを提案する。
我々は,contiformerの表現力の数学的特徴付けを行い,関数仮説のキュレーション設計により,不規則時系列モデリングに特化した多くの変種をcontiformerの特別な場合として扱うことができることを示す。
合成および実世界の両方のデータセットに対する幅広い実験により、不規則時系列データ上でのContiFormerの優れたモデリング能力と予測性能が示された。
プロジェクトリンクはhttps://seqml.github.io/contiformer/。
関連論文リスト
- Poisson-Gamma Dynamical Systems with Non-Stationary Transition Dynamics [54.19709905569658]
非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。
後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。
実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
論文 参考訳(メタデータ) (2024-02-26T04:39:01Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Time Series Continuous Modeling for Imputation and Forecasting with
Implicit Neural Representations [16.47768802227772]
本稿では,実世界のデータでしばしば発生する課題に対処するために,時系列計算と予測のための新しいモデリング手法を提案する。
本手法はシリーズの進化力学の連続時間依存モデルに依存する。
メタラーニングアルゴリズムによって駆動される変調機構は、観測されたタイムウインドウを超えて、見えないサンプルや外挿への適応を可能にする。
論文 参考訳(メタデータ) (2023-06-09T13:20:04Z) - Continuous-time convolutions model of event sequences [53.36665135225617]
イベントシーケンスデータの巨大なサンプルは、eコマース、ヘルスケア、ファイナンスなど、さまざまなドメインで発生します。
利用可能なデータの量とクライアント毎のイベントシーケンスの長さは典型的には大きいため、長期的なモデリングが必要である。
時間内の事象の一様発生に適した連続畳み込みニューラルネットワークに基づくCOTIC法を提案する。
論文 参考訳(メタデータ) (2023-02-13T10:34:51Z) - Features Fusion Framework for Multimodal Irregular Time-series Events [6.497816402045097]
マルチモーダルな不規則な時系列イベントは、サンプリング頻度、データ構成、時間的関係、特性が異なる。
本稿では,Long Short-Term Memory Network (LSTM) に基づくマルチモーダル不規則な時系列イベントのための特徴融合フレームワークを提案する。
MIMIC-IIIデータセットを用いた実験により,提案手法はAUC(受信者動作特性曲線下)とAP(平均精度)において,既存手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2022-09-05T02:27:12Z) - Continuous Latent Process Flows [47.267251969492484]
任意の時間スタンプにおける連続時系列ダイナミクスの部分的な観察は多くの分野に存在する。このタイプのデータに連続力学を用いた統計モデルを適用することは、直感的なレベルで有望であるだけでなく、実用的な利点もある。
微分方程式によって駆動される時間依存正規化フローを用いて、連続潜時プロセスを連続可観測プロセスに復号する原則的アーキテクチャである連続潜時プロセスフロー(CLPF)を用いて、これらの課題に取り組む。
我々のアブレーション研究は、不規則な時間グリッド上での様々な推論タスクへの貢献の有効性を実証している。
論文 参考訳(メタデータ) (2021-06-29T17:16:04Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Synergetic Learning of Heterogeneous Temporal Sequences for
Multi-Horizon Probabilistic Forecasting [48.8617204809538]
本稿では,新しい条件生成モデルである変分相乗型マルチホライゾンネットワーク(VSMHN)を提案する。
不均一なシーケンス間で複雑な相関関係を学習するために、深部プロセスモデルと変動的リカレントニューラルネットワークの進歩を組み合わせるために、調整されたエンコーダが考案された。
我々のモデルは変動予測を用いて効果的に訓練でき、モンテカルロシミュレーションを用いて予測を生成することができる。
論文 参考訳(メタデータ) (2021-01-31T11:00:55Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳(メタデータ) (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。