論文の概要: Hydra: Dual Exponentiated Memory for Multivariate Time Series Analysis
- arxiv url: http://arxiv.org/abs/2511.00989v1
- Date: Sun, 02 Nov 2025 16:03:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:27.018226
- Title: Hydra: Dual Exponentiated Memory for Multivariate Time Series Analysis
- Title(参考訳): Hydra:多変量時系列解析のためのデュアル指数メモリ
- Authors: Asal Meskin, Alireza Mirrokni, Ali Najar, Ali Behrouz,
- Abstract要約: 副設計のMeta-in-contextメモリモジュールであるHydraを紹介する。
時系列パターンの優先順位付けによって、テスト時にパターンを記憶する方法を学ぶ。
また, 2D-chunkwise のトレーニングアルゴリズムを新たに提案し, 実際の再現率を$times 10$の効率改善で近似する。
- 参考スコア(独自算出の注目度): 9.59658906532313
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, effectively modeling multivariate time series has gained significant popularity, mainly due to its wide range of applications, ranging from healthcare to financial markets and energy management. Transformers, MLPs, and linear models as the de facto backbones of modern time series models have shown promising results in single-variant and/or short-term forecasting. These models, however: (1) are permutation equivariant and so lack temporal inductive bias, being less expressive to capture the temporal dynamics; (2) are naturally designed for univariate setup, missing the inter-dependencies of temporal and variate dimensions; and/or (3) are inefficient for Long-term time series modeling. To overcome training and inference efficiency as well as the lack of temporal inductive bias, recently, linear Recurrent Neural Networks (RNNs) have gained attention as an alternative to Transformer-based models. These models, however, are inherently limited to a single sequence, missing inter-variate dependencies, and can propagate errors due to their additive nature. In this paper, we present Hydra, a by-design two-headed meta in-context memory module that learns how to memorize patterns at test time by prioritizing time series patterns that are more informative about the data. Hydra uses a 2-dimensional recurrence across both time and variate at each step, which is more powerful than mixing methods. Although the 2-dimensional nature of the model makes its training recurrent and non-parallelizable, we present a new 2D-chunk-wise training algorithm that approximates the actual recurrence with $\times 10$ efficiency improvement, while maintaining the effectiveness. Our experimental results on a diverse set of tasks and datasets, including time series forecasting, classification, and anomaly detection show the superior performance of Hydra compared to state-of-the-art baselines.
- Abstract(参考訳): 近年,医療から金融市場,エネルギー管理に至るまで,多変量時系列を効果的にモデル化する手法が広く普及している。
現代の時系列モデルのデファクトバックボーンとしてのトランスフォーマー、MLP、線形モデルは、単変量予測や短期予測において有望な結果を示している。
しかし、これらのモデルは、(1)置換同変であり、時間的帰納バイアスが欠如しているため、時間的ダイナミクスを捉えるために表現性が低い、(2)自然に単変量設定のために設計され、時間的次元と変量次元の相互依存性が欠如している、(3)長期時系列モデリングでは非効率である。
トレーニングと推論効率を克服し、時間的帰納バイアスの欠如を克服するため、最近、線形リカレントニューラルネットワーク(RNN)がTransformerベースのモデルに代わるものとして注目されている。
しかし、これらのモデルは本質的に単一のシーケンスに限られており、変数間の依存関係が欠如しており、加法的な性質のためにエラーを伝播することができる。
本稿では,データに対してより有意義な時系列パターンを優先順位付けすることで,テスト時にパターンを記憶する方法を学ぶ,バイデザインのメタインコンテキストメモリモジュールであるHydraを提案する。
Hydraは時間的に2次元の繰り返しを使い、各ステップで変動し、混合法よりも強力である。
モデルの2次元特性は、トレーニングの繰り返しと非並列化を可能にするが、実再現率を$\times 10$の効率改善で近似し、有効性を保ちながら、2次元チャンクワイズトレーニングアルゴリズムを提案する。
時系列予測や分類,異常検出など,さまざまなタスクやデータセットに対する実験結果から,Hydraの性能は最先端のベースラインに比べて優れていた。
関連論文リスト
- Generative Models for Long Time Series: Approximately Equivariant Recurrent Network Structures for an Adjusted Training Scheme [4.327763441385371]
本稿では,連続層を有する変分オートエンコーダ(VAE)に基づく時系列データに対する簡易かつ効果的な生成モデルを提案する。
本手法では,シーケンス長を漸進的に向上させる適応型トレーニング手法を提案する。
リカレントアーキテクチャを利用することで、モデルはシーケンス長に関係なく定数数のパラメータを保持する。
論文 参考訳(メタデータ) (2025-05-08T07:52:37Z) - WaveGNN: Modeling Irregular Multivariate Time Series for Accurate Predictions [3.489870763747715]
実世界の時系列は、しばしば不整合タイムスタンプ、欠落したエントリ、可変サンプリングレートなどの不規則性を示す。
既存のアプローチは、しばしばバイアスを生じさせる計算に頼っている。
本稿では,不規則にサンプリングされた時系列データを埋め込んで正確な予測を行う新しいフレームワークWaveGNNを提案する。
論文 参考訳(メタデータ) (2024-12-14T00:03:44Z) - Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models [5.37935922811333]
State Space Models (SSM) は、一変量時系列モデリングのための古典的なアプローチである。
本稿では、2つの入力依存型2次元SSMヘッドと異なる離散化プロセスを用いて長期進行と季節パターンを学習するチメラについて述べる。
実験により,広範囲で多様なベンチマークにおいて,Chimeraの優れた性能を示す。
論文 参考訳(メタデータ) (2024-06-06T17:58:09Z) - Graph Spatiotemporal Process for Multivariate Time Series Anomaly
Detection with Missing Values [67.76168547245237]
本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。
実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
論文 参考訳(メタデータ) (2024-01-11T10:10:16Z) - Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
論文 参考訳(メタデータ) (2023-10-04T07:14:43Z) - DuETT: Dual Event Time Transformer for Electronic Health Records [14.520791492631114]
我々はDuETTアーキテクチャを紹介した。これは、時間とイベントの両タイプにまたがるように設計されたトランスフォーマーの拡張である。
DuETTは集約された入力を使用し、スパース時系列は一定長さの正規シーケンスに変換される。
本モデルでは,MIMIC-IV と PhysioNet-2012 EHR データセットを用いて,複数の下流タスクにおける最先端のディープラーニングモデルより優れています。
論文 参考訳(メタデータ) (2023-04-25T17:47:48Z) - TimesNet: Temporal 2D-Variation Modeling for General Time Series
Analysis [80.56913334060404]
時系列解析は、天気予報、異常検出、行動認識などの応用において非常に重要である。
従来の手法では、1D時系列から直接これを達成しようと試みていた。
複雑な経時的変化を、複数の経時的変化と経時的変化に明らかにする。
論文 参考訳(メタデータ) (2022-10-05T12:19:51Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-05-16T07:53:42Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Multivariate Probabilistic Time Series Forecasting via Conditioned
Normalizing Flows [8.859284959951204]
時系列予測は科学的・工学的な問題の基本である。
深層学習法はこの問題に適している。
多くの実世界のデータセットにおける標準メトリクスの最先端よりも改善されていることを示す。
論文 参考訳(メタデータ) (2020-02-14T16:16:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。