論文の概要: Structural Knowledge Informed Continual Multivariate Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2402.12722v1
• Date: Tue, 20 Feb 2024 05:11:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 16:59:15.308112
• Title: Structural Knowledge Informed Continual Multivariate Time Series Forecasting
• Title（参考訳）: 構造知識による連続多変量時系列予測
• Authors: Zijie Pan, Yushan Jiang, Dongjin Song, Sahil Garg, Kashif Rasul, Anderson Schneider, Yuriy Nevmyvaka
• Abstract要約: 本稿では,連続学習パラダイム内で MTS 予測を行うための新しい構造知識情報連続学習(SKI-CL)フレームワークを提案する。 具体的には、グラフ構造学習に基づく予測モデルを構築し、学習した変数依存と構造知識の間に一貫性の規則化スキームを課す。 本研究では,MTSデータの時間的カバレッジを最大化し,各状態の時間的ダイナミクスと依存性構造を効率的に保存する表現マッチング型メモリ再生方式を開発した。
• 参考スコア（独自算出の注目度）: 23.18105409644709
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies in multivariate time series (MTS) forecasting reveal that explicitly modeling the hidden dependencies among different time series can yield promising forecasting performance and reliable explanations. However, modeling variable dependencies remains underexplored when MTS is continuously accumulated under different regimes (stages). Due to the potential distribution and dependency disparities, the underlying model may encounter the catastrophic forgetting problem, i.e., it is challenging to memorize and infer different types of variable dependencies across different regimes while maintaining forecasting performance. To address this issue, we propose a novel Structural Knowledge Informed Continual Learning (SKI-CL) framework to perform MTS forecasting within a continual learning paradigm, which leverages structural knowledge to steer the forecasting model toward identifying and adapting to different regimes, and selects representative MTS samples from each regime for memory replay. Specifically, we develop a forecasting model based on graph structure learning, where a consistency regularization scheme is imposed between the learned variable dependencies and the structural knowledge while optimizing the forecasting objective over the MTS data. As such, MTS representations learned in each regime are associated with distinct structural knowledge, which helps the model memorize a variety of conceivable scenarios and results in accurate forecasts in the continual learning context. Meanwhile, we develop a representation-matching memory replay scheme that maximizes the temporal coverage of MTS data to efficiently preserve the underlying temporal dynamics and dependency structures of each regime. Thorough empirical studies on synthetic and real-world benchmarks validate SKI-CL's efficacy and advantages over the state-of-the-art for continual MTS forecasting tasks.
• Abstract（参考訳）: 多変量時系列予測(MTS)の最近の研究は、異なる時系列間で隠された依存関係を明示的にモデル化することで、予測性能と信頼性のある説明が得られることを示している。 しかし、mtsが異なるレジーム(ステージ)下で継続的に蓄積される場合、変数依存のモデリングは未検討のままである。 潜在的な分布と依存性の相違により、基礎となるモデルは破滅的な忘れ問題、すなわち、予測性能を維持しながら異なるレシエーション間で異なる種類の変数依存を記憶し推測することは困難である。 そこで本研究では,構造知識を活用し,異なるレジームを識別・適応するための予測モデルを構築し,各レジームから代表的mtsサンプルを選択し記憶再生を行う,連続学習パラダイム内でmts予測を行うための新しい構造知識インフォームド・コンティニュアル学習(ski-cl)フレームワークを提案する。 具体的には,MTSデータに対して予測目標を最適化しつつ,学習した変数依存と構造知識との間に整合性正則化スキームを課すグラフ構造学習に基づく予測モデルを開発する。 このように、各体制で学習されたMSS表現は、異なる構造的知識と関連付けられ、モデルが様々な知覚可能なシナリオを記憶し、連続的な学習コンテキストにおける正確な予測を行うのに役立つ。 一方,mtsデータの時間的カバレッジを最大化し,各レジームの時間的ダイナミクスと依存性構造を効率的に保存する表現マッチングメモリリプレイスキームを開発した。 合成および実世界のベンチマークに関する詳細な実証研究は、連続的なMSS予測タスクの最先端技術に対するSKI-CLの有効性と利点を検証している。

関連論文リスト

• DisenTS: Disentangled Channel Evolving Pattern Modeling for Multivariate Time Series Forecasting [43.071713191702486]
  DisenTSは、一般的な時系列予測において、不整合チャネル進化パターンをモデル化するための調整されたフレームワークである。 本稿では,予測器の状態と入力系列の特性の両方に応じて適応的にルーティング信号を生成する,新しいフォアキャスタ・アウェアゲート(FAG)モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-30T12:46:14Z)
• Multi-Knowledge Fusion Network for Time Series Representation Learning [2.368662284133926]
  MTSデータ内の関係構造の暗黙的な知識と事前知識を組み合わせたハイブリッドアーキテクチャを提案する。 提案アーキテクチャは、複数のベンチマークデータセットに対して有望な結果を示し、最先端の予測手法をかなりの差で上回っている。
  論文  参考訳（メタデータ） (2024-08-22T14:18:16Z)
• Multi-Source Knowledge-Based Hybrid Neural Framework for Time Series Representation Learning [2.368662284133926]
  提案したハイブリッドアーキテクチャは、ドメイン固有の知識とMSSデータに基づく関係構造の暗黙的な知識を組み合わせることで制限に対処する。 このアーキテクチャは、複数のベンチマークデータセットで有望な結果を示し、最先端の予測方法よりも優れています。
  論文  参考訳（メタデータ） (2024-08-22T13:58:55Z)
• Multi-Modality Spatio-Temporal Forecasting via Self-Supervised Learning [11.19088022423885]
  そこで本稿では,MoSSL を利用した新しい学習フレームワークを提案する。 2つの実世界のMOSTデータセットの結果は、最先端のベースラインと比較して、我々のアプローチの優位性を検証する。
  論文  参考訳（メタデータ） (2024-05-06T08:24:06Z)
• Causal Temporal Regime Structure Learning [49.77103348208835]
  本稿では,各レシスタンスに対してDAG(Directed Acyclic Graph)を同時に学習する,新たな最適化手法(線形)を提案する。 我々は広範囲な実験を行い、その手法が様々な環境における因果発見モデルより一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-02T17:26:49Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• Disentangling Structured Components: Towards Adaptive, Interpretable and Scalable Time Series Forecasting [52.47493322446537]
  本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。 SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。 SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
  論文  参考訳（メタデータ） (2023-05-22T13:39:44Z)
• The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting [50.48888534815361]
  本稿では、Channel Dependent(CD)戦略でトレーニングされたモデルが、Channel Dependent(CD)戦略でトレーニングされたモデルよりも優れていることを示す。 以上の結果から,CD手法は高いキャパシティを持つが,分散ドリフト時系列を正確に予測する堅牢性に欠けることがわかった。 本稿では,CI戦略を超越した正規化(PRReg)による予測残差法(Predict Residuals with Regularization, PRReg)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:15:33Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。