論文の概要: Low-rank Adaptation for Spatio-Temporal Forecasting
- arxiv url: http://arxiv.org/abs/2404.07919v1
- Date: Thu, 11 Apr 2024 17:04:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 13:11:00.070041
- Title: Low-rank Adaptation for Spatio-Temporal Forecasting
- Title(参考訳): 時空間予測のための低ランク適応
- Authors: Weilin Ruan, Wei Chen, Xilin Dang, Jianxiang Zhou, Weichuang Li, Xu Liu, Yuxuan Liang,
- Abstract要約: 本稿では,既存の時空間予測モデルSTLo-RAのためのオフザシェルフプラグインとして,新しい低ランク適応フレームワークを提案する。
我々のアプローチは、元のモデルのパラメータとトレーニング時間を4%以下に増やし、一貫性と持続的なパフォーマンス向上を実現しています。
- 参考スコア(独自算出の注目度): 13.595533573828734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatio-temporal forecasting is crucial in real-world dynamic systems, predicting future changes using historical data from diverse locations. Existing methods often prioritize the development of intricate neural networks to capture the complex dependencies of the data, yet their accuracy fails to show sustained improvement. Besides, these methods also overlook node heterogeneity, hindering customized prediction modules from handling diverse regional nodes effectively. In this paper, our goal is not to propose a new model but to present a novel low-rank adaptation framework as an off-the-shelf plugin for existing spatial-temporal prediction models, termed ST-LoRA, which alleviates the aforementioned problems through node-level adjustments. Specifically, we first tailor a node adaptive low-rank layer comprising multiple trainable low-rank matrices. Additionally, we devise a multi-layer residual fusion stacking module, injecting the low-rank adapters into predictor modules of various models. Across six real-world traffic datasets and six different types of spatio-temporal prediction models, our approach minimally increases the parameters and training time of the original models by less than 4%, still achieving consistent and sustained performance enhancement.
- Abstract(参考訳): 時空間予測は現実世界の動的システムにおいて重要であり、様々な場所の歴史的データを用いて将来の変化を予測する。
既存の手法では、複雑なニューラルネットワークの開発を優先して、データの複雑な依存関係をキャプチャすることが多いが、その精度は持続的な改善を示すことができない。
さらに、これらの手法はノードの不均一性も見落としており、カスタマイズされた予測モジュールが多様なノードを効果的に扱うことを妨げている。
本稿では,従来の時空間予測モデルであるST-LoRAのオフザシェルフプラグインとして,新しいモデルを提案するのではなく,ノードレベルの調整によって上記の問題を緩和する,新しい低ランク適応フレームワークを提案することを目的とする。
具体的には、複数のトレーニング可能な低ランク行列からなるノード適応型低ランク層を最初に調整する。
さらに, 各種モデルの予測モジュールに低ランクアダプタを注入する多層残留核融合加群を考案した。
実世界の6つのトラフィックデータセットと6種類の時空間予測モデルに対して、我々のアプローチは、元のモデルのパラメータとトレーニング時間を4%以下に最小限に増やし、一貫性と持続的なパフォーマンス向上を実現している。
関連論文リスト
- Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via
Selective Entropy Distillation [60.17626806243389]
Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。
CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
論文 参考訳(メタデータ) (2024-02-27T08:47:19Z) - Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳(メタデータ) (2023-11-30T08:22:08Z) - Test-time Adaptive Vision-and-Language Navigation [75.50521064106732]
視覚・言語ナビゲーションのためのFSTTA(Fast-Slow Test-Time Adaptation)アプローチを提案する。
高速更新フェーズでは、最近のマルチステップナビゲーションプロセスで発生する勾配を、さまざまなレベルの一貫性を持つコンポーネントに分解する。
遅い更新フェーズでは、歴史的に記録されたパラメータを収集し、同様の分解蓄積分析を行い、モデルを安定状態に戻す。
論文 参考訳(メタデータ) (2023-11-22T07:47:39Z) - Improving the Transferability of Time Series Forecasting with
Decomposition Adaptation [14.09967794482993]
時系列予測では、十分なデータを得るのは難しいため、ニューラル予測モデルの性能が制限される。
データ不足の制限を軽減するため、SeDAN(Sequence Decomposition Adaptation Network)を設計する。
SeDANは、クロスドメインデータセットからの転送可能な知識を調整することで、ターゲットドメインでの予測性能を改善するための、新しい転送アーキテクチャである。
論文 参考訳(メタデータ) (2023-06-30T18:12:22Z) - Time Series Continuous Modeling for Imputation and Forecasting with Implicit Neural Representations [15.797295258800638]
本稿では,実世界のデータでしばしば発生する課題に対処するために,時系列計算と予測のための新しいモデリング手法を提案する。
本手法はシリーズの進化力学の連続時間依存モデルに依存する。
メタラーニングアルゴリズムによって駆動される変調機構は、観測されたタイムウインドウを超えて、見えないサンプルや外挿への適応を可能にする。
論文 参考訳(メタデータ) (2023-06-09T13:20:04Z) - Dynamic Graph Neural Network with Adaptive Edge Attributes for Air
Quality Predictions [12.336689498639366]
本稿では,メッセージパッシングネットワーク上での適応エッジ属性(DGN-AEA)を用いた動的グラフニューラルネットワークを提案する。
エッジを確立するための事前情報とは異なり、事前情報なしでエンドツーエンドのトレーニングを通じて適応的なエッジ情報を得ることができる。
論文 参考訳(メタデータ) (2023-02-20T13:45:55Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Learning Consistent Deep Generative Models from Sparse Data via
Prediction Constraints [16.48824312904122]
我々は変分オートエンコーダやその他の深層生成モデルを学ぶための新しいフレームワークを開発する。
これら2つのコントリビューション -- 予測制約と一貫性制約 -- が,画像分類性能の有望な向上につながることを示す。
論文 参考訳(メタデータ) (2020-12-12T04:18:50Z) - Sparsely constrained neural networks for model discovery of PDEs [0.0]
本稿では,任意のスパース回帰手法を用いて,ディープラーニングに基づくサロゲートのスパースパターンを決定するモジュラーフレームワークを提案する。
異なるネットワークアーキテクチャと疎度推定器がモデル発見精度と収束性を,いくつかのベンチマーク例でどのように改善するかを示す。
論文 参考訳(メタデータ) (2020-11-09T11:02:40Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳(メタデータ) (2020-07-07T03:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。