論文の概要: Low-rank Adaptation for Spatio-Temporal Forecasting

• arxiv url: http://arxiv.org/abs/2404.07919v1
• Date: Thu, 11 Apr 2024 17:04:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 13:11:00.070041
• Title: Low-rank Adaptation for Spatio-Temporal Forecasting
• Title（参考訳）: 時空間予測のための低ランク適応
• Authors: Weilin Ruan, Wei Chen, Xilin Dang, Jianxiang Zhou, Weichuang Li, Xu Liu, Yuxuan Liang,
• Abstract要約: 本稿では,既存の時空間予測モデルSTLo-RAのためのオフザシェルフプラグインとして,新しい低ランク適応フレームワークを提案する。 我々のアプローチは、元のモデルのパラメータとトレーニング時間を4%以下に増やし、一貫性と持続的なパフォーマンス向上を実現しています。
• 参考スコア（独自算出の注目度）: 13.595533573828734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatio-temporal forecasting is crucial in real-world dynamic systems, predicting future changes using historical data from diverse locations. Existing methods often prioritize the development of intricate neural networks to capture the complex dependencies of the data, yet their accuracy fails to show sustained improvement. Besides, these methods also overlook node heterogeneity, hindering customized prediction modules from handling diverse regional nodes effectively. In this paper, our goal is not to propose a new model but to present a novel low-rank adaptation framework as an off-the-shelf plugin for existing spatial-temporal prediction models, termed ST-LoRA, which alleviates the aforementioned problems through node-level adjustments. Specifically, we first tailor a node adaptive low-rank layer comprising multiple trainable low-rank matrices. Additionally, we devise a multi-layer residual fusion stacking module, injecting the low-rank adapters into predictor modules of various models. Across six real-world traffic datasets and six different types of spatio-temporal prediction models, our approach minimally increases the parameters and training time of the original models by less than 4%, still achieving consistent and sustained performance enhancement.
• Abstract（参考訳）: 時空間予測は現実世界の動的システムにおいて重要であり、様々な場所の歴史的データを用いて将来の変化を予測する。 既存の手法では、複雑なニューラルネットワークの開発を優先して、データの複雑な依存関係をキャプチャすることが多いが、その精度は持続的な改善を示すことができない。 さらに、これらの手法はノードの不均一性も見落としており、カスタマイズされた予測モジュールが多様なノードを効果的に扱うことを妨げている。 本稿では,従来の時空間予測モデルであるST-LoRAのオフザシェルフプラグインとして,新しいモデルを提案するのではなく,ノードレベルの調整によって上記の問題を緩和する,新しい低ランク適応フレームワークを提案することを目的とする。 具体的には、複数のトレーニング可能な低ランク行列からなるノード適応型低ランク層を最初に調整する。 さらに, 各種モデルの予測モジュールに低ランクアダプタを注入する多層残留核融合加群を考案した。 実世界の6つのトラフィックデータセットと6種類の時空間予測モデルに対して、我々のアプローチは、元のモデルのパラメータとトレーニング時間を4%以下に最小限に増やし、一貫性と持続的なパフォーマンス向上を実現している。

関連論文リスト

• Robust Traffic Forecasting against Spatial Shift over Years [11.208740750755025]
  新たに提案したトラフィックOODベンチマークを用いて,時空間技術モデルについて検討する。 これらのモデルのパフォーマンスが著しく低下していることが分かりました。 そこで我々は,学習中にグラフ生成器の集合を学習し,それらを組み合わせて新しいグラフを生成するMixture Expertsフレームワークを提案する。 我々の手法は相似的かつ有効であり、任意の時間モデルにシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-10-01T03:49:29Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• RPMixer: Shaking Up Time Series Forecasting with Random Projections for Large Spatial-Temporal Data [33.0546525587517]
  RPMixer と呼ばれる全MLP時系列予測アーキテクチャを提案する。 提案手法は,各ブロックがアンサンブルモデルにおいてベース学習者のように振る舞う深層ニューラルネットワークのアンサンブル的挙動に乗じる。
  論文  参考訳（メタデータ） (2024-02-16T07:28:59Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• Time Series Continuous Modeling for Imputation and Forecasting with Implicit Neural Representations [15.797295258800638]
  本稿では,実世界のデータでしばしば発生する課題に対処するために,時系列計算と予測のための新しいモデリング手法を提案する。 本手法はシリーズの進化力学の連続時間依存モデルに依存する。 メタラーニングアルゴリズムによって駆動される変調機構は、観測されたタイムウインドウを超えて、見えないサンプルや外挿への適応を可能にする。
  論文  参考訳（メタデータ） (2023-06-09T13:20:04Z)
• Dynamic Graph Neural Network with Adaptive Edge Attributes for Air Quality Predictions [12.336689498639366]
  本稿では,メッセージパッシングネットワーク上での適応エッジ属性(DGN-AEA)を用いた動的グラフニューラルネットワークを提案する。 エッジを確立するための事前情報とは異なり、事前情報なしでエンドツーエンドのトレーニングを通じて適応的なエッジ情報を得ることができる。
  論文  参考訳（メタデータ） (2023-02-20T13:45:55Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Learning Consistent Deep Generative Models from Sparse Data via Prediction Constraints [16.48824312904122]
  我々は変分オートエンコーダやその他の深層生成モデルを学ぶための新しいフレームワークを開発する。 これら2つのコントリビューション -- 予測制約と一貫性制約 -- が,画像分類性能の有望な向上につながることを示す。
  論文  参考訳（メタデータ） (2020-12-12T04:18:50Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。