論文の概要: Mixture of Low Rank Adaptation with Partial Parameter Sharing for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2505.17872v1
• Date: Fri, 23 May 2025 13:24:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.102677
• Title: Mixture of Low Rank Adaptation with Partial Parameter Sharing for Time Series Forecasting
• Title（参考訳）: 時系列予測のための部分パラメータ共有による低ランク適応の混合
• Authors: Licheng Pan, Zhichao Chen, Haoxuan Li, Guangyi Liu, Zhijian Xu, Zhaoran Liu, Hao Wang, Ying Wei,
• Abstract要約: マルチタスク予測は,異なる時間ステップでの予測が同じ表現を共有する,Expressiveness Bottleneckに苦しむことを示す。 まず,一歩先予測のための基礎モデルを事前学習し,ステップ固有のLoRAモジュールを用いて適応する。 実験により、MoLAはモデル表現性を著しく改善し、最先端の時系列予測手法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 20.505925622104964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task forecasting has become the standard approach for time-series forecasting (TSF). However, we show that it suffers from an Expressiveness Bottleneck, where predictions at different time steps share the same representation, leading to unavoidable errors even with optimal representations. To address this issue, we propose a two-stage framework: first, pre-train a foundation model for one-step-ahead prediction; then, adapt it using step-specific LoRA modules.This design enables the foundation model to handle any number of forecast steps while avoiding the expressiveness bottleneck. We further introduce the Mixture-of-LoRA (MoLA) model, which employs adaptively weighted LoRA experts to achieve partial parameter sharing across steps. This approach enhances both efficiency and forecasting performance by exploiting interdependencies between forecast steps. Experiments show that MoLA significantly improves model expressiveness and outperforms state-of-the-art time-series forecasting methods. Code is available at https://anonymous.4open.science/r/MoLA-BC92.
• Abstract（参考訳）: マルチタスク予測は時系列予測(TSF)の標準手法となっている。 しかし、異なる時間ステップでの予測が同じ表現を共有するExpressiveness Bottleneckに悩まされ、最適な表現であっても避けられないエラーが生じる。 この問題に対処するため,我々は,まず,一歩先予測のための基礎モデルを事前学習し,次にステップ固有のLoRAモジュールを用いて適応する2段階のフレームワークを提案する。 さらに、LoRAの専門家を適応的に重み付けしたMixture-of-LoRA(Mixture-of-LoRA)モデルを導入し、ステップ間の部分的パラメータ共有を実現する。 このアプローチは、予測ステップ間の相互依存性を活用することにより、効率性と予測性能を両立させる。 実験により、MoLAはモデル表現性を著しく改善し、最先端の時系列予測手法より優れていることが示された。 コードはhttps://anonymous.4open.science/r/MoLA-BC92で公開されている。

関連論文リスト

• Sundial: A Family of Highly Capable Time Series Foundation Models [64.6322079384575]
  Sundialはネイティブでフレキシブルでスケーラブルな時系列基盤モデルのファミリーです。 本モデルでは,事前分布を指定せずに事前学習を行い,複数の予測予測を生成できる。 TimeFlow Loss を通じてモード崩壊を緩和することにより、TimeBench 上で Sundial モデルのファミリーを事前訓練し、前例のないモデルキャパシティと一般化性能を示す。
  論文  参考訳（メタデータ） (2025-02-02T14:52:50Z)
• xLSTM-Mixer: Multivariate Time Series Forecasting by Mixing via Scalar Memories [20.773694998061707]
  時系列データは様々な分野に分散しており、堅牢で正確な予測モデルの開発が必要である。 我々は,時間的シーケンス,共同時間可変情報,堅牢な予測のための複数の視点を効果的に統合するモデルであるxLSTM-Mixerを紹介する。 我々は,最近の最先端手法と比較して,xLSTM-Mixerの長期予測性能が優れていることを示した。
  論文  参考訳（メタデータ） (2024-10-22T11:59:36Z)
• Loss Shaping Constraints for Long-Term Time Series Forecasting [79.3533114027664]
  本稿では,長期時系列予測のための制約付き学習手法を提案する。 提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:20:44Z)
• Interacting Diffusion Processes for Event Sequence Forecasting [20.380620709345898]
  拡散生成モデルを組み込んだ新しい手法を提案する。 このモデルはシーケンス・ツー・シーケンスの予測を容易にし、過去のイベント・シーケンスに基づいた複数ステップの予測を可能にする。 提案手法は,TPPの長期予測において,最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-26T22:17:25Z)
• Attention-Based Ensemble Pooling for Time Series Forecasting [55.2480439325792]
  本稿では,候補モデル予測よりも重み付き平均値を実行するプーリング法を提案する。 本手法は,非定常ロレンツ63方程式の動力学の多段階予測と,COVID-19による週次死亡事故の1段階予測という2つの時系列予測問題に対して試行する。
  論文  参考訳（メタデータ） (2023-10-24T22:59:56Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Meta-Forecasting by combining Global DeepRepresentations with Local Adaptation [12.747008878068314]
  メタグローバルローカル自動回帰(Meta-GLAR)と呼ばれる新しい予測手法を導入する。 それは、リカレントニューラルネットワーク(RNN)によって生成された表現からワンステップアヘッド予測へのマッピングをクローズドフォームで学習することで、各時系列に適応する。 本手法は,先行研究で報告されたサンプル外予測精度において,最先端の手法と競合する。
  論文  参考訳（メタデータ） (2021-11-05T11:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。