論文の概要: One-for-All: A Lightweight Stabilized and Parameter-Efficient Pre-trained LLM for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2603.29756v1
• Date: Tue, 31 Mar 2026 13:54:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-01 15:25:03.697801
• Title: One-for-All: A Lightweight Stabilized and Parameter-Efficient Pre-trained LLM for Time Series Forecasting
• Title（参考訳）: ワン・フォー・オール:時系列予測のための軽量安定化およびパラメータ効率の良い事前学習LLM
• Authors: Prasanjit Dey, Soumyabrata Dev, Bianca Schoen-Phelan,
• Abstract要約: One-for-Allは、時系列分析のためにトレーニング済みの大規模言語モデルを適用するためのフレームワークである。 rsLoRAは、低いランクでの証明可能な勾配安定性を可能にする数学的に基底的なランク安定化機構を導入している。 One-for-Allは最先端の効率と精度のトレードオフを達成する。
• 参考スコア（独自算出の注目度）: 4.364999214109123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the challenge of adapting pre-trained Large Language Models (LLMs) for multivariate time-series analysis, where their deployment is often hindered by prohibitive computational and memory demands. Our solution, One-for-All, introduces Gaussian Rank-Stabilized Low-Rank Adapters (rsLoRA) to enable parameter-efficient fine-tuning of frozen LLMs. While inspired by LoRA, rsLoRA introduces a mathematically grounded rank-stabilization mechanism that enables provable gradient stability at low ranks a novel contribution absent in prior PEFT methods. Our framework injects trainable rank decomposition matrices (rank 16) into positional embeddings and output layers, while keeping self-attention weights fixed. This design reduces trainable parameters by 6.8$\times$ (vs. TimesNet), 21$\times$ (vs. GPT4TS), and 11.8$\times$ (vs. TIME-LLM), while achieving a 168-1,776$\times$ smaller memory footprint (2.2MiB vs. 340MiB-4.18GiB in SOTA models). Rigorous evaluation across six time-series tasks demonstrates that One-for-All achieves state-of-the-art efficiency-accuracy trade-offs: 5.5$\times$ higher parameter efficiency (MSE=5.50) than TimesNet and 21$\times$ better than GPT4TS, while matching their forecasting accuracy (MSE=0.33). The framework's stability is validated through consistent performance across diverse horizons (96-720 steps) and datasets (ETT, Weather, M3, M4), with 98.3% fewer parameters than conventional transformers. These advances enable deployment on edge devices for healthcare, finance, and environmental monitoring without compromising performance.
• Abstract（参考訳）: 我々は,多変量時系列解析に事前学習された大規模言語モデル(LLM)を適用するという課題に対処する。 我々のソリューションであるOne-for-Allは、凍結LDMのパラメータ効率の良い微調整を可能にするために、Gaussian Rank-Stabilized Low-Rank Adapters (rsLoRA)を導入している。 LoRAにインスパイアされたrsLoRAは、従来のPEFT法にはない新しい寄与として、低ランクでの証明可能な勾配安定性を可能にする数学的に基底的なランク安定化機構を導入している。 本フレームワークでは, トレーニング可能な階数分解行列(ランク16)を位置埋め込みおよび出力層に注入し, 自己注意重みを固定する。 この設計ではトレーニング可能なパラメータを6.8$\times$ (vs. TimesNet), 21$\times$ (vs. GPT4TS), 11.8$\times$ (vs. TIME-LLM), 168-1,776$\times$ (2.2MiB vs. 340MiB-4.18GiB in SOTA model) で削減する。 5.5$\times$高パラメータ効率(MSE=5.50)、21$\times$GPT4TSよりは良いが、予測精度(MSE=0.33)である。 フレームワークの安定性は、様々な水平線(96-720ステップ)とデータセット(ETT、天気、M3、M4)で一貫した性能で検証され、従来の変圧器よりも98.3%少ないパラメータを持つ。 これらの進歩により、パフォーマンスを損なうことなく、医療、金融、環境監視のためのエッジデバイスへのデプロイが可能になる。

関連論文リスト

• Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation [17.649599011681712]
  大規模言語モデル(LLM)は、その巨大なサイズのため、リソース集約性が高いため、微調整が可能である。 本稿では,評価器の分散を低減し,最終的なモデル出力の安定性を高めるために,低ランク微調整における効果的なパラメータ化の重要性を強調した。 モンテカルロ推定を応用して,低次パラメータの非バイアス後推定を低次分散で学習する,効率的な微調整手法であるモンテクロラを提案する。
  論文  参考訳（メタデータ） (2024-11-07T01:31:48Z)
• Structured Unrestricted-Rank Matrices for Parameter Efficient Fine-tuning [38.80020737321214]
  構造化非制限ランク行列(SURM)に基づく効率的なパラメータ微調整(PEFT)のためのフレームワークを提案する。 SURMは、LoRAの低ランク行列を置換しながら、様々な画像分類タスクにおいて5-7%の精度向上を実現している。 また、GLUEベンチマークでは、アダプタのパラメータ数を最大12倍に削減する(ほぼ品質が低下する)。
  論文  参考訳（メタデータ） (2024-06-25T17:26:05Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference [63.52244442498831]
  大規模言語モデル(LM)による微調整と推論は一般的に高価であることが知られている。 LMのパラメータを適応的にプーンし調整するAPTを導入する。 APTは、LMの微調整を最大8倍高速化し、LMのメモリトレーニングのフットプリントを最大70%削減する。
  論文  参考訳（メタデータ） (2024-01-22T18:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。