論文の概要: Does Scaling Law Apply in Time Series Forecasting?

• arxiv url: http://arxiv.org/abs/2505.10172v1
• Date: Thu, 15 May 2025 11:04:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.291566
• Title: Does Scaling Law Apply in Time Series Forecasting?
• Title（参考訳）: スケーリング法は時系列予測に適用されるか?
• Authors: Zeyan Li, Libing Chen, Yin Tang,
• Abstract要約: 我々は,kレベルパラメータのみを用いて競合性能を実現する超軽量予測モデルであるAlinearを提案する。 7つのベンチマークデータセットの実験では、Alinearが大規模モデルよりも一貫して優れていることが示されている。 この研究は、より大きなモデルが本質的に優れているという一般的な信念に挑戦し、より効率的な時系列モデリングへのパラダイムシフトを示唆している。
• 参考スコア（独自算出の注目度）: 2.127584662240465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rapid expansion of model size has emerged as a key challenge in time series forecasting. From early Transformer with tens of megabytes to recent architectures like TimesNet with thousands of megabytes, performance gains have often come at the cost of exponentially increasing parameter counts. But is this scaling truly necessary? To question the applicability of the scaling law in time series forecasting, we propose Alinear, an ultra-lightweight forecasting model that achieves competitive performance using only k-level parameters. We introduce a horizon-aware adaptive decomposition mechanism that dynamically rebalances component emphasis across different forecast lengths, alongside a progressive frequency attenuation strategy that achieves stable prediction in various forecasting horizons without incurring the computational overhead of attention mechanisms. Extensive experiments on seven benchmark datasets demonstrate that Alinear consistently outperforms large-scale models while using less than 1% of their parameters, maintaining strong accuracy across both short and ultra-long forecasting horizons. Moreover, to more fairly evaluate model efficiency, we propose a new parameter-aware evaluation metric that highlights the superiority of ALinear under constrained model budgets. Our analysis reveals that the relative importance of trend and seasonal components varies depending on data characteristics rather than following a fixed pattern, validating the necessity of our adaptive design. This work challenges the prevailing belief that larger models are inherently better and suggests a paradigm shift toward more efficient time series modeling.
• Abstract（参考訳）: 時系列予測において,モデルサイズの急速な拡大が重要な課題となっている。 数十メガバイトの初期のTransformerから、数千メガバイトのTimesNetのような最近のアーキテクチャに至るまで、性能向上はパラメータ数を指数関数的に増加させるコストが伴うことが多い。 しかし、このスケーリングは本当に必要か? 時系列予測におけるスケーリング法則の適用性に疑問を呈するため,kレベルパラメータのみを用いて競合性能を実現する超軽量予測モデルであるAlinearを提案する。 本稿では,様々な予測手法の計算オーバーヘッドを発生させることなく,様々な予測対象地平線における安定な予測を実現する進行周波数減衰戦略とともに,異なる予測範囲にわたる成分強調を動的に再バランスさせる水平方向対応型適応分解機構を提案する。 7つのベンチマークデータセットに対する大規模な実験では、Alinearはパラメータの1%未満を使用しながら、大規模モデルよりも一貫して優れており、短距離と超長距離の予測地平線で強い精度を維持している。 さらに,モデル効率をより正確に評価するために,制約付きモデル予算下でのALinearの優位性を強調するパラメータ認識評価指標を提案する。 分析の結果,傾向と季節成分の相対的重要性は,一定のパターンに従うのではなく,データ特性によって異なることが明らかとなり,適応設計の必要性が検証された。 この研究は、より大きなモデルが本質的に優れているという一般的な信念に挑戦し、より効率的な時系列モデリングへのパラダイムシフトを示唆している。

関連論文リスト

• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
  時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。 近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。 我々は、新しいアーキテクチャ、クロスアテンションのみの時系列変換器(CATS)を導入する。 提案モデルでは,平均二乗誤差が最小であり,既存のモデルに比べてパラメータが少ないため,性能が向上する。
  論文  参考訳（メタデータ） (2024-05-27T06:49:39Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。