Fugu-MT 論文翻訳(概要): Does Scaling Law Apply in Time Series Forecasting?

論文の概要: Does Scaling Law Apply in Time Series Forecasting?

arxiv url: http://arxiv.org/abs/2505.10172v1
Date: Thu, 15 May 2025 11:04:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-16 22:29:06.291566
Title: Does Scaling Law Apply in Time Series Forecasting?
Title（参考訳）: スケーリング法は時系列予測に適用されるか?
Authors: Zeyan Li, Libing Chen, Yin Tang,
Abstract要約: 我々は,kレベルパラメータのみを用いて競合性能を実現する超軽量予測モデルであるAlinearを提案する。 7つのベンチマークデータセットの実験では、Alinearが大規模モデルよりも一貫して優れていることが示されている。この研究は、より大きなモデルが本質的に優れているという一般的な信念に挑戦し、より効率的な時系列モデリングへのパラダイムシフトを示唆している。
参考スコア（独自算出の注目度）: 2.127584662240465
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Rapid expansion of model size has emerged as a key challenge in time series forecasting. From early Transformer with tens of megabytes to recent architectures like TimesNet with thousands of megabytes, performance gains have often come at the cost of exponentially increasing parameter counts. But is this scaling truly necessary? To question the applicability of the scaling law in time series forecasting, we propose Alinear, an ultra-lightweight forecasting model that achieves competitive performance using only k-level parameters. We introduce a horizon-aware adaptive decomposition mechanism that dynamically rebalances component emphasis across different forecast lengths, alongside a progressive frequency attenuation strategy that achieves stable prediction in various forecasting horizons without incurring the computational overhead of attention mechanisms. Extensive experiments on seven benchmark datasets demonstrate that Alinear consistently outperforms large-scale models while using less than 1% of their parameters, maintaining strong accuracy across both short and ultra-long forecasting horizons. Moreover, to more fairly evaluate model efficiency, we propose a new parameter-aware evaluation metric that highlights the superiority of ALinear under constrained model budgets. Our analysis reveals that the relative importance of trend and seasonal components varies depending on data characteristics rather than following a fixed pattern, validating the necessity of our adaptive design. This work challenges the prevailing belief that larger models are inherently better and suggests a paradigm shift toward more efficient time series modeling.
Abstract（参考訳）: 時系列予測において,モデルサイズの急速な拡大が重要な課題となっている。数十メガバイトの初期のTransformerから、数千メガバイトのTimesNetのような最近のアーキテクチャに至るまで、性能向上はパラメータ数を指数関数的に増加させるコストが伴うことが多い。しかし、このスケーリングは本当に必要か? 時系列予測におけるスケーリング法則の適用性に疑問を呈するため,kレベルパラメータのみを用いて競合性能を実現する超軽量予測モデルであるAlinearを提案する。本稿では,様々な予測手法の計算オーバーヘッドを発生させることなく,様々な予測対象地平線における安定な予測を実現する進行周波数減衰戦略とともに,異なる予測範囲にわたる成分強調を動的に再バランスさせる水平方向対応型適応分解機構を提案する。 7つのベンチマークデータセットに対する大規模な実験では、Alinearはパラメータの1%未満を使用しながら、大規模モデルよりも一貫して優れており、短距離と超長距離の予測地平線で強い精度を維持している。さらに,モデル効率をより正確に評価するために,制約付きモデル予算下でのALinearの優位性を強調するパラメータ認識評価指標を提案する。分析の結果,傾向と季節成分の相対的重要性は,一定のパターンに従うのではなく,データ特性によって異なることが明らかとなり,適応設計の必要性が検証された。この研究は、より大きなモデルが本質的に優れているという一般的な信念に挑戦し、より効率的な時系列モデリングへのパラダイムシフトを示唆している。

関連論文リスト

A Comparative Study of Pruning Methods in Transformer-based Time Series Forecasting [0.07916635054977067]
プルーニングは、ニューラルネットワークのパラメータ数を削減し、計算を保存するための確立されたアプローチである。本研究では,これらのプルーニング戦略がモデルサイズ,演算,推論時間などの予測性能および計算面に与える影響について検討する。ハードウェアとソフトウェアが対応する場合でも、構造化プルーニングは大幅な時間節約を達成できないことを実証する。
論文参考訳（メタデータ） (2024-12-17T13:07:31Z)
Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
論文参考訳（メタデータ） (2024-11-30T10:56:30Z)
Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts [25.503695417712997]
Time-MoEは、より大きく、より有能な基礎モデルを予測するために設計された、スケーラブルで統一されたアーキテクチャである。 Time-MoEは、予測毎にネットワークのサブセットだけを活性化することで、計算効率を向上させる。時系列基礎モデルを24億のパラメータに拡張し,予測精度を大幅に向上させた。
論文参考訳（メタデータ） (2024-09-24T12:42:18Z)
ReAugment: Model Zoo-Guided RL for Few-Shot Time Series Augmentation and Forecasting [74.00765474305288]
本稿では,時系列データ拡張のための強化学習(RL)の試験的検討を行う。我々の手法であるReAugmentは、トレーニングセットのどの部分が拡張されるべきか、どのように拡張を行うべきか、RLがプロセスにどのような利点をもたらすのか、という3つの重要な問題に取り組む。
論文参考訳（メタデータ） (2024-09-10T07:34:19Z)
Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
論文参考訳（メタデータ） (2024-07-28T19:18:59Z)
Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。我々は、新しいアーキテクチャ、クロスアテンションのみの時系列変換器(CATS)を導入する。提案モデルでは,平均二乗誤差が最小であり,既存のモデルに比べてパラメータが少ないため,性能が向上する。
論文参考訳（メタデータ） (2024-05-27T06:49:39Z)
A Scalable and Transferable Time Series Prediction Framework for Demand Forecasting [24.06534393565697]
時系列予測は多くのビジネス問題において最も不可欠でユビキタスなタスクの1つである。本稿では,多種多様なアイテムの今後の需要を正確に予測できる,シンプルかつ強力なフレームワークであるフォレスティング・オーケストラ(Forchestra)を提案する。
論文参考訳（メタデータ） (2024-02-29T18:01:07Z)
Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
時系列予測(LTSF)は時系列分析において重要なフロンティアである。本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
論文参考訳（メタデータ） (2024-01-22T13:15:40Z)
An Attention Free Long Short-Term Memory for Time Series Forecasting [0.0]
本研究では,より効率的なフレームワークであるアテンションフリー機構を用いた時系列予測に着目し,時系列予測のための新しいアーキテクチャを提案する。本研究では,無注意LSTM層を用いて,条件分散予測のための線形モデルを克服するアーキテクチャを提案する。
論文参考訳（メタデータ） (2022-09-20T08:23:49Z)
Low-Rank Temporal Attention-Augmented Bilinear Network for financial time-series forecasting [93.73198973454944]
ディープラーニングモデルは、金融時系列データの予測問題など、さまざまな領域から来る多くの問題において、大幅なパフォーマンス改善をもたらしている。近年,制限順序書の時系列予測の効率的かつ高性能なモデルとして,時間的注意強化バイリニアネットワークが提案されている。本稿では,モデルの低ランクテンソル近似を提案し,トレーニング可能なパラメータの数をさらに削減し,その速度を向上する。
論文参考訳（メタデータ） (2021-07-05T10:15:23Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。