Fugu-MT 論文翻訳(概要): Does Scaling Law Apply in Time Series Forecasting?

論文の概要: Does Scaling Law Apply in Time Series Forecasting?

arxiv url: http://arxiv.org/abs/2505.10172v1
Date: Thu, 15 May 2025 11:04:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-16 22:29:06.291566
Title: Does Scaling Law Apply in Time Series Forecasting?
Title（参考訳）: スケーリング法は時系列予測に適用されるか?
Authors: Zeyan Li, Libing Chen, Yin Tang,
Abstract要約: 我々は,kレベルパラメータのみを用いて競合性能を実現する超軽量予測モデルであるAlinearを提案する。 7つのベンチマークデータセットの実験では、Alinearが大規模モデルよりも一貫して優れていることが示されている。この研究は、より大きなモデルが本質的に優れているという一般的な信念に挑戦し、より効率的な時系列モデリングへのパラダイムシフトを示唆している。
参考スコア（独自算出の注目度）: 2.127584662240465
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Rapid expansion of model size has emerged as a key challenge in time series forecasting. From early Transformer with tens of megabytes to recent architectures like TimesNet with thousands of megabytes, performance gains have often come at the cost of exponentially increasing parameter counts. But is this scaling truly necessary? To question the applicability of the scaling law in time series forecasting, we propose Alinear, an ultra-lightweight forecasting model that achieves competitive performance using only k-level parameters. We introduce a horizon-aware adaptive decomposition mechanism that dynamically rebalances component emphasis across different forecast lengths, alongside a progressive frequency attenuation strategy that achieves stable prediction in various forecasting horizons without incurring the computational overhead of attention mechanisms. Extensive experiments on seven benchmark datasets demonstrate that Alinear consistently outperforms large-scale models while using less than 1% of their parameters, maintaining strong accuracy across both short and ultra-long forecasting horizons. Moreover, to more fairly evaluate model efficiency, we propose a new parameter-aware evaluation metric that highlights the superiority of ALinear under constrained model budgets. Our analysis reveals that the relative importance of trend and seasonal components varies depending on data characteristics rather than following a fixed pattern, validating the necessity of our adaptive design. This work challenges the prevailing belief that larger models are inherently better and suggests a paradigm shift toward more efficient time series modeling.
Abstract（参考訳）: 時系列予測において,モデルサイズの急速な拡大が重要な課題となっている。数十メガバイトの初期のTransformerから、数千メガバイトのTimesNetのような最近のアーキテクチャに至るまで、性能向上はパラメータ数を指数関数的に増加させるコストが伴うことが多い。しかし、このスケーリングは本当に必要か? 時系列予測におけるスケーリング法則の適用性に疑問を呈するため,kレベルパラメータのみを用いて競合性能を実現する超軽量予測モデルであるAlinearを提案する。本稿では,様々な予測手法の計算オーバーヘッドを発生させることなく,様々な予測対象地平線における安定な予測を実現する進行周波数減衰戦略とともに,異なる予測範囲にわたる成分強調を動的に再バランスさせる水平方向対応型適応分解機構を提案する。 7つのベンチマークデータセットに対する大規模な実験では、Alinearはパラメータの1%未満を使用しながら、大規模モデルよりも一貫して優れており、短距離と超長距離の予測地平線で強い精度を維持している。さらに,モデル効率をより正確に評価するために,制約付きモデル予算下でのALinearの優位性を強調するパラメータ認識評価指標を提案する。分析の結果,傾向と季節成分の相対的重要性は,一定のパターンに従うのではなく,データ特性によって異なることが明らかとなり,適応設計の必要性が検証された。この研究は、より大きなモデルが本質的に優れているという一般的な信念に挑戦し、より効率的な時系列モデリングへのパラダイムシフトを示唆している。

関連論文リスト

Scaling Laws of Global Weather Models [57.27583619011988]
本稿では,モデル性能(検証損失)とモデルサイズ,データセットサイズ,計算予算の3つの主要な要因について検討する。様々なモデルにおいて、Auroraは最も強力なデータスケーリングの挙動を示す。我々の計算-最適分析は、固定された計算予算の下で、長いトレーニング期間にリソースを割り当てると、モデルサイズの増加よりもパフォーマンスが向上することを示している。
論文参考訳（メタデータ） (2026-02-26T12:57:38Z)
An Optimization Method for Autoregressive Time Series Forecasting [4.467218412104476]
現在の時系列予測モデルは、主にトランスフォーマースタイルのニューラルネットワークに基づいている。本稿では,2つの重要な特性を強制する時系列予測のための新しいトレーニング手法を提案する。提案手法はiTransformerと比較してMSEを10%以上削減する。
論文参考訳（メタデータ） (2026-02-02T16:28:00Z)
FaST: Efficient and Effective Long-Horizon Forecasting for Large-Scale Spatial-Temporal Graphs via Mixture-of-Experts [49.9321870703948]
既存のモデルは、主に短期水平予測に焦点を当てており、悪名高い計算コストとメモリ消費に悩まされている。本稿では,長期・大規模STG予測のためのMixture-of-Experts(MoEs)に基づく,効率的かつ効率的なフレームワークであるFaSTを提案する。まず、計算負担を軽減するための適応型グラフエージェントアテンション機構を提案する。第2に,従来のフィードフォワードネットワークを Gated Linear Units (GLUs) に置き換えた新しい並列MoEモジュールを提案する。
論文参考訳（メタデータ） (2026-01-08T18:00:58Z)
A Unified Frequency Domain Decomposition Framework for Interpretable and Robust Time Series Forecasting [81.73338008264115]
時系列予測の現在のアプローチは、時間領域であれ周波数領域であれ、主に線形層やトランスフォーマーに基づいたディープラーニングモデルを使用する。本稿では,多種多様な時系列を数学的に抽象化する統合周波数領域分解フレームワークFIREを提案する。火は長期予測ベンチマークで最先端のモデルを一貫して上回る。
論文参考訳（メタデータ） (2025-10-11T09:59:25Z)
Accuracy Law for the Future of Deep Time Series Forecasting [65.46625911002202]
時系列予測は、部分的に観測可能で不確実な性質のため、本質的にゼロでない誤差の低い境界に直面する。本稿では、ディープ時系列予測の性能上限をどうやって推定するかという根本的な問題に焦点をあてる。新たに訓練された2,800以上の深層予測器の厳密な統計的テストに基づいて、深部モデルの最小予測誤差とウィンドウワイズ級数パターンの複雑さとの間に有意な指数関数的関係を見出した。
論文参考訳（メタデータ） (2025-10-03T05:18:47Z)
A Comparative Study of Pruning Methods in Transformer-based Time Series Forecasting [0.07916635054977067]
プルーニングは、ニューラルネットワークのパラメータ数を削減し、計算を保存するための確立されたアプローチである。本研究では,これらのプルーニング戦略がモデルサイズ,演算,推論時間などの予測性能および計算面に与える影響について検討する。ハードウェアとソフトウェアが対応する場合でも、構造化プルーニングは大幅な時間節約を達成できないことを実証する。
論文参考訳（メタデータ） (2024-12-17T13:07:31Z)
Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
論文参考訳（メタデータ） (2024-11-30T10:56:30Z)
Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts [25.503695417712997]
Time-MoEは、より大きく、より有能な基礎モデルを予測するために設計された、スケーラブルで統一されたアーキテクチャである。 Time-MoEは、予測毎にネットワークのサブセットだけを活性化することで、計算効率を向上させる。時系列基礎モデルを24億のパラメータに拡張し,予測精度を大幅に向上させた。
論文参考訳（メタデータ） (2024-09-24T12:42:18Z)
ReAugment: Model Zoo-Guided RL for Few-Shot Time Series Augmentation and Forecasting [74.00765474305288]
本稿では,時系列データ拡張のための強化学習(RL)の試験的検討を行う。我々の手法であるReAugmentは、トレーニングセットのどの部分が拡張されるべきか、どのように拡張を行うべきか、RLがプロセスにどのような利点をもたらすのか、という3つの重要な問題に取り組む。
論文参考訳（メタデータ） (2024-09-10T07:34:19Z)
Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
論文参考訳（メタデータ） (2024-07-28T19:18:59Z)
Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。我々は、新しいアーキテクチャ、クロスアテンションのみの時系列変換器(CATS)を導入する。提案モデルでは,平均二乗誤差が最小であり,既存のモデルに比べてパラメータが少ないため,性能が向上する。
論文参考訳（メタデータ） (2024-05-27T06:49:39Z)
A Scalable and Transferable Time Series Prediction Framework for Demand Forecasting [24.06534393565697]
時系列予測は多くのビジネス問題において最も不可欠でユビキタスなタスクの1つである。本稿では,多種多様なアイテムの今後の需要を正確に予測できる,シンプルかつ強力なフレームワークであるフォレスティング・オーケストラ(Forchestra)を提案する。
論文参考訳（メタデータ） (2024-02-29T18:01:07Z)
Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
時系列予測(LTSF)は時系列分析において重要なフロンティアである。本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
論文参考訳（メタデータ） (2024-01-22T13:15:40Z)
An Attention Free Long Short-Term Memory for Time Series Forecasting [0.0]
本研究では,より効率的なフレームワークであるアテンションフリー機構を用いた時系列予測に着目し,時系列予測のための新しいアーキテクチャを提案する。本研究では,無注意LSTM層を用いて,条件分散予測のための線形モデルを克服するアーキテクチャを提案する。
論文参考訳（メタデータ） (2022-09-20T08:23:49Z)
Low-Rank Temporal Attention-Augmented Bilinear Network for financial time-series forecasting [93.73198973454944]
ディープラーニングモデルは、金融時系列データの予測問題など、さまざまな領域から来る多くの問題において、大幅なパフォーマンス改善をもたらしている。近年,制限順序書の時系列予測の効率的かつ高性能なモデルとして,時間的注意強化バイリニアネットワークが提案されている。本稿では,モデルの低ランクテンソル近似を提案し,トレーニング可能なパラメータの数をさらに削減し,その速度を向上する。
論文参考訳（メタデータ） (2021-07-05T10:15:23Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。