論文の概要: Scaling Transformers for Time Series Forecasting: Do Pretrained Large Models Outperform Small-Scale Alternatives?

• arxiv url: http://arxiv.org/abs/2507.02907v1
• Date: Tue, 24 Jun 2025 11:54:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-13 12:05:57.503897
• Title: Scaling Transformers for Time Series Forecasting: Do Pretrained Large Models Outperform Small-Scale Alternatives?
• Title（参考訳）: 時系列予測のためのスケーリングトランスフォーマー: 事前訓練された大規模モデルは小型の代替品より優れているか?
• Authors: Sanjay Chakraborty, Ibrahim Delibasoglu, Fredrik Heintz,
• Abstract要約: 本研究は,事前学習された大規模時系列モデル(LSTSM)が予測タスクにおいて従来の非事前学習された小型変換器より優れているかどうかを検討する。 我々は,従来の変圧器とともに,事前訓練されたユニバーサル時系列モデル(Moirai,TimeGPTなど)を解析する。 本研究は, LSTSMの強度と限界を明らかにし, 時系列タスクへの適合性について考察した。
• 参考スコア（独自算出の注目度）: 4.075971633195745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pre-trained models have demonstrated remarkable capabilities across domains, but their effectiveness in time series forecasting remains understudied. This work empirically examines whether pre-trained large-scale time series models (LSTSMs) trained on diverse datasets can outperform traditional non-pretrained small-scale transformers in forecasting tasks. We analyze state-of-the-art (SOTA) pre-trained universal time series models (e.g., Moirai, TimeGPT) alongside conventional transformers, evaluating accuracy, computational efficiency, and interpretability across multiple benchmarks. Our findings reveal the strengths and limitations of pre-trained LSTSMs, providing insights into their suitability for time series tasks compared to task-specific small-scale architectures. The results highlight scenarios where pretraining offers advantages and where simpler models remain competitive.
• Abstract（参考訳）: 事前訓練された大規模なモデルでは、ドメイン間で顕著な能力を示してきたが、時系列予測におけるその有効性はまだ実証されていない。 この研究は、多様なデータセットでトレーニングされた事前学習された大規模時系列モデル(LSTSM)が、予測タスクにおいて従来の非事前学習された小規模トランスフォーマーより優れているかどうかを実証的に検証する。 我々は,従来の変圧器とともに事前訓練されたユニバーサル時系列モデル(例えば,モイライ,タイムGPT)を分析し,複数のベンチマークで精度,計算効率,解釈可能性を評価した。 本研究は,LSTSMの長所と短所を明らかにし,タスク固有の小規模アーキテクチャと比較して時系列タスクに適合する可能性について考察した。 その結果、事前トレーニングが利点を提供するシナリオと、よりシンプルなモデルが競争力を維持するシナリオが浮かび上がっている。

関連論文リスト

• Fine-Tuning Pre-trained Large Time Series Models for Prediction of Wind Turbine SCADA Data [6.296946118570559]
  本稿では,風力タービンから収集したSCADAデータの予測における,事前学習型大時系列モデルであるTimerの適用について検討する。 このモデルは、異なる特性を示す2つの風力発電所から得られたデータセットに基づいて微調整された。
  論文  参考訳（メタデータ） (2024-11-30T09:00:24Z)
• Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts [25.503695417712997]
  Time-MoEは、より大きく、より有能な基礎モデルを予測するために設計された、スケーラブルで統一されたアーキテクチャである。 Time-MoEは、予測毎にネットワークのサブセットだけを活性化することで、計算効率を向上させる。 時系列基礎モデルを24億のパラメータに拡張し,予測精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2024-09-24T12:42:18Z)
• ReAugment: Model Zoo-Guided RL for Few-Shot Time Series Augmentation and Forecasting [74.00765474305288]
  本稿では,時系列データ拡張のための強化学習(RL)の試験的検討を行う。 我々の手法であるReAugmentは、トレーニングセットのどの部分が拡張されるべきか、どのように拡張を行うべきか、RLがプロセスにどのような利点をもたらすのか、という3つの重要な問題に取り組む。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• LTSM-Bundle: A Toolbox and Benchmark on Large Language Models for Time Series Forecasting [69.33802286580786]
  LTSM-Bundleは総合的なツールボックスであり、LTSMをトレーニングするためのベンチマークである。 複数の次元からLTSMをモジュール化し、ベンチマークし、プロンプト戦略、トークン化アプローチ、ベースモデルの選択、データ量、データセットの多様性を含む。 実験により、この組み合わせは最先端のLTSMや従来のTSF法と比較して、ゼロショットと少数ショットのパフォーマンスが優れていることが示された。
  論文  参考訳（メタデータ） (2024-06-20T07:09:19Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Understanding the Role of Textual Prompts in LLM for Time Series Forecasting: an Adapter View [21.710722062737577]
  大規模言語モデル(LLM)の急成長する領域では、時系列予測にLLMを適用することへの関心が高まっている。 本研究の目的は,LLMへのテキストプロンプトの統合が時系列の予測精度を効果的に向上させる方法と理由を理解することである。
  論文  参考訳（メタデータ） (2023-11-24T16:32:47Z)
• Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
  Large Pre-trained Time-Series Models (LPTM) は、事前トレーニング中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する適応セグメンテーションの新しい手法である。 LPTMは、最先端のベースラインに比べて最大40%データが少なく、トレーニング時間も50%少ない。
  論文  参考訳（メタデータ） (2023-11-19T20:16:16Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• Examining the Effect of Pre-training on Time Series Classification [21.38211396933795]
  本研究では, プレトレーニング後の微調整が微調整過程に及ぼす影響について検討した。 150の分類データセットを網羅的に検討した。 事前学習は、データに適合しないモデルの最適化プロセスを改善するのにしか役立ちません。 事前学習データを追加することで一般化は向上しないが、元のデータボリュームの事前学習の利点を強化することができる。
  論文  参考訳（メタデータ） (2023-09-11T06:26:57Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。