論文の概要: Output Scaling: YingLong-Delayed Chain of Thought in a Large Pretrained Time Series Forecasting Model

• arxiv url: http://arxiv.org/abs/2506.11029v1
• Date: Tue, 20 May 2025 14:31:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.49118
• Title: Output Scaling: YingLong-Delayed Chain of Thought in a Large Pretrained Time Series Forecasting Model
• Title（参考訳）: アウトプットスケーリング - Yingong-Delayed Chain of Thought in a Large Pretrained Time Series Forecasting Model
• Authors: Xue Wang, Tian Zhou, Jinyang Gao, Bolin Ding, Jingren Zhou,
• Abstract要約: このフレームワークは,設計した基盤モデルであるYingLongの最先端性能を実現する。 YingLongは、マスク付きトークンリカバリによってトレーニングされた非因果的双方向アテンションエンコーダのみのトランスフォーマーである。 我々は、6Mから3Mパラメータの4つの基礎モデルをリリースし、ゼロショットタスクにおいて優れた結果を示す。
• 参考スコア（独自算出の注目度）: 55.25659103706409
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a joint forecasting framework for time series prediction that contrasts with traditional direct or recursive methods. This framework achieves state-of-the-art performance for our designed foundation model, YingLong, and reveals a novel scaling effect: longer outputs significantly enhance model accuracy due to delayed chain-of-thought reasoning in our non-causal approach. YingLong is a non-causal, bidirectional attention encoder-only transformer trained through masked token recovery, aligning more effectively with language understanding tasks than with generation tasks. Additionally, we boost performance by tackling output variance with a multi-input ensemble. We release four foundation models ranging from 6M to 300M parameters, demonstrating superior results in zero-shot tasks on the ETT and Weather datasets. YingLong achieves more than 60% best performance. To ensure generalizability, we assessed the models using the GIFT-Eval benchmark, which comprises 23 time series datasets across 7 domains. Yinglong significantly outperformed the best time-series foundation models, end-to-end trained models by 14% and 44% in rank respectively.The pretrained 300M model is available at https://huggingface.co/qcw1314/YingLong_300m
• Abstract（参考訳）: 本稿では,従来の直接的あるいは再帰的手法とは対照的な時系列予測のための共同予測フレームワークを提案する。 このフレームワークは,設計した基盤モデルYingLongの最先端性能を実現し,より長いアウトプットにより,非因果的アプローチにおける遅延連鎖推論によるモデル精度が大幅に向上する,新たなスケーリング効果を示す。 YingLongは、マスク付きトークンリカバリによってトレーニングされた非因果的双方向アテンションエンコーダのみのトランスフォーマーであり、生成タスクよりも言語理解タスクとより効果的に連携する。 さらに,出力分散にマルチインプットアンサンブルを組み込むことで性能を向上させる。 我々は6Mから3Mパラメータの4つの基礎モデルをリリースし、ETTおよび天気データセットのゼロショットタスクにおいて優れた結果を示す。 YingLongは60%以上のパフォーマンスを達成した。 汎用性を確保するため, GIFT-Evalベンチマークを用いてモデルの評価を行った。 Yinglongは、最高の時系列基礎モデル、エンドツーエンドのトレーニングモデルはそれぞれ14%、ランクは44%で、事前トレーニングされた300Mモデルはhttps://huggingface.co/qcw1314/YingLong_300mで利用可能である。

関連論文リスト

• Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts [25.503695417712997]
  Time-MoEは、より大きく、より有能な基礎モデルを予測するために設計された、スケーラブルで統一されたアーキテクチャである。 Time-MoEは、予測毎にネットワークのサブセットだけを活性化することで、計算効率を向上させる。 時系列基礎モデルを24億のパラメータに拡張し,予測精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2024-09-24T12:42:18Z)
• Chronos: Learning the Language of Time Series [79.38691251254173]
  Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。 クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-03-12T16:53:54Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。