論文の概要: Efficient Test-Time Scaling for LLM-based Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2608.08675v1
- Date: Sun, 09 Aug 2026 12:45:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.913387
- Title: Efficient Test-Time Scaling for LLM-based Time Series Forecasting
- Title(参考訳): LLMによる時系列予測のための効率的なテスト時間スケーリング
- Abstract要約: 長期の時系列予測は、トレンドや季節といったグローバルな構造を保存することの恩恵を受ける。
最近のLSMベースの予測器は、テストタイムスケーリングによって精度を向上することが多い。
しかし、これらの手法は計算コストが高く、予測の地平線が延びるにつれて、グローバルな形状のミスマッチが生じる傾向にある。
本稿では,未来力学の粗い表現を予測するために,長期形状モデリングに適した軽量トランスフォーマーを提案する。
- 参考スコア(独自算出の注目度): 21.66751156586705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-term time series forecasting benefits from preserving global structure such as trends and seasonality. Recent LLM-based forecasters often improve accuracy through test-time scaling (e.g., iterative refinement), but these methods are computationally expensive and increasingly prone to global-shape mismatch as the prediction horizon extends. We propose SCALER, a coarse-to-fine forecasting framework that first employs a lightweight Transformer tailored to long-term shape modeling to predict a coarse representation of future dynamics. This predicted shape then serves as a compact guide for an LLM to perform test-time scaling via iterative coarse-to-fine residual token refinement, while processing substantially fewer tokens at each step. By guiding refinement with an explicit future-shape prediction, SCALER reduces reliance on long description prompts, and its fixed-step refinement avoids costly reward-model-based selection, further lowering computational overhead. Experimental results demonstrate that SCALER outperforms strong forecasting baselines in long-term, short-term and zero-shot forecasting while significantly reducing the inference cost associated with scaled LLM for time series forecasting. Code: https://github.com/xuanmay2701/SCALER.
- Abstract(参考訳): 長期の時系列予測は、トレンドや季節といったグローバルな構造を保存することの恩恵を受ける。
近年のLSMベースの予測器は、テスト時間スケーリング(反復改良など)によって精度を向上することが多いが、これらの手法は計算コストが高く、予測の地平線が広がるにつれて、よりグローバルな形状のミスマッチが生じる傾向にある。
そこで我々は,まず,将来のダイナミクスの粗い表現を予測するために,長期形状モデリングに適した軽量トランスフォーマーを用いた粗大な予測フレームワークであるSCALERを提案する。
この予測形状は LLM のコンパクトなガイドとして機能し、各ステップでかなり少ないトークンを処理しながら、繰り返し粗い残留トークンの改質によるテストタイムスケーリングを行う。
SCALERは、将来の明確な予測で改善を導くことで、長い記述プロンプトへの依存を減らし、その固定ステップの改良は、コストのかかる報酬モデルベースの選択を回避し、さらに計算オーバーヘッドを低減します。
実験の結果,SCALERは長期・短期・ゼロショット予測において強い予測ベースラインを上回り,時系列予測におけるスケールされたLLMに関する推論コストを著しく低減することがわかった。
コード:https://github.com/xuanmay2701/SCALER
関連論文リスト
- PRICE: A Systematic Study of LLM Adaptation Choices for Bitcoin Price Forecasting [0.40105987447353786]
本研究は,短期的なBitcoin価格予測に大規模言語モデルを適用するための構造化アプローチであるPRICEを紹介する。
PRICEは4ビット量子化LLaMA-3 8Bモデルに基づいており、微調整、数値表現、プロンプト、推論、復号化がパフォーマンスにどのように影響するかを調査している。
プライスは、評価期間にわたって堅牢なパフォーマンスを維持しながら、検証セットとテストセットの両方で最も低い予測エラーを達成する。
論文 参考訳(メタデータ) (2026-09-04T15:01:38Z) - CastFlow: Learning Role-Specialized Agentic Workflows for Time Series Forecasting [74.29761960394848]
大規模言語モデル(LLM)のための動的エージェント予測フレームワークであるCastFlowを提案する。
CastFlowは予測プロセスを計画、アクション、予測、リフレクションに編成し、エージェントワークフローを確立する。
第3に、CastFlowは、汎用推論と特殊な数値予測を組み合わせたロール特殊化設計を採用する。
論文 参考訳(メタデータ) (2026-04-30T13:24:42Z) - Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling [51.78972657142583]
我々は、Timer-S1、強力なMixture-of-Experts(MoE)時系列基礎モデル、合計8.3Bのパラメータ、各トークンの0.75Bのアクティブパラメータ、コンテキスト長11.5Kについて紹介する。
既存のトレーニング済み時系列基盤モデルのスケーラビリティボトルネックを克服するため,シリアルスケーリングを3次元で実施する。
論文 参考訳(メタデータ) (2026-03-05T04:13:57Z) - Predicting LLM Output Length via Entropy-Guided Representations [13.351384070796747]
本稿では,本モデルの内部隠蔽状態を有効長予測のために再利用する軽量フレームワークを提案する。
1) オンザフライアクティベーションとトークンエントロピーを用いて高精度な静的予測を行うEGTP (Entropy-Guided Token Pooling) である。
論文 参考訳(メタデータ) (2026-02-12T10:49:04Z) - An Optimization Method for Autoregressive Time Series Forecasting [4.467218412104476]
現在の時系列予測モデルは、主にトランスフォーマースタイルのニューラルネットワークに基づいている。
本稿では,2つの重要な特性を強制する時系列予測のための新しいトレーニング手法を提案する。
提案手法はiTransformerと比較してMSEを10%以上削減する。
論文 参考訳(メタデータ) (2026-02-02T16:28:00Z) - TARFVAE: Efficient One-Step Generative Time Series Forecasting via TARFLOW based VAE [3.7770105485163206]
本稿では,Transformer-based autoregressive Flow (TARFLOW) と変動型オートエンコーダ (VAE) を組み合わせた新しい生成フレームワークであるTARFVAEについて述べる。
単純なモジュールでは、TARFVAEはデータセット上の様々な予測地平線を越えて、最先端の決定論的および生成的モデルよりも優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-11-28T03:19:14Z) - $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
$textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。
我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
論文 参考訳(メタデータ) (2025-06-15T05:50:05Z) - TimeXL: Explainable Multi-modal Time Series Prediction with LLM-in-the-Loop [79.5773512667468]
TimeXLは、プロトタイプベースの時系列エンコーダと3つの協調する大規模言語モデルを統合するマルチモーダル予測フレームワークである。
リフレクションLLMは、予測された値と地上の真実を比較し、テキストの不整合やノイズを識別する。
このクローズドループワークフロー予測、批判(参照)、改善が連続的にフレームワークのパフォーマンスと解釈可能性を高めます。
論文 参考訳(メタデータ) (2025-03-02T20:40:53Z) - Sundial: A Family of Highly Capable Time Series Foundation Models [47.27032162475962]
Sundialはネイティブでフレキシブルでスケーラブルな時系列基盤モデルのファミリーです。
我々のモデルは、事前の分布を指定せずに事前訓練されており、複数の確率予測を生成することができる。
Sundialは、ジャスト・イン・タイムの推論速度で、ポイントと確率予測ベンチマークの両方で最先端の結果を達成する。
論文 参考訳(メタデータ) (2025-02-02T14:52:50Z) - The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws [51.608402959163925]
本稿では,大規模言語モデルに対する最適スパース事前学習構成の体系的検討を行う。
総トレーニング計算の25%でプルーニングを開始し、75%で終了すると、ほぼ最適の最終評価損失が得られることがわかった。
本稿では,事前学習よりも平均パラメータ数を使用するように,チンチラスケーリング法を修正した新しいスケーリング法を提案する。
論文 参考訳(メタデータ) (2025-01-21T20:23:22Z) - Loss Shaping Constraints for Long-Term Time Series Forecasting [79.3533114027664]
本稿では,長期時系列予測のための制約付き学習手法を提案する。
提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:20:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。