論文の概要: Enhancing Zero-Shot Time Series Forecasting in Off-the-Shelf LLMs via Noise Injection
- arxiv url: http://arxiv.org/abs/2512.20140v1
- Date: Tue, 23 Dec 2025 08:02:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-24 19:17:49.7938
- Title: Enhancing Zero-Shot Time Series Forecasting in Off-the-Shelf LLMs via Noise Injection
- Title（参考訳）: オフザシェルフLLMにおけるノイズ注入によるゼロショット時系列予測の強化
- Authors: Xingyou Yin, Ceyao Zhang, Min Hu, Kai Chen,
- Abstract要約: 大言語モデル(LLM)はゼロショット時系列(TS)予測器として有効であることを示した。
鍵となる課題は、TSデータを LLM の事前訓練された知識と一致したテキスト表現にトークン化することである。
LLMの事前学習スコープを利用した2つの新しいTSデータセットを導入し、改良された性能を継続的に観察する。
- 参考スコア（独自算出の注目度）: 18.267727687739853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have demonstrated effectiveness as zero-shot time series (TS) forecasters. The key challenge lies in tokenizing TS data into textual representations that align with LLMs' pre-trained knowledge. While existing work often relies on fine-tuning specialized modules to bridge this gap, a distinct, yet challenging, paradigm aims to leverage truly off-the-shelf LLMs without any fine-tuning whatsoever, relying solely on strategic tokenization of numerical sequences. The performance of these fully frozen models is acutely sensitive to the textual representation of the input data, as their parameters cannot adapt to distribution shifts. In this paper, we introduce a simple yet highly effective strategy to overcome this brittleness: injecting noise into the raw time series before tokenization. This non-invasive intervention acts as a form of inference-time augmentation, compelling the frozen LLM to extrapolate based on robust underlying temporal patterns rather than superficial numerical artifacts. We theoretically analyze this phenomenon and empirically validate its effectiveness across diverse benchmarks. Notably, to fully eliminate potential biases from data contamination during LLM pre-training, we introduce two novel TS datasets that fall outside all utilized LLMs' pre-training scopes, and consistently observe improved performance. This study provides a further step in directly leveraging off-the-shelf LLMs for time series forecasting.
- Abstract（参考訳）: 大言語モデル(LLM)はゼロショット時系列(TS)予測器として有効であることを示した。
鍵となる課題は、TSデータを LLM の事前訓練された知識と一致したテキスト表現にトークン化することである。
既存の作業はしばしば、このギャップを埋めるために、微調整の特別なモジュールに依存するが、明確な、しかし難しいパラダイムは、数値列の戦略的トークン化にのみ依存して、微調整をせずに、真に既成のLLMを活用することを目的としている。
これらの完全凍結モデルの性能は、パラメータが分布シフトに適応できないため、入力データのテキスト表現に非常に敏感である。
本稿では,トークン化前の生の時系列にノイズを注入するという,この脆さを克服するためのシンプルかつ高効率な戦略を提案する。
この非侵襲的介入は、推測時間の増大の一形態として作用し、凍結したLDMは、表面的な数値的なアーティファクトではなく、頑丈な時間的パターンに基づいて外挿するように促す。
理論的にこの現象を解析し、様々なベンチマークでその効果を実証的に検証する。
特に、LLM事前学習中のデータ汚染から潜在的なバイアスを完全に排除するために、LLMの事前学習範囲を活用し、改善された性能を継続的に観察する2つの新しいTSデータセットを導入する。
本研究は,市販のLCMを時系列予測に活用するためのさらなるステップを提供する。
関連論文リスト
- T-LLM: Teaching Large Language Models to Forecast Time Series via Temporal Distillation [7.6933817667680096]
時系列予測は多くの現実世界のアプリケーションにおいて意思決定において重要な役割を果たす。
本稿では,汎用言語モデルと時系列予測機能を組み合わせた時空間蒸留フレームワークT-LLMを提案する。
論文 参考訳（メタデータ） (2026-02-02T10:40:27Z) - Is More Context Always Better? Examining LLM Reasoning Capability for Time Interval Prediction [15.45305246863211]
大規模言語モデル(LLM)は、異なるドメインをまたいだ推論と予測において印象的な能力を示している。
本稿では,LLMが繰り返しユーザの行動の時間間隔を予測できるかどうかを系統的に検討する。
我々は、統計モデルと機械学習モデルの両方に対してゼロショット設定で最先端のLCMをベンチマークする。
論文 参考訳（メタデータ） (2026-01-15T07:18:40Z) - Semantic-Enhanced Time-Series Forecasting via Large Language Models [20.383296465541758]
時系列予測は、金融、エネルギー、気象学、IoTアプリケーションにおいて重要な役割を果たす。
近年,大規模言語モデル(LLM)の一般化機能を活用して時系列予測に適応し,有望な性能を実現している。
本稿では,時系列の固有周期性と異常特性を探索し,意味空間に埋め込むセマンティック拡張LDM(SE-LLM)を提案する。
論文 参考訳（メタデータ） (2025-08-11T07:19:21Z) - Revisiting LLMs as Zero-Shot Time-Series Forecasters: Small Noise Can Break Large Models [32.30528039193554]
大規模言語モデル(LLM)は、ドメイン固有のトレーニングなしで、様々なタスクにまたがる顕著なパフォーマンスを示している。
近年の研究では、LLMは予測に固有の効果を欠いていることが示唆されている。
実験の結果,LLMベースのゼロショット予測器はノイズに敏感なため,高い精度を達成するのに苦慮していることがわかった。
論文 参考訳（メタデータ） (2025-05-31T08:24:01Z) - LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics [56.99021951927683]
Time Series Forecasting (TSF) は、金融計画や健康モニタリングなど、多くの現実世界のドメインにおいて重要である。
既存のLarge Language Models (LLM) は通常、時系列データ固有の特性を無視するため、非最適に実行する。
時系列データから基本的なtextitPatterns と有意義な textitSemantics を学習し,TLF のための LLM-PS を提案する。
論文 参考訳（メタデータ） (2025-03-12T11:45:11Z) - END: Early Noise Dropping for Efficient and Effective Context Denoising [60.24648712022382]
大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。
彼らはしばしば、出力品質を低下させる入力シーケンスにおける無関係またはノイズの文脈に気を散らされる。
我々は,LLMの微調整を必要とせず,この問題を緩和するための新しい手法であるEarly Noise Dropping (textscEND)を紹介した。
論文 参考訳（メタデータ） (2025-02-26T08:07:17Z) - Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。
微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
論文 参考訳（メタデータ） (2025-01-24T08:18:56Z) - Temporal Scaling Law for Large Language Models [70.74571133406958]
本稿では,LLMの試験損失が,トレーニングステップのスケールアップとともにどのように進展するかを考察する,時間スケーリング法の概念を提案する。
テスト損失全体を粗い粒度でモデル化するのとは対照的に、私たちはそれを分解して、各トークン位置のきめ細かいテスト損失に飛び込みます。
動的双曲法則におけるパラメータの時間的パターンを研究することにより、より正確な時間的スケーリング法則を導出する。
論文 参考訳（メタデータ） (2024-04-27T05:49:11Z) - CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。
分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。
CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
論文 参考訳（メタデータ） (2024-03-12T04:04:38Z) - Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。
近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。
本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
論文 参考訳（メタデータ） (2024-02-16T17:15:28Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳（メタデータ） (2023-05-22T17:02:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。