論文の概要: Why Do Time Series Models Need Long Context Windows?
- arxiv url: http://arxiv.org/abs/2606.01999v1
- Date: Mon, 01 Jun 2026 09:55:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:31.708546
- Title: Why Do Time Series Models Need Long Context Windows?
- Title(参考訳): なぜ時系列モデルは長いコンテキストWindowsが必要なのか?
- Authors: Luca Butera, Giovanni De Felice, Andrea Cini, Cesare Alippi,
- Abstract要約: 時系列の予測群は、(i)生成過程同定(GPI)と(ii)条件付き予測(CF)の2つの目的を含むことを示す。
この観点から、最適予測は、入力ウィンドウが与えられた場合、その可能性によって重み付けされる、可算なデータ生成プロセスの平均として解釈することができる。
メモリ長が$P$のプロセスであっても、最小到達可能なエラーを達成するためには、入力ウィンドウサイズが$P$より厳密に大きいことを証明する。
- 参考スコア(独自算出の注目度): 21.20415921592012
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern deep learning models for forecasting groups of time series rely on increasingly longer observation windows. However, the benefit of increasing the window size is often simply attributed to capturing long-range dependencies, and broader discussion on how global forecasting models leverage input observations has been limited. In this paper, we show that forecasting groups of time series involves two objectives: (i) generative process identification (GPI), i.e., inferring the specific process generating the input sequence, and (ii) conditional forecasting (CF), i.e., predicting future values given input observations. From this perspective, optimal predictions can be interpreted as an average over plausible data-generating processes, weighted by their likelihood given the input window. This suggests another explanation for the benefits of long context windows: they reduce the uncertainty about which specific process is generating the input time series during operation. We prove that even for processes with memory length $P$, an input window size strictly larger than $P$ is necessary to achieve the minimum attainable error. Finally, we show how decoupling GPI and CF can improve computational scalability without compromising accuracy. Experiments on synthetic and real-world data validate our insights and their relevance for designing forecasting architectures.
- Abstract(参考訳): 時系列の予測グループのための現代のディープラーニングモデルは、ますます長い観測窓に依存している。
しかしながら、ウィンドウサイズを増大させることの利点は、多くの場合、長距離依存を捉えることによるものであり、グローバルな予測モデルが入力観測をどのように活用するかに関するより広範な議論が限定されている。
本稿では,時系列の予測群には2つの目的があることを示す。
一 生成過程同定(GPI)、すなわち、入力シーケンスを生成する特定の過程を推測すること、及び
(II)条件付き予測(CF)、すなわち入力観測による将来の値の予測。
この観点から、最適予測は、入力ウィンドウが与えられた場合、その可能性によって重み付けされる、可算なデータ生成プロセスの平均として解釈することができる。
このことは、長いコンテキストウィンドウの利点として、特定のプロセスが操作中に入力時系列を生成するかどうかの不確実性を減らすことを示唆している。
メモリ長が$P$のプロセスであっても、最小到達可能なエラーを達成するためには、入力ウィンドウサイズが$P$より厳密に大きいことを証明する。
最後に,GPIとCFを分離することで,精度を損なうことなく計算スケーラビリティを向上できることを示す。
合成および実世界のデータに関する実験は、予測アーキテクチャの設計における私たちの洞察とそれらの関連性を検証する。
関連論文リスト
- Accuracy Law for the Future of Deep Time Series Forecasting [65.46625911002202]
時系列予測は、部分的に観測可能で不確実な性質のため、本質的にゼロでない誤差の低い境界に直面する。
本稿では、ディープ時系列予測の性能上限をどうやって推定するかという根本的な問題に焦点をあてる。
新たに訓練された2,800以上の深層予測器の厳密な統計的テストに基づいて、深部モデルの最小予測誤差とウィンドウワイズ級数パターンの複雑さとの間に有意な指数関数的関係を見出した。
論文 参考訳(メタデータ) (2025-10-03T05:18:47Z) - HiPPO-KAN: Efficient KAN Model for Time Series Analysis [8.282069955797171]
我々は、HiPPO理論をコルモゴロフ・アルノルドネットワーク(KAN)フレームワークに導入する。
このHiPPO-KANモデルは、パラメータ数を増大させることなく、長いシーケンスデータに対して優れた性能を達成する。
また,時系列予測モデルでよく発生する遅延問題にも対処する。
論文 参考訳(メタデータ) (2024-10-19T02:03:50Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための因果変換器Timer-XLを提案する。
大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
論文 参考訳(メタデータ) (2024-10-07T07:27:39Z) - Test Time Learning for Time Series Forecasting [1.4605709124065924]
テストタイムトレーニング(TTT)モジュールは、MambaベースのTimeMachineなど、最先端モデルよりも一貫して優れている。
その結果,平均二乗誤差 (MSE) と平均絶対誤差 (MAE) に有意な改善が認められた。
この研究は、時系列予測の新しいベンチマークを設定し、スケーラブルで高性能な予測モデルにおける将来の研究の基礎を定めている。
論文 参考訳(メタデータ) (2024-09-21T04:40:08Z) - Contrastive Difference Predictive Coding [70.03979542891177]
本研究では、時系列データの断片を縫合して、将来の事象の予測を学習するために必要なデータの量を減少させるコントラッシブ予測符号化の時間差版を導入する。
目的条件付きRLの非政治アルゴリズムを導出するために,この表現学習手法を適用した。
論文 参考訳(メタデータ) (2023-10-31T03:16:32Z) - Split Time Series into Patches: Rethinking Long-term Series Forecasting
with Dateformer [17.454822366228335]
時間は時系列の最も重要な特徴の1つだが、あまり注目されていない。
本稿では、上記のプラクティスに従うのではなく、モデリング時間に注意を向けるDateformerを提案する。
ディザフォーマーは、40%の顕著な相対的な改善で最先端の精度を達成し、最大信頼性予測範囲を半年レベルに拡大する。
論文 参考訳(メタデータ) (2022-07-12T08:58:44Z) - Complex Event Forecasting with Prediction Suffix Trees: Extended
Technical Report [70.7321040534471]
複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。
このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。
複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-01T09:52:31Z) - Time-series Imputation and Prediction with Bi-Directional Generative
Adversarial Networks [0.3162999570707049]
本稿では,不規則に観測された時系列データと不規則なエントリを含む長さの時系列データの計算と予測を併用したタスクのモデルを提案する。
我々のモデルは、入力時間ステップ(予測)の内側または外側の欠落した要素をインプットする方法を学び、したがって、時系列データに有効な任意の時間予測ツールとして機能する。
論文 参考訳(メタデータ) (2020-09-18T15:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。