論文の概要: Does Normalization Choice Matter for Causal Large Time-Series Models?
- arxiv url: http://arxiv.org/abs/2606.09954v1
- Date: Mon, 08 Jun 2026 10:51:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.085778
- Title: Does Normalization Choice Matter for Causal Large Time-Series Models?
- Title(参考訳): 因果大時系列モデルの正規化は重要か?
- Authors: Samy-Melwan Vilhes, Gilles Gasso, Mokhtar Z Alaya,
- Abstract要約: 本研究では,トランスフォーマーをベースとした大規模時系列モデルの正規化戦略を,パッチ処理と効率的な因果戦略で訓練した上で評価する。
正規化選択がトレーニング収束と予測性能に大きな影響を及ぼすことを示す。
- 参考スコア(独自算出の注目度): 3.974507021641083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large models for time-series forecasting have been emerged as a promising paradigm for training models on heterogeneous collections of signals. These models typically rely on causal autoregressive architectures, where each observation is sequentially predicted from past. In practice, real-world time-series exhibit non-stationarities, which significantly influence predictive performance. To mitigate this, normalization is commonly employed. However, in efficient causal settings it might induce information leakage from future observations during training. Recent alternatives, including causal normalization and statistics computed from initial observations, have been proposed to address this issue, but their practical implications remain insufficiently understood. In this work, we evaluate normalization strategies for transformer-based large time-series models trained with patching and efficient causal strategy. We showcase that normalization choice significantly influences both training convergence and forecasting performance.
- Abstract(参考訳): 時系列予測のための大規模モデルは、異種信号の集合をトレーニングする上で有望なパラダイムとして浮上してきた。
これらのモデルは典型的には因果的自己回帰アーキテクチャに依存しており、それぞれの観察は過去から逐次予測される。
実際には、実世界の時系列は非定常性を示し、予測性能に大きな影響を及ぼす。
これを緩和するためには、正規化が一般的である。
しかし、効果的な因果的設定では、訓練中の将来の観察から情報漏洩を引き起こす可能性がある。
因果正規化や初期観測から計算された統計などの近年の代替案はこの問題に対処するために提案されているが、その実践的意味はいまだに十分に理解されていない。
本研究では,変換器をベースとした大規模時系列モデルの正規化戦略を,パッチ処理と効率的な因果戦略で訓練した上で評価する。
正規化選択がトレーニング収束と予測性能に大きな影響を及ぼすことを示す。
関連論文リスト
- TimeAPN: Adaptive Amplitude-Phase Non-Stationarity Normalization for Time Series Forecasting [67.91113180885601]
TimeAPNは時間領域と周波数領域の両方から非定常因子を明示的にモデル化し、予測する。
TimeAPNは、複数の予測水平線にわたる長期的な予測精度を一貫して改善する。
これは最先端の可逆正規化法より優れている。
論文 参考訳(メタデータ) (2026-03-18T07:21:24Z) - ChronosX: Adapting Pretrained Time Series Models with Exogenous Variables [30.679739751673655]
本稿では,事前学習した時系列予測モデルに共変量を統合する新しい手法を提案する。
提案手法は,モジュールブロックによる事前学習予測モデルに共変量情報を組み込む。
本手法は,合成データと実データの両方の評価において,事前学習されたモデルに共変量情報を効果的に組み込むことで,既存のベースラインを上回ります。
論文 参考訳(メタデータ) (2025-03-15T12:34:19Z) - Training and Evaluating Causal Forecasting Models for Time-Series [1.1218431616419589]
統計的学習フレームワークを拡張して、トレーニング分布外の行動の効果を予測する際に、より一般化した因果的時系列モデルをトレーニングする。
我々は、経済で人気のある回帰不連続デザインを活用して、因果治療効果のテストセットを構築します。
論文 参考訳(メタデータ) (2024-10-31T18:27:54Z) - On conditional diffusion models for PDE simulations [53.01911265639582]
スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。
本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。
また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2024-10-21T18:31:04Z) - Frequency Adaptive Normalization For Non-stationary Time Series Forecasting [7.881136718623066]
時系列予測は、トレンドと季節パターンを進化させる非定常データに対処する必要がある。
非定常性に対処するために、ある統計測度でこの傾向からの影響を軽減するために、最近インスタンス正規化が提案されている。
本稿では、周波数適応正規化(FAN)と呼ばれる新しいインスタンス正規化ソリューションを提案する。
論文 参考訳(メタデータ) (2024-09-30T15:07:16Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳(メタデータ) (2024-01-17T07:58:18Z) - Lag-Llama: Towards Foundation Models for Probabilistic Time Series
Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。
Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。
このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-10-12T12:29:32Z) - An Extreme-Adaptive Time Series Prediction Model Based on
Probability-Enhanced LSTM Neural Networks [6.5700527395783315]
我々は、極端および正常な予測関数を同時に学習するNEC+と呼ばれる新しい確率強調型ニューラルネットワークモデルを提案する。
本研究では,カリフォルニアの9つの貯水池に適用された3日間の前向き水位予測課題について,提案モデルの評価を行った。
論文 参考訳(メタデータ) (2022-11-29T03:01:59Z) - Simultaneously Reconciled Quantile Forecasting of Hierarchically Related
Time Series [11.004159006784977]
本稿では,階層間の予測の整合性を維持するために,量子レグレッション損失を最適化するフレキシブル非線形モデルを提案する。
ここで導入された理論的枠組みは、下層の微分可微分損失関数を持つ任意の予測モデルに適用できる。
論文 参考訳(メタデータ) (2021-02-25T00:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。