論文の概要: Beyond Static Positional Encoding: Bayesian Time-aware Attention for Non-Stationary Long-term Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2610.19603v1
• Date: Wed, 14 Oct 2026 05:23:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.446763
• Title: Beyond Static Positional Encoding: Bayesian Time-aware Attention for Non-Stationary Long-term Time Series Forecasting
• Title（参考訳）: 静的位置符号化を超えて:非定常時系列予測のためのベイズ時間認識注意
• Abstract要約: 位置符号化が自己注意によって捉えた時間的依存をいかに形作るかを示す。 本稿では,時間的カーネルを適応的に組み合わせるために,エキスパートルータを併用した時間認識型アテンション(BTA)を提案する。 BTAは、複数のTransformerバックボーンの予測性能を継続的に改善する。
• 参考スコア（独自算出の注目度）: 1.3326740529148902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have demonstrated strong performance in long-term time series forecasting (LTSF), yet modeling non-stationary temporal dependencies remains challenging. In this paper, we interpret self-attention as a Bayesian posterior over attended positions, combining a content-based prior induced by scaled dot-product similarity with a temporal-evidence likelihood induced by positional encoding. This formulation provides a probabilistic interpretation of how positional encoding shapes the temporal dependencies captured by self-attention. Building on this perspective, we derive a population-level evidence lower bound (ELBO) that characterizes the role of positional encoding in forecasting weakly stationary time series. Our analysis further highlights a limitation of static positional encoding: when temporal dependence structures vary across input windows, a fixed temporal bias must accommodate heterogeneous dynamics and can therefore be suboptimal for non-stationary forecasting. Motivated by this analysis, we propose Bayesian Time-aware Attention (BTA), which employs a mixture-of-experts (MoE) router to adaptively combine temporal kernels and generate input-conditioned, head-specific positional biases. Extensive experiments on standard LTSF benchmarks demonstrate that BTA consistently improves forecasting performance across multiple Transformer backbones and achieves competitive overall performance with modest computational overhead and stable training.
• Abstract（参考訳）: 変換器は長期時系列予測(LTSF)において高い性能を示してきたが、非定常時間依存のモデル化は依然として困難である。 本稿では,大規模ドット積類似性によって誘導されるコンテンツに基づく事前認識と,位置符号化によって誘発される時間的エビデンス確率を組み合わせ,ベイズ的後続位置として解釈する。 この定式化は、位置エンコーディングが自己注意によって捕獲された時間的依存関係をどのように形作るかの確率論的解釈を提供する。 この観点から、弱定常時系列予測における位置符号化の役割を特徴付ける、人口レベルの低境界(ELBO)を導出する。 時間的依存構造が入力ウィンドウによって異なる場合、固定時間バイアスは不均一なダイナミクスに対応しなくてはならないため、非定常予測には最適である。 この分析により,時相カーネルを適応的に結合し,入力条件付き,頭部特異的な位置バイアスを生成するMEルータを用いたベイズ時間意識(BTA)を提案する。 標準LTSFベンチマークでの大規模な実験により、BTAは複数のTransformerバックボーンの予測性能を一貫して改善し、控えめな計算オーバーヘッドと安定したトレーニングで総合的な性能を達成することが示された。

関連論文リスト

• Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting [64.2640656619583]
  時系列基礎モデル (TSFM) は, 大規模事前学習と検索強化予測により, ゼロショット予測性能が向上した。 本稿では時系列予測のための検索誘導不変動的分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-24T07:31:55Z)
• Embracing Heteroscedasticity for Probabilistic Time Series Forecasting [22.43559255963294]
  Location-Scale Gaussian VAE (LSG-VAE) は、予測平均と時間依存分散の両方を明示的にパラメータ化する、単純だが効果的なフレームワークである。 LSG-VAEは、リアルタイムデプロイメントに適した高い計算効率を維持しながら、15の強力な生成ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-25T12:48:50Z)
• TimeAPN: Adaptive Amplitude-Phase Non-Stationarity Normalization for Time Series Forecasting [67.91113180885601]
  TimeAPNは時間領域と周波数領域の両方から非定常因子を明示的にモデル化し、予測する。 TimeAPNは、複数の予測水平線にわたる長期的な予測精度を一貫して改善する。 これは最先端の可逆正規化法より優れている。
  論文  参考訳（メタデータ） (2026-03-18T07:21:24Z)
• StretchTime: Adaptive Time Series Forecasting via Symplectic Attention [5.339037322817684]
  回転位置埋め込みは,非アフィン時間ワープを数学的に表現できないことを示す。 ハミルトン力学から派生した学習可能な符号化フレームワークであるSymphlectic Positional Embeddings (SyPE)を提案する。 SyPE は回転群 $mathrmSO(2)$ をシンプレクティック群 $mathrmSp(2,mathbbR)$ に拡張することで、RoPE を厳密に一般化する。
  論文  参考訳（メタデータ） (2026-02-09T18:29:25Z)
• A Unified Frequency Domain Decomposition Framework for Interpretable and Robust Time Series Forecasting [81.73338008264115]
  時系列予測の現在のアプローチは、時間領域であれ周波数領域であれ、主に線形層やトランスフォーマーに基づいたディープラーニングモデルを使用する。 本稿では,多種多様な時系列を数学的に抽象化する統合周波数領域分解フレームワークFIREを提案する。 火は長期予測ベンチマークで最先端のモデルを一貫して上回る。
  論文  参考訳（メタデータ） (2025-10-11T09:59:25Z)
• TimeMosaic: Temporal Heterogeneity Guided Time Series Forecasting via Adaptive Granularity Patch and Segment-wise Decoding [3.64798801374117]
  TimeMosaicは、時間的不均一性に対処することを目的とした予測フレームワークである。 TimeMosaicは、局所情報密度に応じて動的に粒度を調整するために適応パッチ埋め込みを採用している。 我々は,321億の観測値を持つ大規模コーパスを訓練し,最先端のTSFMと性能を比較検討した。
  論文  参考訳（メタデータ） (2025-09-23T09:20:00Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。