論文の概要: Statistical benchmarking of transformer models in low signal-to-noise time-series forecasting

• arxiv url: http://arxiv.org/abs/2602.09869v1
• Date: Tue, 10 Feb 2026 15:13:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.63007
• Title: Statistical benchmarking of transformer models in low signal-to-noise time-series forecasting
• Title（参考訳）: 低信号対雑音時系列予測における変圧器モデルの統計的ベンチマーク
• Authors: Cyril Garcia, Guillaume Remy,
• Abstract要約: 時間的・横断的な自己注意を交互に行う双方向アテンショントランスフォーマーは,標準ベースラインより優れていることを示す。 また、トレーニング中に適用された注意行列の動的スペーシフィケーション手法を導入し、ノイズの多い環境において顕著に有効であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the performance of transformer architectures for multivariate time-series forecasting in low-data regimes consisting of only a few years of daily observations. Using synthetically generated processes with known temporal and cross-sectional dependency structures and varying signal-to-noise ratios, we conduct bootstrapped experiments that enable direct evaluation via out-of-sample correlations with the optimal ground-truth predictor. We show that two-way attention transformers, which alternate between temporal and cross-sectional self-attention, can outperform standard baselines-Lasso, boosting methods, and fully connected multilayer perceptrons-across a wide range of settings, including low signal-to-noise regimes. We further introduce a dynamic sparsification procedure for attention matrices applied during training, and demonstrate that it becomes significantly effective in noisy environments, where the correlation between the target variable and the optimal predictor is on the order of a few percent. Analysis of the learned attention patterns reveals interpretable structure and suggests connections to sparsity-inducing regularization in classical regression, providing insight into why these models generalize effectively under noise.
• Abstract（参考訳）: 本稿では, わずか数年の日々の観測結果からなる低データ体制における多変量時系列予測のための変圧器アーキテクチャの性能について検討する。 時間的および断面的依存構造と様々な信号-雑音比を持つ合成プロセスを用いて、最適な接地トラス予測器とサンプル外相関による直接評価を可能にするブートストラップ実験を行う。 時間的・横断的な自己注意を交互に行う双方向のアテンショントランスフォーマーは,低信号対雑音を含む幅広い環境において,標準ベースラインであるLasso,ブースティング手法,および完全接続多層パーセプトロンよりも優れることを示す。 さらに、トレーニング中に適用された注意行列の動的スペーシフィケーション手法を導入し、目標変数と最適予測器との相関が数パーセントの順である雑音環境において、それが顕著に有効になることを示す。 学習された注意パターンの分析は、解釈可能な構造を示し、古典的回帰におけるスパーシティー誘導規則化との関係を示唆し、これらのモデルがなぜノイズの下で効果的に一般化されるのかを洞察する。

関連論文リスト

• Contextual and Seasonal LSTMs for Time Series Anomaly Detection [49.50689313712684]
  CS-LSTM (Contextual and Seasonal LSTMs) という新しい予測型フレームワークを提案する。 CS-LSTMはノイズ分解戦略に基づいて構築され、コンテキスト依存と季節パターンを併用する。 彼らは一貫して最先端の手法を上回り、堅牢な時系列異常検出における有効性と実用的価値を強調した。
  論文  参考訳（メタデータ） (2026-02-10T11:46:15Z)
• Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting [0.0]
  本稿では,局所的時間的表現学習をグローバル依存モデルから分離する2段階予測フレームワークを提案する。 畳み込みニューラルネットワークは、固定長の時間的パッチで動作し、短距離時間的ダイナミクスと非線形特徴相互作用を抽出する。 その後、Transformerエンコーダがパッチ間の時間依存性をモデル化し、予測を生成する。
  論文  参考訳（メタデータ） (2026-01-18T16:16:01Z)
• A Unified Frequency Domain Decomposition Framework for Interpretable and Robust Time Series Forecasting [81.73338008264115]
  時系列予測の現在のアプローチは、時間領域であれ周波数領域であれ、主に線形層やトランスフォーマーに基づいたディープラーニングモデルを使用する。 本稿では,多種多様な時系列を数学的に抽象化する統合周波数領域分解フレームワークFIREを提案する。 火は長期予測ベンチマークで最先端のモデルを一貫して上回る。
  論文  参考訳（メタデータ） (2025-10-11T09:59:25Z)
• Frequency-Constrained Learning for Long-Term Forecasting [15.31488551912888]
  実世界の時系列は、物理法則、人間のルーチン、季節周期から生じる強い周期構造を示す。 現代の深層予測モデルは、スペクトルバイアスと周波数認識による誘導前兆の欠如により、繰り返し発生するパターンを捉えることができないことが多い。 本稿では,周期性を明示的にモデル化し,長期予測を効果的に行う手法を提案する。
  論文  参考訳（メタデータ） (2025-08-02T22:12:15Z)
• MFRS: A Multi-Frequency Reference Series Approach to Scalable and Accurate Time-Series Forecasting [51.94256702463408]
  時系列予測は、周波数の異なる周期特性から導かれる。 マルチ周波数参照系列相関解析に基づく新しい時系列予測手法を提案する。 主要なオープンデータセットと合成データセットの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-03-11T11:40:14Z)
• Improved Noise Schedule for Diffusion Training [51.849746576387375]
  本稿では,拡散モデルのトレーニングを強化するため,ノイズスケジュールを設計するための新しい手法を提案する。 我々は,標準のコサインスケジュールよりもノイズスケジュールの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-07-03T17:34:55Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Stacked Residuals of Dynamic Layers for Time Series Anomaly Detection [0.0]
  多変量時系列における異常検出を行うために,終端から終端までの微分可能なニューラルネットワークアーキテクチャを提案する。 このアーキテクチャは、信号の線形予測可能なコンポーネントを分離するために設計された動的システムのカスケードである。 異常検出器は、予測残差の時間的構造を利用して、孤立した点異常とセットポイントの変化の両方を検出する。
  論文  参考訳（メタデータ） (2022-02-25T01:50:22Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。