論文の概要: OLinear: A Linear Model for Time Series Forecasting in Orthogonally Transformed Domain

• arxiv url: http://arxiv.org/abs/2505.08550v1
• Date: Mon, 12 May 2025 10:39:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.58211
• Title: OLinear: A Linear Model for Time Series Forecasting in Orthogonally Transformed Domain
• Title（参考訳）: OLinear:直交変換領域における時系列予測の線形モデル
• Authors: Wenzhen Yue, Yong Liu, Haoxuan Li, Hao Wang, Xianghua Ying, Ruohao Guo, Bowei Xing, Ji Shi,
• Abstract要約: OLinearは$mathbfo$rthogonally変換されたドメインで、$mathbfo$rthogonally変換されたドメインで動作する。 多変量依存を捉えるために正規化重み行列を利用する、カスタマイズされた線形層である $mathbfNormLin$ を導入する。 24のベンチマークと140の予測タスクの実験は、OLinearが常に最先端のパフォーマンスを高い効率で達成していることを示している。
• 参考スコア（独自算出の注目度）: 24.24834151329251
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents $\mathbf{OLinear}$, a $\mathbf{linear}$-based multivariate time series forecasting model that operates in an $\mathbf{o}$rthogonally transformed domain. Recent forecasting models typically adopt the temporal forecast (TF) paradigm, which directly encode and decode time series in the time domain. However, the entangled step-wise dependencies in series data can hinder the performance of TF. To address this, some forecasters conduct encoding and decoding in the transformed domain using fixed, dataset-independent bases (e.g., sine and cosine signals in the Fourier transform). In contrast, we utilize $\mathbf{OrthoTrans}$, a data-adaptive transformation based on an orthogonal matrix that diagonalizes the series' temporal Pearson correlation matrix. This approach enables more effective encoding and decoding in the decorrelated feature domain and can serve as a plug-in module to enhance existing forecasters. To enhance the representation learning for multivariate time series, we introduce a customized linear layer, $\mathbf{NormLin}$, which employs a normalized weight matrix to capture multivariate dependencies. Empirically, the NormLin module shows a surprising performance advantage over multi-head self-attention, while requiring nearly half the FLOPs. Extensive experiments on 24 benchmarks and 140 forecasting tasks demonstrate that OLinear consistently achieves state-of-the-art performance with high efficiency. Notably, as a plug-in replacement for self-attention, the NormLin module consistently enhances Transformer-based forecasters. The code and datasets are available at https://anonymous.4open.science/r/OLinear
• Abstract（参考訳）: 本稿では、$\mathbf{OLinear}$, a $\mathbf{linear}$-based multivariate time series forecasting modelを、$\mathbf{o}$rthogonally converted domainで動作させる。 最近の予測モデルは、時間領域の時系列を直接エンコードしデコードする時間予測(TF)パラダイムを採用するのが一般的である。 しかし、逐次データにおけるステップワイドな依存関係は、TFの性能を阻害する可能性がある。 これを解決するために、いくつかの予測器は、固定されたデータセットに依存しないベース(例えばフーリエ変換における正弦信号、正弦信号)を使用して変換された領域で符号化と復号を行う。 対照的に、直交行列に基づくデータ適応変換である $\mathbf{OrthoTrans}$ を用いて、系列の時間的ピアソン相関行列を対角化する。 このアプローチにより、デコラー機能領域におけるより効果的なエンコーディングとデコードが可能になり、既存の予測機能を強化するプラグインモジュールとして機能する。 多変量時系列の表現学習を強化するために、多変量依存を捉えるために正規化重み行列を用いる、カスタマイズされた線形層$\mathbf{NormLin}$を導入する。 経験的に、NormLinモジュールは、FLOPのほぼ半分を必要としながら、マルチヘッドの自己アテンションよりも驚くほどパフォーマンス上のアドバンテージを示している。 24のベンチマークと140の予測タスクに関する大規模な実験は、OLinearが常に最先端のパフォーマンスを高い効率で達成していることを示している。 特に、自己アテンションのプラグイン代替として、NormLinモジュールはTransformerベースの予測機能を一貫して強化している。 コードとデータセットはhttps://anonymous.4open.science/r/OLinearで公開されている。

関連論文リスト

• Sensorformer: Cross-patch attention with global-patch compression is effective for high-dimensional multivariate time series forecasting [12.103678233732584]
  本稿では,まずグローバルパッチ情報を圧縮し,同時に圧縮された表現からクロス変数およびクロスタイム依存関係を抽出する新しい変換器であるSensorformerを提案する。 センサフォーマは、変数間の動的因果ラグが存在する場合でも、適切な変数間の相関関係と因果関係を効果的に捉えることができる。
  論文  参考訳（メタデータ） (2025-01-06T03:14:47Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Optimal Matrix-Mimetic Tensor Algebras via Variable Projection [0.0]
  行列緩和性(Matrix mimeticity)は、テンソルを、行列に類似した乗算、分解、解析が可能な作用素として解釈することから生じる。 我々は、データの事前の知識に頼ることなく、最適線形写像と対応するテンソル表現を学習する。 可変射影型アルゴリズムの変換と収束解析の独創性理論を提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:52:23Z)
• MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting [18.990322695844675]
  トランスフォーマーベースのモデルは、最近時系列予測の境界を大きく押し上げている。 既存のメソッドは通常、時系列データを$textitpatches$にエンコードする。 最適パッチ長を適応的に選択することで時間変動を動的にモデル化するMultiResFormerを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:24:33Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
  モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。 クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。 KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
  論文  参考訳（メタデータ） (2023-10-04T07:14:43Z)
• Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
  予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。 変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。 WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
  論文  参考訳（メタデータ） (2022-03-02T15:36:44Z)
• Warped Dynamic Linear Models for Time Series of Counts [1.3515965758160216]
  ガウスDLMをワープして時系列をカウントするための新しい半パラメトリック手法を提案する。 これらの結果を利用して、推論と予測のためのカスタマイズされた効率的なアルゴリズムを作成します。
  論文  参考訳（メタデータ） (2021-10-27T21:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。