論文の概要: Mlinear: Rethink the Linear Model for Time-series Forecasting

• arxiv url: http://arxiv.org/abs/2305.04800v2
• Date: Thu, 3 Aug 2023 16:11:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 16:45:17.161255
• Title: Mlinear: Rethink the Linear Model for Time-series Forecasting
• Title（参考訳）: Mlinear: 時系列予測の線形モデルを再考する
• Authors: Wei Li, Xiangxu Meng, Chuhao Chen and Jianing Chen
• Abstract要約: Mlinearは、主に線形層に基づく単純だが効果的な方法である。 複数のデータセット上で広く使われている平均二乗誤差(MSE)を大幅に上回る新しい損失関数を導入する。 提案手法は,PatchTSTを336列長入力で21:3,512列長入力で29:10で有意に上回った。
• 参考スコア（独自算出の注目度）: 9.841293660201261
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, significant advancements have been made in time-series forecasting research, with an increasing focus on analyzing the nature of time-series data, e.g, channel-independence (CI) and channel-dependence (CD), rather than solely focusing on designing sophisticated forecasting models. However, current research has primarily focused on either CI or CD in isolation, and the challenge of effectively combining these two opposing properties to achieve a synergistic effect remains an unresolved issue. In this paper, we carefully examine the opposing properties of CI and CD, and raise a practical question that has not been effectively answered, e.g.,"How to effectively mix the CI and CD properties of time series to achieve better predictive performance?" To answer this question, we propose Mlinear (MIX-Linear), a simple yet effective method based mainly on linear layers. The design philosophy of Mlinear mainly includes two aspects:(1) dynamically tuning the CI and CD properties based on the time semantics of different input time series, and (2) providing deep supervision to adjust the individual performance of the "CI predictor" and "CD predictor". In addition, empirically, we introduce a new loss function that significantly outperforms the widely used mean squared error (MSE) on multiple datasets. Experiments on time-series datasets covering multiple fields and widely used have demonstrated the superiority of our method over PatchTST which is the lateset Transformer-based method in terms of the MSE and MAE metrics on 7 datasets with identical sequence inputs (336 or 512). Specifically, our method significantly outperforms PatchTST with a ratio of 21:3 at 336 sequence length input and 29:10 at 512 sequence length input. Additionally, our approach has a 10 $\times$ efficiency advantage at the unit level, taking into account both training and inference times.
• Abstract（参考訳）: 近年、時系列予測研究において、洗練された予測モデルの設計のみに焦点をあてるのではなく、時系列データ(チャネル独立性(ci)とチャネル依存性(cd)の性質を分析することに重点が置かれている。 しかし、現在の研究は主にCIまたはCDの分離に重点を置いており、これら2つの対立する特性を効果的に組み合わせて相乗効果を達成するという課題は未解決の問題のままである。 本稿では,ci と cd の相反する性質を慎重に検討し,「時系列のci と cd の特性を効果的に混合し,より良い予測性能を実現するにはどのようにすればよいか」というような,実効的な疑問を提起する。 そこで本研究では,線形層を主とする単純かつ効果的な手法であるmlinear (mix-linear)を提案する。 Mlinearの設計哲学は、(1)異なる入力時系列の時間意味に基づいて、CIとCDのプロパティを動的にチューニングすること、(2)「CI予測器」と「CD予測器」の個々の性能を調整するための深い監督を提供することである。 さらに,複数のデータセット上で広く使用されている平均二乗誤差(MSE)を大幅に上回る新たな損失関数を導入する。 複数のフィールドを対象とする時系列データセットを用いた実験により,同一のシーケンス入力を持つ7つのデータセット上でのMSEおよびMAEメトリクス(336または512)の遅延セットトランスフォーマー法であるPatchTSTに対して,本手法の優位性を実証した。 具体的には, 336シーケンス長入力で21:3, 512シーケンス長入力で29:10の比でpattstを有意に上回っている。 さらに、我々のアプローチは、トレーニング時間と推論時間の両方を考慮して、ユニットレベルで10$\times$効率の利点があります。

関連論文リスト

• TS-TCD: Triplet-Level Cross-Modal Distillation for Time-Series Forecasting Using Large Language Models [15.266543423942617]
  本稿では,3段階のクロスモーダルな知識蒸留機構を包括的に導入する新しいフレームワークTS-TCDを提案する。 分離されたアライメント技術に焦点を当てた以前の作業とは異なり、私たちのフレームワークは体系的に統合されます。 ベンチマークタイムシリーズの実験では、TS-TCDは最先端の結果を達成し、精度と堅牢性の両方で従来の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2024-09-23T12:57:24Z)
• Test Time Learning for Time Series Forecasting [1.4605709124065924]
  テストタイムトレーニング(TTT)モジュールは、MambaベースのTimeMachineなど、最先端モデルよりも一貫して優れている。 その結果,平均二乗誤差 (MSE) と平均絶対誤差 (MAE) に有意な改善が認められた。 この研究は、時系列予測の新しいベンチマークを設定し、スケーラブルで高性能な予測モデルにおける将来の研究の基礎を定めている。
  論文  参考訳（メタデータ） (2024-09-21T04:40:08Z)
• MGCP: A Multi-Grained Correlation based Prediction Network for Multivariate Time Series [54.91026286579748]
  本稿では,マルチグラインド相関に基づく予測ネットワークを提案する。 予測性能を高めるために3段階の相関を同時に検討する。 注意機構に基づく予測器と条件判別器を用いて、粗い粒度の予測結果を最適化する。
  論文  参考訳（メタデータ） (2024-05-30T03:32:44Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series Interpretable Forecasting [13.790498420659636]
  時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。 本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。 時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
  論文  参考訳（メタデータ） (2023-07-13T13:16:01Z)
• The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting [50.48888534815361]
  本稿では、Channel Dependent(CD)戦略でトレーニングされたモデルが、Channel Dependent(CD)戦略でトレーニングされたモデルよりも優れていることを示す。 以上の結果から,CD手法は高いキャパシティを持つが,分散ドリフト時系列を正確に予測する堅牢性に欠けることがわかった。 本稿では,CI戦略を超越した正規化(PRReg)による予測残差法(Predict Residuals with Regularization, PRReg)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:15:33Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• Enhancing Transformer Efficiency for Multivariate Time Series Classification [12.128991867050487]
  本稿では,モデル効率と精度,複雑さの関係を考察する手法を提案する。 ベンチマークMSSデータセットの総合実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-03-28T03:25:19Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Time Series Forecasting with Ensembled Stochastic Differential Equations Driven by L\'evy Noise [2.3076895420652965]
  我々は、ニューラルネットワークを備えたSDEの集合を用いて、ノイズのある時系列の長期的な傾向を予測する。 まず、位相空間再構成法を用いて時系列データの固有次元を抽出する。 次に、$alpha$-stable L'evyの動作によって駆動されるSDEを探索し、時系列データをモデル化し、ニューラルネットワーク近似を用いて問題を解く。
  論文  参考訳（メタデータ） (2021-11-25T16:49:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。