論文の概要: MixLinear: Extreme Low Resource Multivariate Time Series Forecasting with 0.1K Parameters
- arxiv url: http://arxiv.org/abs/2410.02081v1
- Date: Wed, 2 Oct 2024 23:04:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 09:05:40.814465
- Title: MixLinear: Extreme Low Resource Multivariate Time Series Forecasting with 0.1K Parameters
- Title（参考訳）: MixLinear:0.1Kパラメータによる極低リソース多変量時系列予測
- Authors: Aitian Ma, Dongsheng Luo, Mo Sha,
- Abstract要約: 時系列予測(LTSF)は、パターンや傾向を特定するために、大量の時系列データを分析することによって、長期的な価値を予測する。
トランスフォーマーベースのモデルは高い予測精度を提供するが、ハードウェア制約のあるデバイスにデプロイするには計算集約的すぎることが多い。
資源制約のあるデバイスに特化して設計された超軽量時系列予測モデルであるMixLinearを提案する。
- 参考スコア（独自算出の注目度）: 6.733646592789575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, there has been a growing interest in Long-term Time Series Forecasting (LTSF), which involves predicting long-term future values by analyzing a large amount of historical time-series data to identify patterns and trends. There exist significant challenges in LTSF due to its complex temporal dependencies and high computational demands. Although Transformer-based models offer high forecasting accuracy, they are often too compute-intensive to be deployed on devices with hardware constraints. On the other hand, the linear models aim to reduce the computational overhead by employing either decomposition methods in the time domain or compact representations in the frequency domain. In this paper, we propose MixLinear, an ultra-lightweight multivariate time series forecasting model specifically designed for resource-constrained devices. MixLinear effectively captures both temporal and frequency domain features by modeling intra-segment and inter-segment variations in the time domain and extracting frequency variations from a low-dimensional latent space in the frequency domain. By reducing the parameter scale of a downsampled $n$-length input/output one-layer linear model from $O(n^2)$ to $O(n)$, MixLinear achieves efficient computation without sacrificing accuracy. Extensive evaluations with four benchmark datasets show that MixLinear attains forecasting performance comparable to, or surpassing, state-of-the-art models with significantly fewer parameters ($0.1K$), which makes it well-suited for deployment on devices with limited computational capacity.
- Abstract（参考訳）: 近年,長期時系列予測(LTSF)への関心が高まっており,大量の時系列データを分析してパターンや傾向を識別することで,長期的将来価値を予測する。
LTSFには複雑な時間的依存関係と高い計算要求のために大きな課題がある。
Transformerベースのモデルは高い予測精度を提供するが、ハードウェア制約のあるデバイスにデプロイするには計算集約的すぎることが多い。
一方,線形モデルは時間領域の分解法と周波数領域のコンパクト表現を用いて計算オーバーヘッドを低減することを目的としている。
本稿では,資源制約のあるデバイスに特化して設計された,超軽量多変量時系列予測モデルであるMixLinearを提案する。
MixLinearは、時間領域におけるセグメント内およびセグメント間変異をモデル化し、周波数領域内の低次元潜在空間から周波数変動を抽出することにより、時間領域と周波数領域の両方の特徴を効果的にキャプチャする。
ダウンサンプリングされた$n$の入出力1層線形モデルのパラメータスケールを$O(n^2)$から$O(n)$に小さくすることで、MixLinearは精度を犠牲にすることなく効率的な計算を実現する。
4つのベンチマークデータセットによる大規模な評価によると、MixLinearは、パラメータが大幅に少ない最先端モデル(0.1Kドル)に匹敵する、あるいは超えた予測性能を達成している。
関連論文リスト
- Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための生成変換器Timer-XLを提案する。
Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-07T07:27:39Z) - MMFNet: Multi-Scale Frequency Masking Neural Network for Multivariate Time Series Forecasting [6.733646592789575]
長期時系列予測(LTSF)は、電力消費計画、財務予測、疾病の伝播分析など、多くの実世界の応用において重要である。
MMFNetは,マルチスケールマスク付き周波数分解手法を利用して,長期多変量予測を向上する新しいモデルである。
MMFNetは、時系列を様々なスケールの周波数セグメントに変換し、学習可能なマスクを用いて非関連成分を適応的にフィルタリングすることで、微細で中間的で粗い時間パターンをキャプチャする。
論文 参考訳（メタデータ） (2024-10-02T22:38:20Z) - FAITH: Frequency-domain Attention In Two Horizons for Time Series Forecasting [13.253624747448935]
時系列予測は、産業機器の保守、気象学、エネルギー消費、交通流、金融投資など、様々な分野で重要な役割を果たしている。
現在のディープラーニングベースの予測モデルは、予測結果と基礎的真実の間に大きな違いを示すことが多い。
本稿では、時系列をトレンドと季節成分に分解する2つのホライズンズにおける周波数領域注意モデルを提案する。
論文 参考訳（メタデータ） (2024-05-22T02:37:02Z) - SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters [16.966008476215258]
本稿では,長期時系列予測(LTSF)のための新しい,極めて軽量なモデルであるSparseTSFを紹介する。
SparseTSFの中心にはCross-Period Sparse Forecasting技術があり、時系列データの周期性と傾向を分離することで予測タスクを単純化する。
SparseTSFは目覚ましい一般化機能を示しており、限られた計算資源、小さなサンプル、低品質のデータを扱うシナリオに適している。
論文 参考訳（メタデータ） (2024-05-02T02:15:23Z) - TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
時系列データは、その固有の長短の依存関係によって特徴づけられる。
本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。
我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
論文 参考訳（メタデータ） (2024-04-12T13:41:29Z) - PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from
the perspective of partial differential equations [49.80959046861793]
本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。
7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
論文 参考訳（メタデータ） (2024-02-25T17:39:44Z) - TFMQ-DM: Temporal Feature Maintenance Quantization for Diffusion Models [52.454274602380124]
拡散モデルは非常に時間ステップ$t$に大きく依存し、良好なマルチラウンドデノジングを実現している。
本稿では,時間情報ブロック上に構築した時間的特徴保守量子化(TFMQ)フレームワークを提案する。
先駆的なブロック設計により、時間情報認識再構成(TIAR)と有限集合キャリブレーション(FSC)を考案し、完全な時間的特徴を整列させる。
論文 参考訳（メタデータ） (2023-11-27T12:59:52Z) - A Joint Time-frequency Domain Transformer for Multivariate Time Series
Forecasting [7.501660339993144]
本稿では、JTFT(Joint Time-Frequency Domain Transformer)を紹介する。
JTFTは時間と周波数領域の表現を組み合わせて予測を行う。
6つの実世界のデータセットの実験結果から、JTFTは予測性能において最先端のベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2023-05-24T02:37:23Z) - Generative Time Series Forecasting with Diffusion, Denoise, and
Disentanglement [51.55157852647306]
時系列予測は多くのアプリケーションにおいて非常に重要な課題である。
実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。
本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
論文 参考訳（メタデータ） (2023-01-08T12:20:46Z) - Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。
時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。
我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。
提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文 参考訳（メタデータ） (2022-10-02T06:58:49Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。