論文の概要: Self-Supervised Contrastive Learning for Long-term Forecasting
- arxiv url: http://arxiv.org/abs/2402.02023v2
- Date: Sun, 24 Mar 2024 04:01:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 01:45:48.917998
- Title: Self-Supervised Contrastive Learning for Long-term Forecasting
- Title(参考訳): 長期予測のための自己監督型コントラスト学習
- Authors: Junwoo Park, Daehoon Gwak, Jaegul Choo, Edward Choi,
- Abstract要約: 長期予測は、時間とメモリの複雑さによる固有の課題を示す。
スライドウィンドウに頼って長いシーケンスを処理している既存の手法は、長期の変動を効果的に捉えるのに苦労している。
コントラスト学習と拡張分解アーキテクチャを用いて,この制限を克服する新しい手法を提案する。
- 参考スコア(独自算出の注目度): 41.11757636744812
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Long-term forecasting presents unique challenges due to the time and memory complexity of handling long sequences. Existing methods, which rely on sliding windows to process long sequences, struggle to effectively capture long-term variations that are partially caught within the short window (i.e., outer-window variations). In this paper, we introduce a novel approach that overcomes this limitation by employing contrastive learning and enhanced decomposition architecture, specifically designed to focus on long-term variations. To this end, our contrastive loss incorporates global autocorrelation held in the whole time series, which facilitates the construction of positive and negative pairs in a self-supervised manner. When combined with our decomposition networks, our contrastive learning significantly improves long-term forecasting performance. Extensive experiments demonstrate that our approach outperforms 14 baseline models in multiple experiments over nine long-term benchmarks, especially in challenging scenarios that require a significantly long output for forecasting. Source code is available at https://github.com/junwoopark92/Self-Supervised-Contrastive-Forecsating.
- Abstract(参考訳): 長期予測は、長いシーケンスを扱う際の時間とメモリの複雑さによって、ユニークな課題を呈する。
ウィンドウをスライドして長いシーケンスを処理している既存の方法は、ショートウィンドウ内で部分的に捕捉される長期の変動(すなわち外ウィンドウの変動)を効果的に捉えるのに苦労している。
本稿では,コントラスト学習と拡張分解アーキテクチャを用いて,この制限を克服する新しいアプローチを提案する。
この目的のために、我々の対照的な損失は、全時系列に保持される大域的自己相関を取り入れ、自己監督的な方法で正対と負対の構築を容易にする。
コントラスト学習は,分解ネットワークと組み合わせることで,長期予測性能を大幅に向上させる。
大規模な実験では,9つの長期ベンチマークにおいて,14のベースラインモデルよりも優れた結果が得られた。
ソースコードはhttps://github.com/junwoopark92/Self-Supervised-Contrastive-Forecsatingで公開されている。
関連論文リスト
- Multi-Scale Dilated Convolution Network for Long-Term Time Series Forecasting [17.132063819650355]
時系列の周期と傾向を捉えるために,MSDCN(Multi Scale Dilated Convolution Network)を提案する。
指数関数的に増加する拡張と異なるカーネルサイズを持つ異なる畳み込みブロックを設計し、異なるスケールで時系列データをサンプリングする。
提案手法の有効性を検証するため,8つの長期時系列予測ベンチマークデータセットを用いて実験を行った。
論文 参考訳(メタデータ) (2024-05-09T02:11:01Z) - TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
時系列データは、その固有の長短の依存関係によって特徴づけられる。
本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。
我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
論文 参考訳(メタデータ) (2024-04-12T13:41:29Z) - Loss Shaping Constraints for Long-Term Time Series Forecasting [86.6877920044998]
本稿では,長期時系列予測のための制約付き学習手法を提案する。
提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:20:44Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - SutraNets: Sub-series Autoregressive Networks for Long-Sequence,
Probabilistic Forecasting [4.815881393263451]
kyoNetsは、時系列時系列のニューラル確率予測の新しい手法である。
自己回帰生成モデルを用いて、長い配列の確率を条件付き確率の積に分解する。
実世界の6つのデータセットにおいて、競合する代替品よりも予測精度が大幅に向上する。
論文 参考訳(メタデータ) (2023-12-22T18:00:17Z) - Effective Long-Context Scaling of Foundation Models [90.57254298730923]
最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。
我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
論文 参考訳(メタデータ) (2023-09-27T21:41:49Z) - TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential
Modelling [54.97005925277638]
潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。
SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。
そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
論文 参考訳(メタデータ) (2023-08-25T08:54:41Z) - Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。
時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。
我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。
提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文 参考訳(メタデータ) (2022-10-02T06:58:49Z) - Multivariate Time-series Anomaly Detection via Graph Attention Network [27.12694738711663]
多変量時系列の異常検出は、データマイニング研究と産業応用の両方において非常に重要である。
1つの大きな制限は、異なる時系列間の関係を明示的に捉えないことである。
この問題に対処するために,多変量時系列異常検出のための新しい自己教師型フレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-04T07:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。