論文の概要: Self-Supervised Contrastive Forecasting
- arxiv url: http://arxiv.org/abs/2402.02023v1
- Date: Sat, 3 Feb 2024 04:32:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 22:51:41.341850
- Title: Self-Supervised Contrastive Forecasting
- Title(参考訳): 自己監督型コントラスト予測
- Authors: Junwoo Park, Daehoon Gwak, Jaegul Choo, Edward Choi
- Abstract要約: 長期予測は、時間とメモリの複雑さによる固有の課題を示す。
スライドウィンドウに頼って長いシーケンスを処理している既存の手法は、長期の変動を効果的に捉えるのに苦労している。
コントラスト学習と拡張分解アーキテクチャを用いて,この制限を克服する新しい手法を提案する。
- 参考スコア(独自算出の注目度): 44.91799831489097
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Long-term forecasting presents unique challenges due to the time and memory
complexity of handling long sequences. Existing methods, which rely on sliding
windows to process long sequences, struggle to effectively capture long-term
variations that are partially caught within the short window (i.e.,
outer-window variations). In this paper, we introduce a novel approach that
overcomes this limitation by employing contrastive learning and enhanced
decomposition architecture, specifically designed to focus on long-term
variations. To this end, our contrastive loss incorporates global
autocorrelation held in the whole time series, which facilitates the
construction of positive and negative pairs in a self-supervised manner. When
combined with our decomposition networks, our contrastive learning
significantly improves long-term forecasting performance. Extensive experiments
demonstrate that our approach outperforms 14 baseline models in multiple
experiments over nine long-term benchmarks, especially in challenging scenarios
that require a significantly long output for forecasting. Source code is
available at
https://github.com/junwoopark92/Self-Supervised-Contrastive-Forecsating.
- Abstract(参考訳): 長期予測は、長いシーケンスを扱う際の時間とメモリの複雑さによって、ユニークな課題を呈する。
ウィンドウをスライドして長いシーケンスを処理している既存の方法は、ショートウィンドウ内で部分的に捕捉される長期の変動(すなわち外ウィンドウの変動)を効果的に捉えるのに苦労している。
本稿では,コントラスト学習と拡張分解アーキテクチャを用いて,この制限を克服する新しいアプローチを提案する。
この目的のために、我々の対照的な損失は、全時系列に保持される大域的自己相関を取り入れ、自己監督的な方法で正対と負対の構築を容易にする。
コントラスト学習は,分解ネットワークと組み合わせることで,長期予測性能を大幅に向上させる。
広範な実験により,9つの長期ベンチマーク,特に予測にかなり長いアウトプットを必要とする困難なシナリオにおいて,複数の実験で14のベースラインモデルを上回った。
ソースコードはhttps://github.com/junwoopark92/Self-Supervised-Contrastive-Forecsatingで公開されている。
関連論文リスト
- Multi-Scale Dilated Convolution Network for Long-Term Time Series Forecasting [17.132063819650355]
時系列の周期と傾向を捉えるために,MSDCN(Multi Scale Dilated Convolution Network)を提案する。
指数関数的に増加する拡張と異なるカーネルサイズを持つ異なる畳み込みブロックを設計し、異なるスケールで時系列データをサンプリングする。
提案手法の有効性を検証するため,8つの長期時系列予測ベンチマークデータセットを用いて実験を行った。
論文 参考訳(メタデータ) (2024-05-09T02:11:01Z) - TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
時系列データは、その固有の長短の依存関係によって特徴づけられる。
本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。
我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
論文 参考訳(メタデータ) (2024-04-12T13:41:29Z) - Loss Shaping Constraints for Long-Term Time Series Forecasting [86.6877920044998]
本稿では,長期時系列予測のための制約付き学習手法を提案する。
提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:20:44Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - SutraNets: Sub-series Autoregressive Networks for Long-Sequence,
Probabilistic Forecasting [4.815881393263451]
kyoNetsは、時系列時系列のニューラル確率予測の新しい手法である。
自己回帰生成モデルを用いて、長い配列の確率を条件付き確率の積に分解する。
実世界の6つのデータセットにおいて、競合する代替品よりも予測精度が大幅に向上する。
論文 参考訳(メタデータ) (2023-12-22T18:00:17Z) - Effective Long-Context Scaling of Foundation Models [90.57254298730923]
最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。
我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
論文 参考訳(メタデータ) (2023-09-27T21:41:49Z) - TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential
Modelling [54.97005925277638]
潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。
SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。
そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
論文 参考訳(メタデータ) (2023-08-25T08:54:41Z) - Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。
時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。
我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。
提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文 参考訳(メタデータ) (2022-10-02T06:58:49Z) - Multivariate Time-series Anomaly Detection via Graph Attention Network [27.12694738711663]
多変量時系列の異常検出は、データマイニング研究と産業応用の両方において非常に重要である。
1つの大きな制限は、異なる時系列間の関係を明示的に捉えないことである。
この問題に対処するために,多変量時系列異常検出のための新しい自己教師型フレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-04T07:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。