論文の概要: Self-Supervised Contrastive Learning for Long-term Forecasting

• arxiv url: http://arxiv.org/abs/2402.02023v2
• Date: Sun, 24 Mar 2024 04:01:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 01:45:48.917998
• Title: Self-Supervised Contrastive Learning for Long-term Forecasting
• Title（参考訳）: 長期予測のための自己監督型コントラスト学習
• Authors: Junwoo Park, Daehoon Gwak, Jaegul Choo, Edward Choi,
• Abstract要約: 長期予測は、時間とメモリの複雑さによる固有の課題を示す。 スライドウィンドウに頼って長いシーケンスを処理している既存の手法は、長期の変動を効果的に捉えるのに苦労している。 コントラスト学習と拡張分解アーキテクチャを用いて,この制限を克服する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 41.11757636744812
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Long-term forecasting presents unique challenges due to the time and memory complexity of handling long sequences. Existing methods, which rely on sliding windows to process long sequences, struggle to effectively capture long-term variations that are partially caught within the short window (i.e., outer-window variations). In this paper, we introduce a novel approach that overcomes this limitation by employing contrastive learning and enhanced decomposition architecture, specifically designed to focus on long-term variations. To this end, our contrastive loss incorporates global autocorrelation held in the whole time series, which facilitates the construction of positive and negative pairs in a self-supervised manner. When combined with our decomposition networks, our contrastive learning significantly improves long-term forecasting performance. Extensive experiments demonstrate that our approach outperforms 14 baseline models in multiple experiments over nine long-term benchmarks, especially in challenging scenarios that require a significantly long output for forecasting. Source code is available at https://github.com/junwoopark92/Self-Supervised-Contrastive-Forecsating.
• Abstract（参考訳）: 長期予測は、長いシーケンスを扱う際の時間とメモリの複雑さによって、ユニークな課題を呈する。 ウィンドウをスライドして長いシーケンスを処理している既存の方法は、ショートウィンドウ内で部分的に捕捉される長期の変動(すなわち外ウィンドウの変動)を効果的に捉えるのに苦労している。 本稿では,コントラスト学習と拡張分解アーキテクチャを用いて,この制限を克服する新しいアプローチを提案する。 この目的のために、我々の対照的な損失は、全時系列に保持される大域的自己相関を取り入れ、自己監督的な方法で正対と負対の構築を容易にする。 コントラスト学習は,分解ネットワークと組み合わせることで,長期予測性能を大幅に向上させる。 大規模な実験では,9つの長期ベンチマークにおいて,14のベースラインモデルよりも優れた結果が得られた。 ソースコードはhttps://github.com/junwoopark92/Self-Supervised-Contrastive-Forecsatingで公開されている。

関連論文リスト

• Introducing Spectral Attention for Long-Range Dependency in Time Series Forecasting [36.577411683455786]
  最近の線形および変圧器ベースの予測器は時系列予測において優れた性能を示している。 時系列データにおける長距離依存関係を効果的に扱うことができないという点で制約されている。 本稿では,試料間の時間的相関を保った高速かつ効果的なスペクトル注意機構を提案する。
  論文  参考訳（メタデータ） (2024-10-28T06:17:20Z)
• Selecting Influential Samples for Long Context Alignment via Homologous Models' Guidance and Contextual Awareness Measurement [62.87020831987625]
  本稿では,長距離依存関係に富む影響力のある,高品質なサンプルを識別する新しいフレームワークを提案する。 我々は、長距離依存を効果的にフレーム化するために、影響力のあるデータとして最も難しいサンプルを選択する。 実験により, GATEAUは長距離依存関係に富んだサンプルを効果的に同定し, これらのサンプルに基づいて訓練したモデルにより, より優れた指示追従と長文理解能力を示すことが示された。
  論文  参考訳（メタデータ） (2024-10-21T04:30:53Z)
• Deep End-to-End Survival Analysis with Temporal Consistency [49.77103348208835]
  本稿では,大規模長手データの処理を効率的に行うために,Survival Analysisアルゴリズムを提案する。 我々の手法における中心的な考え方は、時間とともにデータにおける過去と将来の成果が円滑に進化するという仮説である時間的一貫性である。 我々のフレームワークは、安定したトレーニング信号を提供することで、時間的一貫性を大きなデータセットに独自に組み込む。
  論文  参考訳（メタデータ） (2024-10-09T11:37:09Z)
• TimeBridge: Non-Stationarity Matters for Long-term Time Series Forecasting [49.6208017412376]
  TimeBridgeは、非定常性と依存性モデリングの間のギャップを埋めるために設計された新しいフレームワークである。 TimeBridgeは、短期予測と長期予測の両方において、最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2024-10-06T10:41:03Z)
• Multiscale Representation Enhanced Temporal Flow Fusion Model for Long-Term Workload Forecasting [19.426131129034115]
  本稿では,自己指導型マルチスケール表現学習を利用して,長期および短期のワークロードパターンを抽出する新しいフレームワークを提案する。 長期履歴はマルチスケール表現によって符号化され、短期観測は時流融合によってモデル化される。
  論文  参考訳（メタデータ） (2024-07-29T04:42:18Z)
• Multi-Scale Dilated Convolution Network for Long-Term Time Series Forecasting [17.132063819650355]
  時系列の周期と傾向を捉えるために,MSDCN(Multi Scale Dilated Convolution Network)を提案する。 指数関数的に増加する拡張と異なるカーネルサイズを持つ異なる畳み込みブロックを設計し、異なるスケールで時系列データをサンプリングする。 提案手法の有効性を検証するため,8つの長期時系列予測ベンチマークデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-05-09T02:11:01Z)
• Loss Shaping Constraints for Long-Term Time Series Forecasting [79.3533114027664]
  本稿では,長期時系列予測のための制約付き学習手法を提案する。 提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:20:44Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。