論文の概要: TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling

• arxiv url: http://arxiv.org/abs/2402.02475v2
• Date: Fri, 7 Jun 2024 07:46:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 20:17:18.323259
• Title: TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling
• Title（参考訳）: TimeSiam: シームズ時系列モデリングのための事前トレーニングフレームワーク
• Authors: Jiaxiang Dong, Haixu Wu, Yuxuan Wang, Yunzhong Qiu, Li Zhang, Jianmin Wang, Mingsheng Long,
• Abstract要約: 時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
• 参考スコア（独自算出の注目度）: 67.02157180089573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series pre-training has recently garnered wide attention for its potential to reduce labeling expenses and benefit various downstream tasks. Prior methods are mainly based on pre-training techniques well-acknowledged in vision or language, such as masked modeling and contrastive learning. However, randomly masking time series or calculating series-wise similarity will distort or neglect inherent temporal correlations crucial in time series data. To emphasize temporal correlation modeling, this paper proposes TimeSiam as a simple but effective self-supervised pre-training framework for Time series based on Siamese networks. Concretely, TimeSiam pre-trains Siamese encoders to capture intrinsic temporal correlations between randomly sampled past and current subseries. With a simple data augmentation method (e.g.~masking), TimeSiam can benefit from diverse augmented subseries and learn internal time-dependent representations through a past-to-current reconstruction. Moreover, learnable lineage embeddings are also introduced to distinguish temporal distance between sampled series and further foster the learning of diverse temporal correlations. TimeSiam consistently outperforms extensive advanced pre-training baselines, demonstrating superior forecasting and classification capabilities across 13 standard benchmarks in both intra- and cross-domain scenarios.
• Abstract（参考訳）: 時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 従来の手法は主に、マスク付きモデリングやコントラスト学習など、視覚や言語でよく認識されている事前学習技術に基づいている。 しかし、ランダムにマスキングする時系列や時系列の類似性を計算することは、時系列データに不可欠な時間的相関を歪ませたり無視する。 時間相関モデルを強調するために,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師付き事前学習フレームワークとしてTimeSiamを提案する。 具体的には、TimeSiamはシームズエンコーダを事前訓練して、ランダムにサンプリングされた過去と現在のサブシリーズの固有の時間的相関をキャプチャする。 TimeSiamは単純なデータ拡張手法(例 - マスキング)により、多様な拡張サブシリーズの恩恵を受け、過去から現在までの再構築を通じて内部の時間依存表現を学ぶことができる。 さらに、サンプル系列間の時間的距離を識別し、多様な時間的相関の学習を促進するために、学習可能な系統埋め込みも導入されている。 TimeSiamは、広範囲の事前トレーニングベースラインを一貫して上回り、ドメイン内およびクロスドメインのシナリオにおいて、13の標準ベンチマークで優れた予測と分類能力を示している。

関連論文リスト

• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling [82.69579113377192]
  SimMTM は Masked Time-Series Modeling のための単純な事前トレーニングフレームワークである。 SimMTMは、多様体の外にある複数の隣人の重み付けによるマスク付き時間点の復元を行う。 SimMTMは、最も先進的な時系列事前学習法と比較して、最先端の微調整性能を実現する。
  論文  参考訳（メタデータ） (2023-02-02T04:12:29Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
  本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。 当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。 単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-26T20:41:19Z)
• Synergetic Learning of Heterogeneous Temporal Sequences for Multi-Horizon Probabilistic Forecasting [48.8617204809538]
  本稿では,新しい条件生成モデルである変分相乗型マルチホライゾンネットワーク(VSMHN)を提案する。 不均一なシーケンス間で複雑な相関関係を学習するために、深部プロセスモデルと変動的リカレントニューラルネットワークの進歩を組み合わせるために、調整されたエンコーダが考案された。 我々のモデルは変動予測を用いて効果的に訓練でき、モンテカルロシミュレーションを用いて予測を生成することができる。
  論文  参考訳（メタデータ） (2021-01-31T11:00:55Z)
• Series Saliency: Temporal Interpretation for Multivariate Time Series Forecasting [30.054015098590874]
  時系列予測のための時系列解釈のためのシリーズサリエンシーフレームワークを提示する。 時系列のスライディングウィンドウから「時系列画像」を抽出することにより、サリエンシーマップのセグメンテーションを適用する。 本フレームワークは,時系列予測タスクの時間的解釈を生成し,正確な時系列予測を生成する。
  論文  参考訳（メタデータ） (2020-12-16T23:48:00Z)
• Self-Supervised Time Series Representation Learning by Inter-Intra Relational Reasoning [18.72937677485634]
  本稿では,汎用的な自己教師型時系列表現学習フレームワークであるSelfTimeを紹介する。 本研究では,時系列のサンプル間関係と時間内関係を探索し,ラベルなし時系列の基盤となる構造特徴を学習する。 時系列の有用な表現は、関係推論ヘッドの監督の下、バックボーンから抽出される。
  論文  参考訳（メタデータ） (2020-11-27T04:04:17Z)
• A Deep Structural Model for Analyzing Correlated Multivariate Time Series [11.009809732645888]
  相関した多変量時系列入力を処理できる深層学習構造時系列モデルを提案する。 モデルは、トレンド、季節性、イベントコンポーネントを明示的に学習し、抽出する。 我々は,様々な時系列データセットに関する総合的な実験を通して,そのモデルと最先端のいくつかの手法を比較した。
  論文  参考訳（メタデータ） (2020-01-02T18:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。