論文の概要: TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling

• arxiv url: http://arxiv.org/abs/2402.02475v2
• Date: Fri, 7 Jun 2024 07:46:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 20:17:18.323259
• Title: TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling
• Title（参考訳）: TimeSiam: シームズ時系列モデリングのための事前トレーニングフレームワーク
• Authors: Jiaxiang Dong, Haixu Wu, Yuxuan Wang, Yunzhong Qiu, Li Zhang, Jianmin Wang, Mingsheng Long,
• Abstract要約: 時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
• 参考スコア（独自算出の注目度）: 67.02157180089573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series pre-training has recently garnered wide attention for its potential to reduce labeling expenses and benefit various downstream tasks. Prior methods are mainly based on pre-training techniques well-acknowledged in vision or language, such as masked modeling and contrastive learning. However, randomly masking time series or calculating series-wise similarity will distort or neglect inherent temporal correlations crucial in time series data. To emphasize temporal correlation modeling, this paper proposes TimeSiam as a simple but effective self-supervised pre-training framework for Time series based on Siamese networks. Concretely, TimeSiam pre-trains Siamese encoders to capture intrinsic temporal correlations between randomly sampled past and current subseries. With a simple data augmentation method (e.g.~masking), TimeSiam can benefit from diverse augmented subseries and learn internal time-dependent representations through a past-to-current reconstruction. Moreover, learnable lineage embeddings are also introduced to distinguish temporal distance between sampled series and further foster the learning of diverse temporal correlations. TimeSiam consistently outperforms extensive advanced pre-training baselines, demonstrating superior forecasting and classification capabilities across 13 standard benchmarks in both intra- and cross-domain scenarios.
• Abstract（参考訳）: 時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 従来の手法は主に、マスク付きモデリングやコントラスト学習など、視覚や言語でよく認識されている事前学習技術に基づいている。 しかし、ランダムにマスキングする時系列や時系列の類似性を計算することは、時系列データに不可欠な時間的相関を歪ませたり無視する。 時間相関モデルを強調するために,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師付き事前学習フレームワークとしてTimeSiamを提案する。 具体的には、TimeSiamはシームズエンコーダを事前訓練して、ランダムにサンプリングされた過去と現在のサブシリーズの固有の時間的相関をキャプチャする。 TimeSiamは単純なデータ拡張手法(例 - マスキング)により、多様な拡張サブシリーズの恩恵を受け、過去から現在までの再構築を通じて内部の時間依存表現を学ぶことができる。 さらに、サンプル系列間の時間的距離を識別し、多様な時間的相関の学習を促進するために、学習可能な系統埋め込みも導入されている。 TimeSiamは、広範囲の事前トレーニングベースラインを一貫して上回り、ドメイン内およびクロスドメインのシナリオにおいて、13の標準ベンチマークで優れた予測と分類能力を示している。

関連論文リスト

• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。 本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。 私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling [82.69579113377192]
  SimMTM は Masked Time-Series Modeling のための単純な事前トレーニングフレームワークである。 SimMTMは、多様体の外にある複数の隣人の重み付けによるマスク付き時間点の復元を行う。 SimMTMは、最も先進的な時系列事前学習法と比較して、最先端の微調整性能を実現する。
  論文  参考訳（メタデータ） (2023-02-02T04:12:29Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
  本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。 当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。 単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-26T20:41:19Z)
• Series Saliency: Temporal Interpretation for Multivariate Time Series Forecasting [30.054015098590874]
  時系列予測のための時系列解釈のためのシリーズサリエンシーフレームワークを提示する。 時系列のスライディングウィンドウから「時系列画像」を抽出することにより、サリエンシーマップのセグメンテーションを適用する。 本フレームワークは,時系列予測タスクの時間的解釈を生成し,正確な時系列予測を生成する。
  論文  参考訳（メタデータ） (2020-12-16T23:48:00Z)
• A Deep Structural Model for Analyzing Correlated Multivariate Time Series [11.009809732645888]
  相関した多変量時系列入力を処理できる深層学習構造時系列モデルを提案する。 モデルは、トレンド、季節性、イベントコンポーネントを明示的に学習し、抽出する。 我々は,様々な時系列データセットに関する総合的な実験を通して,そのモデルと最先端のいくつかの手法を比較した。
  論文  参考訳（メタデータ） (2020-01-02T18:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。