論文の概要: Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency

• arxiv url: http://arxiv.org/abs/2206.08496v1
• Date: Fri, 17 Jun 2022 00:45:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 12:59:59.482055
• Title: Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency
• Title（参考訳）: 時間周波数一貫性による自己監督型コントラスト事前訓練
• Authors: Xiang Zhang, Ziyuan Zhao, Theodoros Tsiligkaridis, Marinka Zitnik
• Abstract要約: メソッドは、異なる時間的ダイナミクスを持つターゲットドメインに対応する必要がある。 時間周波数整合性(TF-C)は事前トレーニングに望ましい。 TF-Cは1対1の設定で平均15.4%(F1スコア)でベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 19.1862172442857
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pre-training on time series poses a unique challenge due to the potential mismatch between pre-training and target domains, such as shifts in temporal dynamics, fast-evolving trends, and long-range and short cyclic effects, which can lead to poor downstream performance. While domain adaptation methods can mitigate these shifts, most methods need examples directly from the target domain, making them suboptimal for pre-training. To address this challenge, methods need to accommodate target domains with different temporal dynamics and be capable of doing so without seeing any target examples during pre-training. Relative to other modalities, in time series, we expect that time-based and frequency-based representations of the same example are located close together in the time-frequency space. To this end, we posit that time-frequency consistency (TF-C) -- embedding a time-based neighborhood of a particular example close to its frequency-based neighborhood and back -- is desirable for pre-training. Motivated by TF-C, we define a decomposable pre-training model, where the self-supervised signal is provided by the distance between time and frequency components, each individually trained by contrastive estimation. We evaluate the new method on eight datasets, including electrodiagnostic testing, human activity recognition, mechanical fault detection, and physical status monitoring. Experiments against eight state-of-the-art methods show that TF-C outperforms baselines by 15.4% (F1 score) on average in one-to-one settings (e.g., fine-tuning an EEG-pretrained model on EMG data) and by up to 8.4% (F1 score) in challenging one-to-many settings, reflecting the breadth of scenarios that arise in real-world applications. The source code and datasets are available at https: //anonymous.4open.science/r/TFC-pretraining-6B07.
• Abstract（参考訳）: 時系列での事前トレーニングは、時間的ダイナミクスの変化、急速な発展傾向、長距離および短いサイクル効果など、事前トレーニングとターゲットドメインの潜在的なミスマッチが下流のパフォーマンスを損なう可能性があるため、ユニークな課題となっている。 ドメイン適応メソッドはこれらのシフトを緩和するが、ほとんどのメソッドはターゲットドメインから直接サンプルを必要とし、事前トレーニングに最適ではない。 この課題に対処するためには、メソッドは異なる時間的ダイナミクスを持つターゲットドメインに対応し、事前トレーニング中にターゲットの例を見ることなく実行可能である必要がある。 他のモダリティとは対照的に、時系列では、同じ例の時間ベースおよび周波数ベースの表現が時間周波数空間に近接していると期待する。 この目的のために、時間周波数整合性(TF-C) -- 特定のサンプルの時間ベースの近傍をその周波数ベースの近傍と後方に埋め込むこと -- が事前トレーニングに望ましいと仮定する。 TF-C をモチベーションとして,時間と周波数成分の距離で自己教師型信号が提供され,それぞれがコントラスト推定によって個別に訓練される,分解可能な事前学習モデルを定義する。 本手法は, 電気診断検査, 人的活動認識, 機械的故障検出, 物理的状態モニタリングを含む8つのデータセットに対して評価した。 8つの最先端手法に対する実験では、TF-Cは1対1の設定で平均15.4%(F1スコア)、EMGデータ上では最大8.4%(F1スコア)のベースラインを上回り、現実世界のアプリケーションで発生するシナリオの幅を反映している。 ソースコードとデータセットはhttps: //anonymous.4open.science/r/TFC-pretraining-6B07で公開されている。

関連論文リスト

• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• Fast Information Streaming Handler (FisH): A Unified Seismic Neural Network for Single Station Real-Time Earthquake Early Warning [56.45067876391473]
  既存のEEWアプローチは、フェーズの選択、位置推定、大きさ推定を独立したタスクとして扱い、統一されたフレームワークを欠いている。 我々は高速情報ストリーミングハンドラー(FisH)と呼ばれる新しい統合型地震波ニューラルネットワークを提案する。 FisHは、リアルタイムストリーミング地震データを処理し、位相選択、位置推定、大きさ推定をエンドツーエンドで同時生成するように設計されている。
  論文  参考訳（メタデータ） (2024-08-13T04:33:23Z)
• DAM: Towards A Foundation Model for Time Series Forecasting [0.8231118867997028]
  本稿では,ランダムにサンプリングされた履歴を抽出し,時間連続関数として調整可能な基底組成を出力するニューラルモデルを提案する。 1)長い尾の分布からランダムにサンプリングされたヒストリーを使用する柔軟なアプローチ、(2)これらの活発にサンプリングされたヒストリーに基づいてトレーニングされたトランスフォーマーバックボーンを表現的出力として、(3)時間の連続関数の基底係数を含む。
  論文  参考訳（メタデータ） (2024-07-25T08:48:07Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Toward a Foundation Model for Time Series Data [34.1973242428317]
  基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。 複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
  論文  参考訳（メタデータ） (2023-10-05T21:44:50Z)
• Cross-Frequency Time Series Meta-Forecasting [7.809667883159047]
  本稿では、周波数不変表現の学習に特化して設計された連続周波数適応器(CFA)を紹介する。 CFAは、目に見えない周波数に一般化する際のパフォーマンスを大幅に改善し、より大きなマルチ周波数データセットを予測するための第一歩となる。
  論文  参考訳（メタデータ） (2023-02-04T03:22:16Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)
• Bridging the Gap Between Training and Inference for Spatio-Temporal Forecasting [16.06369357595426]
  本稿では,S-temporal sequence forecastingのトレーニングと推論のギャップを埋めるために,時間的プログレッシブ・グロース・サンプリングというカリキュラムベースの新しい戦略を提案する。 実験結果から,提案手法は長期依存をモデル化し,2つの競合データセットに対するベースラインアプローチより優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-19T10:14:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。