論文の概要: Frequency-Masked Embedding Inference: A Non-Contrastive Approach for Time Series Representation Learning

• arxiv url: http://arxiv.org/abs/2412.20790v1
• Date: Mon, 30 Dec 2024 08:12:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:53.413231
• Title: Frequency-Masked Embedding Inference: A Non-Contrastive Approach for Time Series Representation Learning
• Title（参考訳）: 周波数型埋め込み推論:時系列表現学習における非コントラスト的アプローチ
• Authors: En Fu, Yanyan Hu,
• Abstract要約: 本稿では,非コントラスト法である周波数行列埋め込み推論(FEI)を導入し,正および負のサンプルの必要性を完全に排除する。 FEIは、一般化の観点から、既存のコントラストベースの手法を著しく上回っている。 本研究は時系列の自己教師型表現学習に関する新たな知見を提供する。
• 参考スコア（独自算出の注目度）: 0.38366697175402226
• License:
• Abstract: Contrastive learning underpins most current self-supervised time series representation methods. The strategy for constructing positive and negative sample pairs significantly affects the final representation quality. However, due to the continuous nature of time series semantics, the modeling approach of contrastive learning struggles to accommodate the characteristics of time series data. This results in issues such as difficulties in constructing hard negative samples and the potential introduction of inappropriate biases during positive sample construction. Although some recent works have developed several scientific strategies for constructing positive and negative sample pairs with improved effectiveness, they remain constrained by the contrastive learning framework. To fundamentally overcome the limitations of contrastive learning, this paper introduces Frequency-masked Embedding Inference (FEI), a novel non-contrastive method that completely eliminates the need for positive and negative samples. The proposed FEI constructs 2 inference branches based on a prompting strategy: 1) Using frequency masking as prompts to infer the embedding representation of the target series with missing frequency bands in the embedding space, and 2) Using the target series as prompts to infer its frequency masking embedding. In this way, FEI enables continuous semantic relationship modeling for time series. Experiments on 8 widely used time series datasets for classification and regression tasks, using linear evaluation and end-to-end fine-tuning, show that FEI significantly outperforms existing contrastive-based methods in terms of generalization. This study provides new insights into self-supervised representation learning for time series. The code is available at https://github.com/USTBInnovationPark/Frequency-masked-Embedding-Inference.
• Abstract（参考訳）: コントラスト学習は、現在の自己教師付き時系列表現方法の基盤となっている。 正と負のサンプルペアを構築する戦略は最終表現品質に大きな影響を及ぼす。 しかし,時系列セマンティクスの連続的な性質から,時系列データの特徴に適合するコントラスト学習のモデリングアプローチは困難である。 その結果, 強陰性試料の製作が困難であったり, 正の試料構築中に不適切なバイアスが発生する可能性が示唆された。 近年のいくつかの研究は、正と負のサンプルペアを効率良く構築するためのいくつかの科学的戦略を開発してきたが、これらは対照的な学習フレームワークによって制約を受け続けている。 コントラスト学習の限界を根本的に克服するため,新しい非コントラスト的手法であるFEIを導入し,正と負のサンプルの必要性を完全に排除した。 提案したFEIは2つの推論分岐をプロンプト戦略に基づいて構成する。 1) 周波数マスキングを用いて、埋め込み空間に周波数帯域が欠如している対象系列の埋め込み表現を推測し、 2) ターゲット系列を周波数マスキングの埋め込みを推測するプロンプトとして用いる。 このように、FEIは時系列の連続的意味関係モデリングを可能にする。 線形評価とエンドツーエンドの微調整を用いて、分類および回帰タスクに広く用いられている8つの時系列データセットの実験により、FEIは一般化の観点から既存のコントラストベースの手法を著しく上回ることを示した。 本研究は時系列の自己教師型表現学習に関する新たな知見を提供する。 コードはhttps://github.com/USTBInnovationPark/Frequency-masked-Embedding-Inferenceで公開されている。

関連論文リスト

• Dynamic Contrastive Learning for Time Series Representation [6.086030037869592]
  時系列の教師なしコントラスト表現学習フレームワークDynaCLを提案する。 DynaCLは時系列から意味のあるクラスタにインスタンスを埋め込みます。 また、教師なしクラスタリングメトリクスの高得点は、下流タスクにおいて表現が有用であることを保証していないことも明らかにした。
  論文  参考訳（メタデータ） (2024-10-20T15:20:24Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning [31.458689807334228]
  時系列表現に対処するために,TimesURL という新しい自己教師型フレームワークを提案する。 具体的には、時間的特性を一定に保つために、まず周波数時間に基づく拡張を導入する。 また、コントラスト学習を改善するために、特別なタイプのハードネガティブとしてダブルユニバーサムを構築します。
  論文  参考訳（メタデータ） (2023-12-25T12:23:26Z)
• CLeaRForecast: Contrastive Learning of High-Purity Representations for Time Series Forecasting [2.5816901096123863]
  時系列予測(TSF)は現代社会において重要であり、多くの領域にまたがっている。 従来の表現学習に基づくTSFアルゴリズムは、典型的には、分離された傾向周期表現を特徴とする対照的な学習パラダイムを取り入れている。 CLeaRForecastは,高純度時系列表現をサンプル,特徴量,アーキテクチャ浄化手法を用いて学習するための,新しいコントラスト学習フレームワークである。
  論文  参考訳（メタデータ） (2023-12-10T04:37:43Z)
• REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
  正の対を識別する学習尺度を新たに提案する。 検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。 本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
  論文  参考訳（メタデータ） (2023-11-01T13:44:45Z)
• CARLA: Self-supervised Contrastive Representation Learning for Time Series Anomaly Detection [53.83593870825628]
  時系列異常検出(TSAD)の主な課題は、多くの実生活シナリオにおいてラベル付きデータの欠如である。 既存の異常検出手法の多くは、教師なしの方法で非ラベル時系列の正常な振る舞いを学習することに焦点を当てている。 本稿では,時系列異常検出のためのエンドツーエンドの自己教師型コントラアスティブ表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T04:45:56Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
  時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。 自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。 本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
  論文  参考訳（メタデータ） (2023-03-02T07:44:06Z)
• Unsupervised Time-Series Representation Learning with Iterative Bilinear Temporal-Spectral Fusion [6.154427471704388]
  本稿では,双線形時間スペクトル融合(BTSF)という統合フレームワークを提案する。 具体的には、インスタンスレベルの拡張を時系列全体への単純なドロップアウトで利用し、長期的依存関係を最大限に捉えます。 時間-周波数ペアの親和性を明示的にエンコードするために、新しい反復性双線形時間-スペクトル融合を考案する。
  論文  参考訳（メタデータ） (2022-02-08T14:04:08Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。