論文の概要: Self-Supervised Learning for Time Series: Contrastive or Generative?

• arxiv url: http://arxiv.org/abs/2403.09809v1
• Date: Thu, 14 Mar 2024 18:58:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 21:25:23.863367
• Title: Self-Supervised Learning for Time Series: Contrastive or Generative?
• Title（参考訳）: 時系列のための自己監督型学習 - 対照的に,あるいは生成的か?
• Authors: Ziyu Liu, Azadeh Alavi, Minyi Li, Xiang Zhang,
• Abstract要約: 自己教師付き学習(SSL)は、大規模未ラベルデータから表現を学習するための強力なアプローチとして登場した。 時系列におけるコントラスト的手法と生成的手法の総合的な比較研究について述べる。 この結果は,それぞれのアプローチの長所と短所に関する洞察を与え,適切なSSLメソッドを選択するための実践的な勧告を提供する。
• 参考スコア（独自算出の注目度）: 7.712601563682029
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Self-supervised learning (SSL) has recently emerged as a powerful approach to learning representations from large-scale unlabeled data, showing promising results in time series analysis. The self-supervised representation learning can be categorized into two mainstream: contrastive and generative. In this paper, we will present a comprehensive comparative study between contrastive and generative methods in time series. We first introduce the basic frameworks for contrastive and generative SSL, respectively, and discuss how to obtain the supervision signal that guides the model optimization. We then implement classical algorithms (SimCLR vs. MAE) for each type and conduct a comparative analysis in fair settings. Our results provide insights into the strengths and weaknesses of each approach and offer practical recommendations for choosing suitable SSL methods. We also discuss the implications of our findings for the broader field of representation learning and propose future research directions. All the code and data are released at \url{https://github.com/DL4mHealth/SSL_Comparison}.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、最近、大規模なラベルなしデータから表現を学習するための強力なアプローチとして現れ、時系列分析において有望な結果を示している。 自己指導型表現学習は、コントラストとジェネレーティブの2つの主流に分類することができる。 本稿では,時系列における比較的手法と生成的手法の総合的な比較研究について述べる。 まず、コントラストおよび生成SSLの基本フレームワークを紹介し、モデル最適化を導く監視信号の取得方法について論じる。 次に、各型に対して古典的アルゴリズム(SimCLR vs. MAE)を実装し、公正な設定で比較分析を行う。 この結果は,それぞれのアプローチの長所と短所に関する洞察を与え,適切なSSLメソッドを選択するための実践的な勧告を提供する。 また,表現学習の幅広い分野における研究成果の意義についても考察し,今後の研究方向性を提案する。 すべてのコードとデータは \url{https://github.com/DL4mHealth/SSL_Comparison} でリリースされる。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects [84.6945070729684]
  自己教師付き学習(SSL)は、最近、様々な時系列タスクで印象的なパフォーマンスを達成した。 この記事では、時系列データに対する最先端のSSLメソッドについてレビューする。
  論文  参考訳（メタデータ） (2023-06-16T18:23:10Z)
• Explaining, Analyzing, and Probing Representations of Self-Supervised Learning Models for Sensor-based Human Activity Recognition [2.2082422928825136]
  自己教師付き学習(SSL)フレームワークは、センサベースヒューマンアクティビティ認識(HAR)に広く応用されている。 本稿では,最近のSSLフレームワークであるSimCLRとVICRegの深層表現を解析することを目的とする。
  論文  参考訳（メタデータ） (2023-04-14T07:53:59Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Progressive Class Semantic Matching for Semi-supervised Text Classification [26.794533973357403]
  半教師付き学習と事前学習言語モデルとの結婚について検討する。 大規模な実験により,本手法がベースラインに顕著な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-20T13:59:03Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。