論文の概要: PFML: Self-Supervised Learning of Time-Series Data Without Representation Collapse

• arxiv url: http://arxiv.org/abs/2411.10087v1
• Date: Fri, 15 Nov 2024 10:16:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:39:05.942213
• Title: PFML: Self-Supervised Learning of Time-Series Data Without Representation Collapse
• Title（参考訳）: PFML:表現崩壊のない時系列データの自己教師付き学習
• Authors: Einari Vaaras, Manu Airaksinen, Okko Räsänen,
• Abstract要約: 自己教師型学習(英: Self-supervised learning, SSL)は、データ固有の構造を利用して学習プロセスを導く、データ駆動型学習手法である。 本稿では,PFML (Masked Latents) からの関数予測という,時系列データに対する新しいSSLアルゴリズムを提案する。 PFMLは、マスク埋め込みに対応する入力信号の統計的機能を予測することで機能する。
• 参考スコア（独自算出の注目度）: 10.364808650788357
• License:
• Abstract: Self-supervised learning (SSL) is a data-driven learning approach that utilizes the innate structure of the data to guide the learning process. In contrast to supervised learning, which depends on external labels, SSL utilizes the inherent characteristics of the data to produce its own supervisory signal. However, one frequent issue with SSL methods is representation collapse, where the model outputs a constant input-invariant feature representation. This issue hinders the potential application of SSL methods to new data modalities, as trying to avoid representation collapse wastes researchers' time and effort. This paper introduces a novel SSL algorithm for time-series data called Prediction of Functionals from Masked Latents (PFML). Instead of predicting masked input signals or their latent representations directly, PFML operates by predicting statistical functionals of the input signal corresponding to masked embeddings, given a sequence of unmasked embeddings. The algorithm is designed to avoid representation collapse, rendering it straightforwardly applicable to different time-series data domains, such as novel sensor modalities in clinical data. We demonstrate the effectiveness of PFML through complex, real-life classification tasks across three different data modalities: infant posture and movement classification from multi-sensor inertial measurement unit data, emotion recognition from speech data, and sleep stage classification from EEG data. The results show that PFML is superior to a conceptually similar pre-existing SSL method and competitive against the current state-of-the-art SSL method, while also being conceptually simpler and without suffering from representation collapse.
• Abstract（参考訳）: 自己教師型学習(英: Self-supervised learning, SSL)は、データ固有の構造を利用して学習プロセスを導く、データ駆動型学習手法である。 外部ラベルに依存する教師付き学習とは対照的に、SSLはデータ固有の特性を利用して独自の監視信号を生成する。 しかし、SSLメソッドの1つの頻繁な問題は表現の崩壊であり、モデルが一定の入力不変の特徴表現を出力する。 この問題は、表現の崩壊を避けるために研究者の時間と労力を浪費するため、SSLメソッドの新たなデータモダリティへの潜在的適用を妨げる。 本稿では,PFML (Masked Latents) を用いた時系列データに対する新しいSSLアルゴリズムを提案する。 PFMLは、マスクされた入力信号やその潜在表現を直接予測する代わりに、マスクされた埋め込みに対応する入力信号の統計的機能を予測する。 このアルゴリズムは、表現の崩壊を避けるために設計されており、臨床データにおける新しいセンサーのモダリティなど、異なる時系列データ領域に直接適用することができる。 乳児の姿勢と運動の分類を多感覚慣性測定単位データから行うこと,音声データからの感情認識,脳波データからの睡眠ステージ分類という,3つの異なるデータモダリティにまたがる複雑な実生活分類タスクによるPFMLの有効性を実証した。 その結果,PFMLは概念的に類似したSSL方式よりも優れ,最先端のSSL方式と競合するが,概念的にはシンプルであり,表現の崩壊に悩まされない。

関連論文リスト

• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Boosting Transformer's Robustness and Efficacy in PPG Signal Artifact Detection with Self-Supervised Learning [0.0]
  本研究は、自己教師付き学習(SSL)を用いて、このデータから潜伏した特徴を抽出することにより、豊富なラベル付きデータの未利用に対処する。 実験の結果,SSLはTransformerモデルの表現学習能力を大幅に向上させることがわかった。 このアプローチは、注釈付きデータがしばしば制限されるPICU環境において、より広範なアプリケーションに対して約束される。
  論文  参考訳（メタデータ） (2024-01-02T04:00:48Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Making Self-supervised Learning Robust to Spurious Correlation via Learning-speed Aware Sampling [26.444935219428036]
  自己教師付き学習(SSL)は、ラベルのないデータからリッチな表現を学ぶための強力なテクニックとして登場した。 現実の環境では、いくつかの属性(例えば、人種、性別、年齢)と下流タスクのラベルの間に急激な相関関係がしばしば存在する。 学習速度に逆相関する確率でトレーニングデータをサンプリングする学習速度対応SSL(LA-SSL)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-27T22:52:45Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• CroSSL: Cross-modal Self-Supervised Learning for Time-series through Latent Masking [11.616031590118014]
  CroSSLは、欠落したモダリティとエンドツーエンドのクロスモーダル学習を扱うことができる。 動作センサを含む幅広いデータを用いて本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-07-31T17:10:10Z)
• Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects [84.6945070729684]
  自己教師付き学習(SSL)は、最近、様々な時系列タスクで印象的なパフォーマンスを達成した。 この記事では、時系列データに対する最先端のSSLメソッドについてレビューする。
  論文  参考訳（メタデータ） (2023-06-16T18:23:10Z)
• Self-Supervised PPG Representation Learning Shows High Inter-Subject Variability [3.8036939971290007]
  本稿では,信号再構成を前提とした自己教師付き学習(SSL)手法を提案し,汎用的なPSG表現を学習する。 結果として、SSLを使用するラベルデータ設定(クラス毎に10のサンプル)が非常に限定されていることが分かる。 SSLは、ラベルスカースレジームにおけるPSGデータに機械学習モデルが広く使われるための道を開くかもしれない。
  論文  参考訳（メタデータ） (2022-12-07T19:02:45Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• Information Bottleneck Constrained Latent Bidirectional Embedding for Zero-Shot Learning [59.58381904522967]
  本稿では,密な視覚-意味的結合制約を持つ埋め込み型生成モデルを提案する。 視覚空間と意味空間の両方の埋め込みパラメトリック分布を校正する統合潜在空間を学習する。 本手法は, 画像のラベルを生成することにより, トランスダクティブZSL設定に容易に拡張できる。
  論文  参考訳（メタデータ） (2020-09-16T03:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。