論文の概要: CroSSL: Cross-modal Self-Supervised Learning for Time-series through Latent Masking

• arxiv url: http://arxiv.org/abs/2307.16847v3
• Date: Mon, 19 Feb 2024 11:59:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 06:08:04.955360
• Title: CroSSL: Cross-modal Self-Supervised Learning for Time-series through Latent Masking
• Title（参考訳）: CroSSL: 潜時マスキングによる時系列のクロスモーダル自己監視学習
• Authors: Shohreh Deldari, Dimitris Spathis, Mohammad Malekzadeh, Fahim Kawsar, Flora Salim, Akhil Mathur
• Abstract要約: CroSSLは、欠落したモダリティとエンドツーエンドのクロスモーダル学習を扱うことができる。 動作センサを含む幅広いデータを用いて本手法の評価を行った。
• 参考スコア（独自算出の注目度）: 11.616031590118014
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Limited availability of labeled data for machine learning on multimodal time-series extensively hampers progress in the field. Self-supervised learning (SSL) is a promising approach to learning data representations without relying on labels. However, existing SSL methods require expensive computations of negative pairs and are typically designed for single modalities, which limits their versatility. We introduce CroSSL (Cross-modal SSL), which puts forward two novel concepts: masking intermediate embeddings produced by modality-specific encoders, and their aggregation into a global embedding through a cross-modal aggregator that can be fed to down-stream classifiers. CroSSL allows for handling missing modalities and end-to-end cross-modal learning without requiring prior data preprocessing for handling missing inputs or negative-pair sampling for contrastive learning. We evaluate our method on a wide range of data, including motion sensors such as accelerometers or gyroscopes and biosignals (heart rate, electroencephalograms, electromyograms, electrooculograms, and electrodermal) to investigate the impact of masking ratios and masking strategies for various data types and the robustness of the learned representations to missing data. Overall, CroSSL outperforms previous SSL and supervised benchmarks using minimal labeled data, and also sheds light on how latent masking can improve cross-modal learning. Our code is open-sourced at https://github.com/dr-bell/CroSSL.
• Abstract（参考訳）: マルチモーダル時系列の機械学習のためのラベル付きデータの可用性は、フィールドの進歩を広範囲に阻害する。 自己教師付き学習(SSL)はラベルに頼ることなくデータ表現を学ぶための有望なアプローチである。 しかし、既存のSSLメソッドは、負のペアの高価な計算を必要とし、通常は単一のモダリティのために設計されている。 我々はCroSSL(Cross-modal SSL)を導入し、モダリティ固有のエンコーダによって生成された中間埋め込みをマスキングすることと、下流の分類器に供給できるクロスモーダルアグリゲータを通じてグローバルな埋め込みに集約することの2つの新しい概念を紹介した。 CroSSLは、欠落したモダリティとエンドツーエンドのクロスモーダル学習を、欠落した入力を処理するための事前データ前処理や、対照的な学習のためのネガティブペアサンプリングを必要としない。 本研究では,加速度センサやジャイロスコープ,生体信号(心拍数,脳電図,筋電図,筋電図,筋電図)など,様々なデータに対してマスキング比とマスキング戦略が与える影響について検討した。 全体として、CroSSLは、最小限のラベル付きデータを使用して以前のSSLと教師付きベンチマークより優れており、また、潜伏マスキングがクロスモーダル学習を改善する方法についても光を当てている。 私たちのコードはhttps://github.com/dr-bell/crosslでオープンソースです。

関連論文リスト

• PFML: Self-Supervised Learning of Time-Series Data Without Representation Collapse [10.364808650788357]
  自己教師型学習(英: Self-supervised learning, SSL)は、データ固有の構造を利用して学習プロセスを導く、データ駆動型学習手法である。 本稿では,PFML (Masked Latents) からの関数予測という,時系列データに対する新しいSSLアルゴリズムを提案する。 PFMLは、マスク埋め込みに対応する入力信号の統計的機能を予測することで機能する。
  論文  参考訳（メタデータ） (2024-11-15T10:16:38Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Self-supervised TransUNet for Ultrasound regional segmentation of the distal radius in children [0.6291443816903801]
  TransUNetのSSL(SSL-MAE)用のMasked Autoencoderは、子供の手首超音波スキャンからボニー領域を分割する。 本稿では,TransUNet の SSL (SSL-MAE) 用 Masked Autoencoder を小児手首超音波スキャンからボニー領域に分割する可能性について検討した。
  論文  参考訳（メタデータ） (2023-09-18T05:23:33Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• Self-Supervised PPG Representation Learning Shows High Inter-Subject Variability [3.8036939971290007]
  本稿では,信号再構成を前提とした自己教師付き学習(SSL)手法を提案し,汎用的なPSG表現を学習する。 結果として、SSLを使用するラベルデータ設定(クラス毎に10のサンプル)が非常に限定されていることが分かる。 SSLは、ラベルスカースレジームにおけるPSGデータに機械学習モデルが広く使われるための道を開くかもしれない。
  論文  参考訳（メタデータ） (2022-12-07T19:02:45Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Semi-supervised Medical Image Classification with Global Latent Mixing [8.330337646455957]
  ディープラーニングによるコンピュータ支援診断は、大規模な注釈付きデータセットに依存している。 半教師付き学習は、ラベルのないデータを活用することでこの課題を軽減する。 ラベル付きおよびラベルなしデータの線形混合に基づいてニューラルネットワークをトレーニングする新しいSSL手法を提案する。
  論文  参考訳（メタデータ） (2020-05-22T14:49:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。