論文の概要: Latent Masking for Multimodal Self-supervised Learning in Health Timeseries

• arxiv url: http://arxiv.org/abs/2307.16847v1
• Date: Mon, 31 Jul 2023 17:10:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 13:21:56.586516
• Title: Latent Masking for Multimodal Self-supervised Learning in Health Timeseries
• Title（参考訳）: 健康時系列におけるマルチモーダル自己教師付き学習のための潜在マスキング
• Authors: Shohreh Deldari, Dimitris Spathis, Mohammad Malekzadeh, Fahim Kawsar, Flora Salim, Akhil Mathur
• Abstract要約: CroSSLは、モダリティ固有のエンコーダから中間埋め込みをマスキングし、それらをグローバルな埋め込みに集約する、2つの新しい概念を導入している。 医療用および消費者用バイオシグナーを含む各種マルチモーダル時系列ベンチマークでCroSSLを評価した。
• 参考スコア（独自算出の注目度）: 12.604169801780829
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Limited availability of labeled data for machine learning on biomedical time-series hampers progress in the field. Self-supervised learning (SSL) is a promising approach to learning data representations without labels. However, current SSL methods require expensive computations for negative pairs and are designed for single modalities, limiting their versatility. To overcome these limitations, we introduce CroSSL (Cross-modal SSL). CroSSL introduces two novel concepts: masking intermediate embeddings from modality-specific encoders and aggregating them into a global embedding using a cross-modal aggregator. This enables the handling of missing modalities and end-to-end learning of cross-modal patterns without prior data preprocessing or time-consuming negative-pair sampling. We evaluate CroSSL on various multimodal time-series benchmarks, including both medical-grade and consumer biosignals. Our results demonstrate superior performance compared to previous SSL techniques and supervised benchmarks with minimal labeled data. We additionally analyze the impact of different masking ratios and strategies and assess the robustness of the learned representations to missing modalities. Overall, our work achieves state-of-the-art performance while highlighting the benefits of masking latent embeddings for cross-modal learning in temporal health data.
• Abstract（参考訳）: 生物医学的時系列ハンパにおける機械学習のためのラベル付きデータの限定的利用 自己教師付き学習(SSL)はラベルなしでデータ表現を学ぶための有望なアプローチである。 しかし、現在のSSL方式は、負のペアに対して高価な計算を必要とし、単一のモダリティのために設計されており、その汎用性を制限している。 これらの制限を克服するため、CroSSL(Cross-modal SSL)を導入します。 CroSSLは2つの新しい概念を紹介している: モダリティ固有のエンコーダから中間埋め込みをマスキングし、それらをクロスモーダルアグリゲータを使ってグローバルな埋め込みに集約する。 これにより、事前データ前処理や時間を要する負ペアサンプリングを必要とせずに、欠落したモダリティの処理と、クロスモーダルパターンのエンドツーエンド学習が可能になる。 医療用および消費者用バイオシグナーを含む各種マルチモーダル時系列ベンチマークでCroSSLを評価する。 以上の結果から,従来のSSL技術や最小ラベル付きベンチマークよりも優れた性能を示した。 さらに,異なるマスキング比と戦略の影響を分析し,学習した表現の欠落したモダリティに対する頑健性を評価する。 全体として、我々の研究は最先端のパフォーマンスを達成しつつ、時間的健康データにおけるクロスモーダル学習に潜入型埋め込みをマスキングする利点を強調した。

関連論文リスト

• PFML: Self-Supervised Learning of Time-Series Data Without Representation Collapse [10.364808650788357]
  自己教師型学習(英: Self-supervised learning, SSL)は、データ固有の構造を利用して学習プロセスを導く、データ駆動型学習手法である。 本稿では,PFML (Masked Latents) からの関数予測という,時系列データに対する新しいSSLアルゴリズムを提案する。 PFMLは、マスク埋め込みに対応する入力信号の統計的機能を予測することで機能する。
  論文  参考訳（メタデータ） (2024-11-15T10:16:38Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Self-supervised TransUNet for Ultrasound regional segmentation of the distal radius in children [0.6291443816903801]
  TransUNetのSSL(SSL-MAE)用のMasked Autoencoderは、子供の手首超音波スキャンからボニー領域を分割する。 本稿では,TransUNet の SSL (SSL-MAE) 用 Masked Autoencoder を小児手首超音波スキャンからボニー領域に分割する可能性について検討した。
  論文  参考訳（メタデータ） (2023-09-18T05:23:33Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• Self-Supervised PPG Representation Learning Shows High Inter-Subject Variability [3.8036939971290007]
  本稿では,信号再構成を前提とした自己教師付き学習(SSL)手法を提案し,汎用的なPSG表現を学習する。 結果として、SSLを使用するラベルデータ設定(クラス毎に10のサンプル)が非常に限定されていることが分かる。 SSLは、ラベルスカースレジームにおけるPSGデータに機械学習モデルが広く使われるための道を開くかもしれない。
  論文  参考訳（メタデータ） (2022-12-07T19:02:45Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Semi-supervised Medical Image Classification with Global Latent Mixing [8.330337646455957]
  ディープラーニングによるコンピュータ支援診断は、大規模な注釈付きデータセットに依存している。 半教師付き学習は、ラベルのないデータを活用することでこの課題を軽減する。 ラベル付きおよびラベルなしデータの線形混合に基づいてニューラルネットワークをトレーニングする新しいSSL手法を提案する。
  論文  参考訳（メタデータ） (2020-05-22T14:49:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。