論文の概要: Boosting Transformer's Robustness and Efficacy in PPG Signal Artifact
Detection with Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2401.01013v1
- Date: Tue, 2 Jan 2024 04:00:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 15:01:48.654783
- Title: Boosting Transformer's Robustness and Efficacy in PPG Signal Artifact
Detection with Self-Supervised Learning
- Title（参考訳）: 自己監督学習によるPSG信号アーチファクト検出における変圧器のロバスト性向上と効果
- Authors: Thanh-Dung Le
- Abstract要約: 本研究は、自己教師付き学習(SSL)を用いて、このデータから潜伏した特徴を抽出することにより、豊富なラベル付きデータの未利用に対処する。
実験の結果,SSLはTransformerモデルの表現学習能力を大幅に向上させることがわかった。
このアプローチは、注釈付きデータがしばしば制限されるPICU環境において、より広範なアプリケーションに対して約束される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent research at CHU Sainte Justine's Pediatric Critical Care Unit (PICU)
has revealed that traditional machine learning methods, such as semi-supervised
label propagation and K-nearest neighbors, outperform Transformer-based models
in artifact detection from PPG signals, mainly when data is limited. This study
addresses the underutilization of abundant unlabeled data by employing
self-supervised learning (SSL) to extract latent features from these data,
followed by fine-tuning on labeled data. Our experiments demonstrate that SSL
significantly enhances the Transformer model's ability to learn
representations, improving its robustness in artifact classification tasks.
Among various SSL techniques, including masking, contrastive learning, and DINO
(self-distillation with no labels)-contrastive learning exhibited the most
stable and superior performance in small PPG datasets. Further, we delve into
optimizing contrastive loss functions, which are crucial for contrastive SSL.
Inspired by InfoNCE, we introduce a novel contrastive loss function that
facilitates smoother training and better convergence, thereby enhancing
performance in artifact classification. In summary, this study establishes the
efficacy of SSL in leveraging unlabeled data, particularly in enhancing the
capabilities of the Transformer model. This approach holds promise for broader
applications in PICU environments, where annotated data is often limited.
- Abstract（参考訳）: CHU Sainte Justine's Pediatric critical Care Unit (PICU) の最近の研究により、半教師付きラベル伝搬やK-アネレスト隣人のような従来の機械学習手法は、主にデータが制限された場合に、PSG信号からアーチファクト検出においてトランスフォーマーベースのモデルより優れていることが明らかになった。
本研究では,自己教師付き学習(ssl)を用いて,これらのデータから潜在特徴を抽出し,その後にラベル付きデータの微調整を行うことにより,ラベルなしデータの不足を解消する。
実験の結果,SSLはTransformerモデルの表現学習能力を大幅に向上させ,成果物分類タスクの堅牢性を向上させる。
マスキング,コントラスト学習,dino(ラベルのない自己蒸留)など様々なssl技術の中で,小型ppgデータセットにおいて,最も安定かつ優れた性能を示した。
さらに,コントラスト損失関数の最適化についても検討した。
インフォアンスに触発されて,より円滑なトレーニングと収束を容易にする新しいコントラスト損失関数を導入し,アーティファクト分類の性能を向上させる。
本研究は,非ラベルデータの活用,特にトランスフォーマーモデルの能力向上におけるsslの有効性を実証するものである。
このアプローチは、注釈付きデータがしばしば制限されるPICU環境での広範なアプリケーションに対する約束である。
関連論文リスト
- Context-Aware Predictive Coding: A Representation Learning Framework for WiFi Sensing [0.0]
WiFiセンサーは、様々なセンサーアプリケーションに無線信号を利用する新興技術である。
本稿では,CAPC(Context-Aware Predictive Coding)と呼ばれる新しいSSLフレームワークを紹介する。
CAPCは問題のないデータから効果的に学習し、多様な環境に適応する。
評価の結果、CAPCは他のSSLメソッドや教師付きアプローチよりも優れているだけでなく、優れた一般化能力も達成できることがわかった。
論文 参考訳（メタデータ） (2024-09-16T17:59:49Z) - Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。
RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。
我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
論文 参考訳（メタデータ） (2024-05-02T21:52:24Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳（メタデータ） (2023-12-13T09:32:50Z) - Self-Supervision for Tackling Unsupervised Anomaly Detection: Pitfalls
and Opportunities [50.231837687221685]
自己教師付き学習(SSL)は、機械学習とその多くの現実世界のアプリケーションに変化をもたらした。
非教師なし異常検出(AD)は、自己生成性擬似異常によりSSLにも乗じている。
論文 参考訳（メタデータ） (2023-08-28T07:55:01Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Augmentation-aware Self-supervised Learning with Conditioned Projector [6.720605329045581]
自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。
本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。
提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
論文 参考訳（メタデータ） (2023-05-31T12:24:06Z) - Rethinking Evaluation Protocols of Visual Representations Learned via
Self-supervised Learning [1.0499611180329804]
自己教師型学習(SSL)は、自己教師型学習(SSL)を通して学習した視覚的表現の質を評価するために用いられる。
既存のSSLメソッドは、これらの評価プロトコルの下で優れたパフォーマンスを示している。
我々は、最先端のSSL方式で広範な実験を行うことにより、性能感度の原因を解明しようとする。
論文 参考訳（メタデータ） (2023-04-07T03:03:19Z) - Self-Supervised PPG Representation Learning Shows High Inter-Subject
Variability [3.8036939971290007]
本稿では,信号再構成を前提とした自己教師付き学習(SSL)手法を提案し,汎用的なPSG表現を学習する。
結果として、SSLを使用するラベルデータ設定(クラス毎に10のサンプル)が非常に限定されていることが分かる。
SSLは、ラベルスカースレジームにおけるPSGデータに機械学習モデルが広く使われるための道を開くかもしれない。
論文 参考訳（メタデータ） (2022-12-07T19:02:45Z) - Improving the Adversarial Robustness of NLP Models by Information
Bottleneck [112.44039792098579]
非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。
本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。
情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
論文 参考訳（メタデータ） (2022-06-11T12:12:20Z) - Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of
Semi-Supervised Learning and Active Learning [60.26659373318915]
アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。
本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。
2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
論文 参考訳（メタデータ） (2022-06-07T13:28:43Z) - CCLF: A Contrastive-Curiosity-Driven Learning Framework for
Sample-Efficient Reinforcement Learning [56.20123080771364]
我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。
CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。
このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
論文 参考訳（メタデータ） (2022-05-02T14:42:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。