論文の概要: Label-Efficient Sleep Staging Using Transformers Pre-trained with Position Prediction
- arxiv url: http://arxiv.org/abs/2404.15308v1
- Date: Fri, 29 Mar 2024 23:22:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-28 10:56:51.119416
- Title: Label-Efficient Sleep Staging Using Transformers Pre-trained with Position Prediction
- Title（参考訳）: 位置予測付き変圧器を用いたラベル効率のよい睡眠安定
- Authors: Sayeri Lala, Hanlin Goh, Christopher Sandino,
- Abstract要約: 本稿では,特徴と時間的エンコーディングをシームレスに結合するアーキテクチャと,モデル全体を事前訓練する適切な事前学習方式を提案する。
サンプル睡眠ステージングデータセットにおいて,提案手法はラベル付きトレーニングデータに飽和しない性能向上を提供する。
- 参考スコア（独自算出の注目度）: 2.591936982899312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sleep staging is a clinically important task for diagnosing various sleep disorders, but remains challenging to deploy at scale because it because it is both labor-intensive and time-consuming. Supervised deep learning-based approaches can automate sleep staging but at the expense of large labeled datasets, which can be unfeasible to procure for various settings, e.g., uncommon sleep disorders. While self-supervised learning (SSL) can mitigate this need, recent studies on SSL for sleep staging have shown performance gains saturate after training with labeled data from only tens of subjects, hence are unable to match peak performance attained with larger datasets. We hypothesize that the rapid saturation stems from applying a sub-optimal pretraining scheme that pretrains only a portion of the architecture, i.e., the feature encoder, but not the temporal encoder; therefore, we propose adopting an architecture that seamlessly couples the feature and temporal encoding and a suitable pretraining scheme that pretrains the entire model. On a sample sleep staging dataset, we find that the proposed scheme offers performance gains that do not saturate with amount of labeled training data (e.g., 3-5\% improvement in balanced sleep staging accuracy across low- to high-labeled data settings), reducing the amount of labeled training data needed for high performance (e.g., by 800 subjects). Based on our findings, we recommend adopting this SSL paradigm for subsequent work on SSL for sleep staging.
- Abstract（参考訳）: 睡眠ステージングは、様々な睡眠障害を診断するための臨床的に重要な課題であるが、労働集約的かつ時間を要するため、大規模に展開することは依然として困難である。
監視されたディープラーニングベースのアプローチは、睡眠ステージングを自動化することができるが、大きなラベル付きデータセットを犠牲にして、一般的な睡眠障害など、さまざまな設定で取得することは不可能である。
自己教師付き学習(SSL)は、このニーズを軽減することができるが、最近の睡眠ステージングのためのSSLの研究は、数十人の被験者のラベル付きデータでトレーニングした後、パフォーマンスが飽和していることを示しており、その結果、より大きなデータセットで達成されたピークパフォーマンスにマッチすることができない。
本研究では, 時間的エンコーダではなく, 時間的エンコーダではなく, 特徴量と時間的エンコーダをシームレスに結合するアーキテクチャと, モデル全体を事前トレーニングする適切な事前トレーニングスキームを提案する。
サンプル睡眠ステージングデータセットにおいて、提案手法は、ラベル付きトレーニングデータ(例えば、低レベルから高レベルなデータ設定におけるバランスの取れた睡眠ステージング精度の改善)に飽和しない性能向上を提供し、ハイパフォーマンスに必要なラベル付きトレーニングデータ(例えば、800名)の量を削減している。
この知見に基づき、睡眠ステージングのためのSSLの開発に、このSSLパラダイムを採用することを推奨する。
関連論文リスト
- DailyMAE: Towards Pretraining Masked Autoencoders in One Day [37.206816999538496]
マスク付き画像モデリング(MIM)は、ラベルのないデータからデータ表現を学習する上での有効性に注目されている。
本研究では,データロードボトルネックの軽減を目的としたMIMベースのSSLの効率的なトレーニングレシピを提案する。
このライブラリは,ImageNet 1Kデータセット上のMAE-Base/16モデルのトレーニングを,わずか18時間で800エポックで行うことができる。
論文 参考訳（メタデータ） (2024-03-31T00:59:10Z) - Quantifying the Impact of Data Characteristics on the Transferability of
Sleep Stage Scoring Models [0.10878040851637998]
遠隔睡眠モニタリングのための有望な方法として,単チャンネル脳波に基づく睡眠ステージ評価のための深層学習モデルが提案されている。
これらのモデルを新しいデータセット、特にウェアラブルデバイスに適用すると、2つの疑問が浮かび上がる。
まず、ターゲットデータセットのアノテーションが利用できない場合、どの異なるデータ特性が睡眠ステージのスコアリングのパフォーマンスに最も影響するか。
本稿では,異なるデータ特性が深層学習モデルの伝達性に与える影響を定量化する手法を提案する。
論文 参考訳（メタデータ） (2023-03-28T07:57:21Z) - Self-supervised Learning for Label-Efficient Sleep Stage Classification:
A Comprehensive Evaluation [13.895332825128076]
自己教師付き学習(SSL)パラダイムは、ラベル付きデータの不足を克服する最も成功したテクニックの1つとして輝いている。
本稿では,少数レーベル体制における既存のSSCモデルの性能向上のためのSSLの有効性を評価する。
ラベル付きデータのわずか5%で事前学習したSSCモデルを微調整することで、フルラベルによる教師付きトレーニングと競合する性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-10-10T09:01:17Z) - Match to Win: Analysing Sequences Lengths for Efficient Self-supervised
Learning in Speech and Audio [19.865050806327147]
自己教師型学習は、音声および音声関連アプリケーションにおいて不可欠であることが証明されている。
本稿では、特定配列長の異なるSSL事前トレーニングに関する最初の実証的研究について述べる。
ショートシーケンスでのトレーニングは、すべてのタスクで満足なパフォーマンスを維持しながら、リソースコストを劇的に削減できることがわかった。
論文 参考訳（メタデータ） (2022-09-30T16:35:42Z) - Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning [93.63638405586354]
擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。
まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。
ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
論文 参考訳（メタデータ） (2022-07-14T10:53:53Z) - Task-Customized Self-Supervised Pre-training with Scalable Dynamic
Routing [76.78772372631623]
セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。
しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。
異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
論文 参考訳（メタデータ） (2022-05-26T10:49:43Z) - Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。
サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
論文 参考訳（メタデータ） (2022-05-02T16:09:17Z) - DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
論文 参考訳（メタデータ） (2022-03-17T02:38:49Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳（メタデータ） (2021-09-01T23:52:29Z) - Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。
ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。
SSLとTLの5つのタスクをシャープなマージンで上回ります。
論文 参考訳（メタデータ） (2021-02-25T14:56:19Z) - RobustSleepNet: Transfer learning for automated sleep staging at scale [0.0]
睡眠障害の診断は、PSG(polysomnography)レコードの分析に依存する。
実際には、睡眠ステージ分類は、ポリソムノグラフィー信号の30秒エポックの視覚検査に依存します。
我々は、任意のPSGモンタージュを扱える自動睡眠ステージ分類のためのディープラーニングモデルであるRobustSleepNetを紹介する。
論文 参考訳（メタデータ） (2021-01-07T09:39:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。