論文の概要: Designing Pre-training Datasets from Unlabeled Data for EEG Classification with Transformers

• arxiv url: http://arxiv.org/abs/2410.07190v1
• Date: Mon, 23 Sep 2024 13:26:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 21:37:02.448867
• Title: Designing Pre-training Datasets from Unlabeled Data for EEG Classification with Transformers
• Title（参考訳）: 変圧器を用いた脳波分類のためのラベルなしデータからの事前学習データセットの設計
• Authors: Tim Bary, Benoit Macq,
• Abstract要約: 本稿では,未ラベル脳波(EEG)データからラベル付きデータセットを設計する方法を提案する。 これらは、脳波信号の表現を学習するために、トランスフォーマーを事前訓練するために使用できる。 本手法を,テンプル大学清水検出コーパスのてんかん発作予知タスクで検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transformer neural networks require a large amount of labeled data to train effectively. Such data is often scarce in electroencephalography, as annotations made by medical experts are costly. This is why self-supervised training, using unlabeled data, has to be performed beforehand. In this paper, we present a way to design several labeled datasets from unlabeled electroencephalogram (EEG) data. These can then be used to pre-train transformers to learn representations of EEG signals. We tested this method on an epileptic seizure forecasting task on the Temple University Seizure Detection Corpus using a Multi-channel Vision Transformer. Our results suggest that 1) Models pre-trained using our approach demonstrate significantly faster training times, reducing fine-tuning duration by more than 50% for the specific task, and 2) Pre-trained models exhibit improved accuracy, with an increase from 90.93% to 92.16%, as well as a higher AUC, rising from 0.9648 to 0.9702 when compared to non-pre-trained models.
• Abstract（参考訳）: トランスフォーマーニューラルネットワークは、効果的にトレーニングするために大量のラベル付きデータを必要とする。 医療専門家による注釈は高価であるため、脳波学ではこのようなデータは少ないことが多い。 そのため、ラベルのないデータを使用した自己教師型トレーニングを事前に行わなければならない。 本稿では,未ラベル脳波(EEG)データからラベル付きデータセットを設計する方法を提案する。 これらは、脳波信号の表現を学習するために、トランスフォーマーを事前訓練するために使用できる。 本手法を,多チャンネル視覚変換器を用いて,テンプル大学清水検出コーパスのてんかん発作予知タスクで検証した。 私たちの結果は 1) 本手法を用いて事前訓練したモデルでは,訓練時間が大幅に短縮され,特定のタスクに対して50%以上の微調整期間が短縮される。 2)事前訓練モデルの精度は90.93%から92.16%に向上し、未訓練モデルに比べて0.9648から0.9702に向上した。

関連論文リスト

• Cross-Shaped Windows Transformer with Self-supervised Pretraining for Clinically Significant Prostate Cancer Detection in Bi-parametric MRI [6.930082824262643]
  前立腺癌 (bpMRI) における臨床的に重要な前立腺癌 (csPCa) を検出するために, CSwin 変圧器 UNet モデル (CSwin 変圧器 UNet モデル) を導入した。 1500人の患者を対象とした大規模前立腺bpMRIデータセットを用いて、まずマルチタスク自己教師型学習を用いてCSwin変換器を事前訓練し、データ効率とネットワークの一般化性を向上させる。 5倍のクロスバリデーションは、自己教師型CSwin UNetが0.888 AUCと0.545 Average Precision(AP)を達成し、4つの同等モデル(Swin U)を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2023-04-30T04:40:32Z)
• Convolutional Neural Networks for the classification of glitches in gravitational-wave data streams [52.77024349608834]
  我々は、高度LIGO検出器のデータから過渡ノイズ信号(グリッチ)と重力波を分類する。 どちらも、Gravity Spyデータセットを使用して、スクラッチからトレーニングされた、教師付き学習アプローチのモデルを使用します。 また、擬似ラベルの自動生成による事前学習モデルの自己教師型アプローチについても検討する。
  論文  参考訳（メタデータ） (2023-03-24T11:12:37Z)
• Efficiently Training Vision Transformers on Structural MRI Scans for Alzheimer's Disease Detection [2.359557447960552]
  ビジョントランスフォーマー(ViT)は近年、コンピュータビジョンアプリケーションのためのCNNの代替として登場した。 難易度に基づいて,脳神経画像の下流タスクに対するViTアーキテクチャの変種を検証した。 合成および実MRIスキャンで事前訓練した微調整型視覚変換器モデルを用いて、5%と9-10%の性能向上を実現した。
  論文  参考訳（メタデータ） (2023-03-14T20:18:12Z)
• Peeling the Onion: Hierarchical Reduction of Data Redundancy for Efficient Vision Transformer Training [110.79400526706081]
  ビジョントランス (ViT) は近年多くのアプリケーションで成功を収めているが、その計算量とメモリ使用量によって一般化が制限されている。 従来の圧縮アルゴリズムは通常、事前訓練された高密度モデルから始まり、効率的な推論のみに焦点を当てる。 本稿では,3つのスパースの観点から,Tri-Level E-ViTと呼ばれるエンドツーエンドの効率的なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-19T21:15:47Z)
• Improving self-supervised pretraining models for epileptic seizure detection from EEG data [0.23624125155742057]
  本稿では、時系列に基づく拡散畳み込みニューラルネットワーク(DCRNN)モデルの性能を高めるための様々な自己超越戦略を提案する。 自己超越事前訓練フェーズの学習重量は、モデルの予測能力を高めるために教師付きトレーニングフェーズに移行することができる。
  論文  参考訳（メタデータ） (2022-06-28T17:15:49Z)
• Towards physiology-informed data augmentation for EEG-based BCIs [24.15108821320151]
  本稿では,手元に設定したデータから新たなデータを生成することにより,トレーニングデータを増強する新しい手法を提案する。 本書では,本手法を解説し,参加者非依存型運動画像分類のための第1次予備結果を示す。
  論文  参考訳（メタデータ） (2022-03-27T20:59:40Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• SOUL: An Energy-Efficient Unsupervised Online Learning Seizure Detection Classifier [68.8204255655161]
  神経活動を記録して発作を検出するインプラントデバイスは、発作を抑えるために警告を発したり神経刺激を誘発したりするために採用されている。 移植可能な発作検出システムでは、低出力で最先端のオンライン学習アルゴリズムを使用して、神経信号のドリフトに動的に適応することができる。 SOULはTSMCの28nmプロセスで0.1mm2を占め、1.5nJ/分級エネルギー効率を実現した。
  論文  参考訳（メタデータ） (2021-10-01T23:01:20Z)
• How Effective is Task-Agnostic Data Augmentation for Pretrained Transformers? [7.727662147015879]
  タスクに依存しないデータ拡張は、事前訓練されたモデルでもコンピュータビジョンにおいて広く有効であることが証明されている。 事前訓練されたトランスフォーマーに適用した場合、これらのテクニックが本当に有効か尋ねる。 非事前学習モデルに対する強い改善を報告した手法は、事前学習した変換器の性能を一貫して改善することができない。
  論文  参考訳（メタデータ） (2020-10-05T03:55:15Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Radioactive data: tracing through training [130.2266320167683]
  本稿では,このデータセットに認識不能な変化を生じさせる新しい手法であるEmphradioactive dataを提案する。 訓練されたモデルにより, 放射能データの利用を検知し, 信頼度(p-値)のレベルを提供する。 提案手法はディープネットワーク最適化におけるデータ拡張とバックドア性に対して堅牢である。
  論文  参考訳（メタデータ） (2020-02-03T18:41:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。