論文の概要: Pre-Training Graph Contrastive Masked Autoencoders are Strong Distillers for EEG

• arxiv url: http://arxiv.org/abs/2411.19230v1
• Date: Thu, 28 Nov 2024 15:53:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:07.486257
• Title: Pre-Training Graph Contrastive Masked Autoencoders are Strong Distillers for EEG
• Title（参考訳）: グラフコントラスト型マスクオートエンコーダは脳波の強い蒸留器である
• Authors: Xinxu Wei, Kanhao Zhao, Yong Jiao, Nancy B. Carlisle, Hua Xie, Yu Zhang,
• Abstract要約: ラベルなし/ラベル付き/高密度のEEGデータ間のギャップを埋めるグラフコントラスト型マスク付きオートエンコーダディストレータを提案する。 高密度から低密度脳波データへの知識蒸留のために,グラフトポロジー蒸留損失関数を提案する。 2つの臨床脳波データセットにおける4つの分類課題に対する本手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 4.006670302810497
• License:
• Abstract: Effectively utilizing extensive unlabeled high-density EEG data to improve performance in scenarios with limited labeled low-density EEG data presents a significant challenge. In this paper, we address this by framing it as a graph transfer learning and knowledge distillation problem. We propose a Unified Pre-trained Graph Contrastive Masked Autoencoder Distiller, named EEG-DisGCMAE, to bridge the gap between unlabeled/labeled and high/low-density EEG data. To fully leverage the abundant unlabeled EEG data, we introduce a novel unified graph self-supervised pre-training paradigm, which seamlessly integrates Graph Contrastive Pre-training and Graph Masked Autoencoder Pre-training. This approach synergistically combines contrastive and generative pre-training techniques by reconstructing contrastive samples and contrasting the reconstructions. For knowledge distillation from high-density to low-density EEG data, we propose a Graph Topology Distillation loss function, allowing a lightweight student model trained on low-density data to learn from a teacher model trained on high-density data, effectively handling missing electrodes through contrastive distillation. To integrate transfer learning and distillation, we jointly pre-train the teacher and student models by contrasting their queries and keys during pre-training, enabling robust distillers for downstream tasks. We demonstrate the effectiveness of our method on four classification tasks across two clinical EEG datasets with abundant unlabeled data and limited labeled data. The experimental results show that our approach significantly outperforms contemporary methods in both efficiency and accuracy.
• Abstract（参考訳）: ラベルなし高密度脳波データを効果的に利用して、ラベル付き低密度脳波データを限定したシナリオの性能を向上させることは、大きな課題である。 本稿では,これをグラフ転送学習と知識蒸留の問題とみなすことで,この問題に対処する。 ラベルなし・ラベル付き・高密度・低密度のEEGデータ間のギャップを埋めるために,EEG-DisGCMAE という名前の統一事前学習型マスケ自動符号化器を提案する。 グラフコントラスト事前学習とグラフマスケ自動エンコーダ事前学習をシームレスに統合した,新たな統合グラフ自己教師型事前学習パラダイムを導入する。 このアプローチは、コントラスト的なサンプルを再構成し、再構成をコントラストすることで、コントラスト的および生成的事前学習技術を相乗的に組み合わせる。 高密度から低密度の脳波データへの知識蒸留のために,低密度のデータで訓練された軽量の学生モデルを用いて,高密度のデータで訓練された教師モデルから学習し,対照的な蒸留によって欠損電極を効果的に処理するグラフトポロジー蒸留損失関数を提案する。 トランスファーラーニングと蒸留を統合するために,教師と学生のモデルを協調的に事前学習し,事前学習中にクエリやキーを対比することで,下流作業のための堅牢な蒸留器を実現する。 本手法は2つの臨床脳波データセットにおける4つの分類課題に対する有効性を示す。 実験結果から,本手法は効率と精度の両方において,現代手法よりも優れていたことが示唆された。

関連論文リスト

• Self-Supervised Pre-Training with Joint-Embedding Predictive Architecture Boosts ECG Classification Performance [0.0]
  10のパブリックECGデータベースを組み合わせることで、教師なしの大規模な事前トレーニングデータセットを作成します。 我々は、このデータセットでJEPAを使用してVision Transformerを事前トレーニングし、様々なTB-XLベンチマークでそれらを微調整する。
  論文  参考訳（メタデータ） (2024-10-02T08:25:57Z)
• Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks [5.0243930429558885]
  本稿では,下流分類器の学習のための合成データの生成と利用を最適化するパイプラインである知識リサイクル(KR)を紹介する。 このパイプラインの核心は生成的知識蒸留(GKD)であり、情報の品質と有用性を大幅に向上させる技術が提案されている。 その結果、実データと合成データでトレーニングされたモデルと、実データでトレーニングされたモデルとの性能差が著しく低下した。
  論文  参考訳（メタデータ） (2024-07-22T10:31:07Z)
• How Homogenizing the Channel-wise Magnitude Can Enhance EEG Classification Model? [4.0871083166108395]
  我々は、EEGデータ前処理にシンプルで効果的なアプローチを提案する。 提案手法はまず,逆チャネルワイドマグニチュード均質化により,脳波データを符号化画像に変換する。 これにより、巨大なディープラーニングネットワークを使わずに、脳波学習プロセスを改善することができる。
  論文  参考訳（メタデータ） (2024-07-19T09:11:56Z)
• Guided Score identity Distillation for Data-Free One-Step Text-to-Image Generation [62.30570286073223]
  拡散に基づくテキスト・画像生成モデルは、テキスト記述と整合した画像を生成する能力を実証している。 本研究では, 実データにアクセスすることなく, 事前学習した拡散モデルの効率的な蒸留を可能にする, データフリーガイド蒸留法を提案する。 データフリー蒸留法は, 1ステップ生成装置で生成した合成画像のみをトレーニングすることにより, FIDとCLIPのスコアを急速に向上させ, 競争力のあるCLIPスコアを維持しつつ, 最先端のFID性能を実現する。
  論文  参考訳（メタデータ） (2024-06-03T17:44:11Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• MELEP: A Novel Predictive Measure of Transferability in Multi-Label ECG Diagnosis [1.3654846342364306]
  本稿では,事前学習したモデルから下流のECG診断タスクへの知識伝達の有効性を推定する手段であるMELEPを紹介する。 実験により、MELEPは、小・不均衡のECGデータに基づいて、事前学習した畳み込みと繰り返しの深部ニューラルネットワークの性能を予測できることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:57:10Z)
• Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
  本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。 蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。 蒸留における因果関係から最も寄与した試料を見出した。
  論文  参考訳（メタデータ） (2023-05-28T06:53:41Z)
• Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher [54.50747989860957]
  本稿では,信頼度の高いFERデータセットと大規模未ラベル表現画像を有効訓練に用いるための半教師付き学習アルゴリズム,Progressive Teacher (PT)を提案する。 RAF-DB と FERPlus を用いた実験により,RAF-DB で89.57% の精度で最先端の性能を実現する手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-05-28T07:47:53Z)
• Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation [77.34726150561087]
  本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。 近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T11:45:32Z)
• Data Augmentation for Enhancing EEG-based Emotion Recognition with Deep Generative Models [13.56090099952884]
  本稿では、感情認識モデルの性能を高めるために、脳波トレーニングデータを増強する3つの方法を提案する。 フル利用戦略では、生成されたすべてのデータが、生成されたデータの品質を判断することなく、トレーニングデータセットに拡張される。 実験結果から,脳波を用いた感情認識モデルの性能向上を図った。
  論文  参考訳（メタデータ） (2020-06-04T21:23:09Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。