論文の概要: Pre-Training Graph Contrastive Masked Autoencoders are Strong Distillers for EEG

• arxiv url: http://arxiv.org/abs/2411.19230v1
• Date: Thu, 28 Nov 2024 15:53:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 20:28:07.823026
• Title: Pre-Training Graph Contrastive Masked Autoencoders are Strong Distillers for EEG
• Title（参考訳）: グラフコントラスト型マスクオートエンコーダは脳波の強い蒸留器である
• Authors: Xinxu Wei, Kanhao Zhao, Yong Jiao, Nancy B. Carlisle, Hua Xie, Yu Zhang,
• Abstract要約: ラベルなし/ラベル付き/高密度のEEGデータ間のギャップを埋めるグラフコントラスト型マスク付きオートエンコーダディストレータを提案する。 高密度から低密度脳波データへの知識蒸留のために,グラフトポロジー蒸留損失関数を提案する。 2つの臨床脳波データセットにおける4つの分類課題に対する本手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 4.006670302810497
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Effectively utilizing extensive unlabeled high-density EEG data to improve performance in scenarios with limited labeled low-density EEG data presents a significant challenge. In this paper, we address this by framing it as a graph transfer learning and knowledge distillation problem. We propose a Unified Pre-trained Graph Contrastive Masked Autoencoder Distiller, named EEG-DisGCMAE, to bridge the gap between unlabeled/labeled and high/low-density EEG data. To fully leverage the abundant unlabeled EEG data, we introduce a novel unified graph self-supervised pre-training paradigm, which seamlessly integrates Graph Contrastive Pre-training and Graph Masked Autoencoder Pre-training. This approach synergistically combines contrastive and generative pre-training techniques by reconstructing contrastive samples and contrasting the reconstructions. For knowledge distillation from high-density to low-density EEG data, we propose a Graph Topology Distillation loss function, allowing a lightweight student model trained on low-density data to learn from a teacher model trained on high-density data, effectively handling missing electrodes through contrastive distillation. To integrate transfer learning and distillation, we jointly pre-train the teacher and student models by contrasting their queries and keys during pre-training, enabling robust distillers for downstream tasks. We demonstrate the effectiveness of our method on four classification tasks across two clinical EEG datasets with abundant unlabeled data and limited labeled data. The experimental results show that our approach significantly outperforms contemporary methods in both efficiency and accuracy.
• Abstract（参考訳）: ラベルなし高密度脳波データを効果的に利用して、ラベル付き低密度脳波データを限定したシナリオの性能を向上させることは、大きな課題である。 本稿では,これをグラフ転送学習と知識蒸留の問題とみなすことで,この問題に対処する。 ラベルなし・ラベル付き・高密度・低密度のEEGデータ間のギャップを埋めるために,EEG-DisGCMAE という名前の統一事前学習型マスケ自動符号化器を提案する。 グラフコントラスト事前学習とグラフマスケ自動エンコーダ事前学習をシームレスに統合した,新たな統合グラフ自己教師型事前学習パラダイムを導入する。 このアプローチは、コントラスト的なサンプルを再構成し、再構成をコントラストすることで、コントラスト的および生成的事前学習技術を相乗的に組み合わせる。 高密度から低密度の脳波データへの知識蒸留のために,低密度のデータで訓練された軽量の学生モデルを用いて,高密度のデータで訓練された教師モデルから学習し,対照的な蒸留によって欠損電極を効果的に処理するグラフトポロジー蒸留損失関数を提案する。 トランスファーラーニングと蒸留を統合するために,教師と学生のモデルを協調的に事前学習し,事前学習中にクエリやキーを対比することで,下流作業のための堅牢な蒸留器を実現する。 本手法は2つの臨床脳波データセットにおける4つの分類課題に対する有効性を示す。 実験結果から,本手法は効率と精度の両方において,現代手法よりも優れていたことが示唆された。

関連論文リスト

• Adversarial Curriculum Graph-Free Knowledge Distillation for Graph Neural Networks [61.608453110751206]
  本稿では,グラフニューラルネットワークのための高速かつ高品質なデータフリー知識蒸留手法を提案する。 グラフフリーKD法(ACGKD)は擬似グラフの空間的複雑さを著しく低減する。 ACGKDは、生徒の次元を拡大することで、生徒と教師のモデル間の次元のあいまいさを取り除く。
  論文  参考訳（メタデータ） (2025-04-01T08:44:27Z)
• Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  低品質データから高品質な生成モデルをトレーニングするための驚くほど効果的で斬新なアプローチであるDSD(Denoising score distillation)を導入する。 DSDはノイズの多い劣化したサンプルにのみ拡散モデルを事前訓練し、精製されたクリーンな出力を生成することができる1ステップの発電機に蒸留する。
  論文  参考訳（メタデータ） (2025-03-10T17:44:46Z)
• Self-Supervised Pre-Training with Joint-Embedding Predictive Architecture Boosts ECG Classification Performance [0.0]
  10のパブリックECGデータベースを組み合わせることで、教師なしの大規模な事前トレーニングデータセットを作成します。 我々は、このデータセットでJEPAを使用してVision Transformerを事前トレーニングし、様々なTB-XLベンチマークでそれらを微調整する。
  論文  参考訳（メタデータ） (2024-10-02T08:25:57Z)
• Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks [5.0243930429558885]
  本稿では,下流分類器の学習のための合成データの生成と利用を最適化するパイプラインである知識リサイクル(KR)を紹介する。 このパイプラインの核心は生成的知識蒸留(GKD)であり、情報の品質と有用性を大幅に向上させる技術が提案されている。 その結果、実データと合成データでトレーニングされたモデルと、実データでトレーニングされたモデルとの性能差が著しく低下した。
  論文  参考訳（メタデータ） (2024-07-22T10:31:07Z)
• How Homogenizing the Channel-wise Magnitude Can Enhance EEG Classification Model? [4.0871083166108395]
  我々は、EEGデータ前処理にシンプルで効果的なアプローチを提案する。 提案手法はまず,逆チャネルワイドマグニチュード均質化により,脳波データを符号化画像に変換する。 これにより、巨大なディープラーニングネットワークを使わずに、脳波学習プロセスを改善することができる。
  論文  参考訳（メタデータ） (2024-07-19T09:11:56Z)
• CE-SSL: Computation-Efficient Semi-Supervised Learning for ECG-based Cardiovascular Diseases Detection [16.34314710823127]
  本稿では,ECG を用いた計算効率の高い CVD 検出のための計算効率の高い半教師付き学習パラダイム (CE-SSL) を提案する。 これは、限られた監督と高い計算効率で、下流データセットに事前訓練されたモデルの堅牢な適応を可能にする。 CE-SSLは、マルチラベルCVDの検出における最先端メソッドよりも優れているだけでなく、GPUフットプリント、トレーニング時間、パラメータストレージスペースも少ない。
  論文  参考訳（メタデータ） (2024-06-20T14:45:13Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• MELEP: A Novel Predictive Measure of Transferability in Multi-Label ECG Diagnosis [1.3654846342364306]
  本稿では,事前学習したモデルから下流のECG診断タスクへの知識伝達の有効性を推定する手段であるMELEPを紹介する。 実験により、MELEPは、小・不均衡のECGデータに基づいて、事前学習した畳み込みと繰り返しの深部ニューラルネットワークの性能を予測できることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:57:10Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
  本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。 蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。 蒸留における因果関係から最も寄与した試料を見出した。
  論文  参考訳（メタデータ） (2023-05-28T06:53:41Z)
• Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher [54.50747989860957]
  本稿では,信頼度の高いFERデータセットと大規模未ラベル表現画像を有効訓練に用いるための半教師付き学習アルゴリズム,Progressive Teacher (PT)を提案する。 RAF-DB と FERPlus を用いた実験により,RAF-DB で89.57% の精度で最先端の性能を実現する手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-05-28T07:47:53Z)
• Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation [77.34726150561087]
  本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。 近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T11:45:32Z)
• Data Augmentation for Enhancing EEG-based Emotion Recognition with Deep Generative Models [13.56090099952884]
  本稿では、感情認識モデルの性能を高めるために、脳波トレーニングデータを増強する3つの方法を提案する。 フル利用戦略では、生成されたすべてのデータが、生成されたデータの品質を判断することなく、トレーニングデータセットに拡張される。 実験結果から,脳波を用いた感情認識モデルの性能向上を図った。
  論文  参考訳（メタデータ） (2020-06-04T21:23:09Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。