論文の概要: Pre-Training Graph Contrastive Masked Autoencoders are Strong Distillers for EEG

• arxiv url: http://arxiv.org/abs/2411.19230v2
• Date: Tue, 08 Jul 2025 05:37:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:36.737452
• Title: Pre-Training Graph Contrastive Masked Autoencoders are Strong Distillers for EEG
• Title（参考訳）: グラフコントラスト型マスクオートエンコーダは脳波の強い蒸留器である
• Authors: Xinxu Wei, Kanhao Zhao, Yong Jiao, Hua Xie, Lifang He, Yu Zhang,
• Abstract要約: 高密度・低密度の脳波データとともに,ラベル付き・ラベル付のギャップを埋めるためのEEG-DisGCMAEを提案する。 提案手法は,グラフマスク付きオートエンコーダ事前学習と,グラフコントラスト事前学習を統合した。 2つの臨床脳波データセットを用いて4つの分類課題における脳波-DisGCMAEの有効性を検証した。
• 参考スコア（独自算出の注目度）: 9.707230417893582
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Effectively utilizing extensive unlabeled high-density EEG data to improve performance in scenarios with limited labeled low-density EEG data presents a significant challenge. In this paper, we address this challenge by formulating it as a graph transfer learning and knowledge distillation problem. We propose a Unified Pre-trained Graph Contrastive Masked Autoencoder Distiller, named EEG-DisGCMAE, to bridge the gap between unlabeled and labeled as well as high- and low-density EEG data. Our approach introduces a novel unified graph self-supervised pre-training paradigm, which seamlessly integrates the graph contrastive pre-training with the graph masked autoencoder pre-training. Furthermore, we propose a graph topology distillation loss function, allowing a lightweight student model trained on low-density data to learn from a teacher model trained on high-density data during pre-training and fine-tuning. This method effectively handles missing electrodes through contrastive distillation. We validate the effectiveness of EEG-DisGCMAE across four classification tasks using two clinical EEG datasets with abundant data. The source code is available at https://github.com/weixinxu666/EEG_DisGCMAE.
• Abstract（参考訳）: ラベルなし高密度脳波データを効果的に利用して、ラベル付き低密度脳波データを限定したシナリオの性能を向上させることは、大きな課題である。 本稿では,グラフ転送学習および知識蒸留問題として定式化することで,この問題に対処する。 我々は、ラベル付き・ラベル付き・高密度・低密度のEEGデータとのギャップを埋めるため、EEG-DisGCMAE(Unified Pre-trained Graph Contrastive Masked Autoencoder Distiller)を提案する。 提案手法は,グラフマスク付きオートエンコーダ事前学習とグラフの対照的な事前学習をシームレスに統合する,新しい統合グラフ自己教師型事前学習パラダイムを提案する。 さらに,低密度データで訓練された軽量の学生モデルに対して,事前学習および微調整時に高密度データで訓練された教師モデルから学習できるグラフトポロジ蒸留損失関数を提案する。 コントラスト蒸留により欠損電極を効果的に処理する。 データ量の多い2つの臨床脳波データセットを用いて,4つの分類課題における脳波-DisGCMAEの有効性を検証した。 ソースコードはhttps://github.com/weixinxu666/EEG_DisGCMAEで入手できる。

関連論文リスト

• Adversarial Curriculum Graph-Free Knowledge Distillation for Graph Neural Networks [61.608453110751206]
  本稿では,グラフニューラルネットワークのための高速かつ高品質なデータフリー知識蒸留手法を提案する。 グラフフリーKD法(ACGKD)は擬似グラフの空間的複雑さを著しく低減する。 ACGKDは、生徒の次元を拡大することで、生徒と教師のモデル間の次元のあいまいさを取り除く。
  論文  参考訳（メタデータ） (2025-04-01T08:44:27Z)
• Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  低品質データから高品質な生成モデルをトレーニングするための驚くほど効果的で斬新なアプローチであるDSD(Denoising score distillation)を導入する。 DSDはノイズの多い劣化したサンプルにのみ拡散モデルを事前訓練し、精製されたクリーンな出力を生成することができる1ステップの発電機に蒸留する。
  論文  参考訳（メタデータ） (2025-03-10T17:44:46Z)
• Self-Supervised Pre-Training with Joint-Embedding Predictive Architecture Boosts ECG Classification Performance [0.0]
  10のパブリックECGデータベースを組み合わせることで、教師なしの大規模な事前トレーニングデータセットを作成します。 我々は、このデータセットでJEPAを使用してVision Transformerを事前トレーニングし、様々なTB-XLベンチマークでそれらを微調整する。
  論文  参考訳（メタデータ） (2024-10-02T08:25:57Z)
• Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks [5.0243930429558885]
  本稿では,下流分類器の学習のための合成データの生成と利用を最適化するパイプラインである知識リサイクル(KR)を紹介する。 このパイプラインの核心は生成的知識蒸留(GKD)であり、情報の品質と有用性を大幅に向上させる技術が提案されている。 その結果、実データと合成データでトレーニングされたモデルと、実データでトレーニングされたモデルとの性能差が著しく低下した。
  論文  参考訳（メタデータ） (2024-07-22T10:31:07Z)
• How Homogenizing the Channel-wise Magnitude Can Enhance EEG Classification Model? [4.0871083166108395]
  我々は、EEGデータ前処理にシンプルで効果的なアプローチを提案する。 提案手法はまず,逆チャネルワイドマグニチュード均質化により,脳波データを符号化画像に変換する。 これにより、巨大なディープラーニングネットワークを使わずに、脳波学習プロセスを改善することができる。
  論文  参考訳（メタデータ） (2024-07-19T09:11:56Z)
• CE-SSL: Computation-Efficient Semi-Supervised Learning for ECG-based Cardiovascular Diseases Detection [16.34314710823127]
  本稿では,ECG を用いた計算効率の高い CVD 検出のための計算効率の高い半教師付き学習パラダイム (CE-SSL) を提案する。 これは、限られた監督と高い計算効率で、下流データセットに事前訓練されたモデルの堅牢な適応を可能にする。 CE-SSLは、マルチラベルCVDの検出における最先端メソッドよりも優れているだけでなく、GPUフットプリント、トレーニング時間、パラメータストレージスペースも少ない。
  論文  参考訳（メタデータ） (2024-06-20T14:45:13Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• MELEP: A Novel Predictive Measure of Transferability in Multi-Label ECG Diagnosis [1.3654846342364306]
  本稿では,事前学習したモデルから下流のECG診断タスクへの知識伝達の有効性を推定する手段であるMELEPを紹介する。 実験により、MELEPは、小・不均衡のECGデータに基づいて、事前学習した畳み込みと繰り返しの深部ニューラルネットワークの性能を予測できることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:57:10Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
  本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。 蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。 蒸留における因果関係から最も寄与した試料を見出した。
  論文  参考訳（メタデータ） (2023-05-28T06:53:41Z)
• Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher [54.50747989860957]
  本稿では,信頼度の高いFERデータセットと大規模未ラベル表現画像を有効訓練に用いるための半教師付き学習アルゴリズム,Progressive Teacher (PT)を提案する。 RAF-DB と FERPlus を用いた実験により,RAF-DB で89.57% の精度で最先端の性能を実現する手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-05-28T07:47:53Z)
• Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation [77.34726150561087]
  本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。 近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T11:45:32Z)
• Data Augmentation for Enhancing EEG-based Emotion Recognition with Deep Generative Models [13.56090099952884]
  本稿では、感情認識モデルの性能を高めるために、脳波トレーニングデータを増強する3つの方法を提案する。 フル利用戦略では、生成されたすべてのデータが、生成されたデータの品質を判断することなく、トレーニングデータセットに拡張される。 実験結果から,脳波を用いた感情認識モデルの性能向上を図った。
  論文  参考訳（メタデータ） (2020-06-04T21:23:09Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。