論文の概要: DLink: Distilling Layer-wise and Dominant Knowledge from EEG Foundation Models

• arxiv url: http://arxiv.org/abs/2604.15016v1
• Date: Thu, 16 Apr 2026 13:43:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.926778
• Title: DLink: Distilling Layer-wise and Dominant Knowledge from EEG Foundation Models
• Title（参考訳）: DLink: EEGファンデーションモデルから階層的および支配的な知識を蒸留する
• Authors: Jingyuan Wang, Meiyan Xu, Zhihao Jia, Chenyu Liu, Xinliang Zhou, Ziyu Jia, Yong Li, Fang Li, Junfeng Yao, Yi Ding,
• Abstract要約: DLink(Distilling Layer-wise and Dominant Knowledge)は、大きな脳波FMから3つの重要なイノベーションを持つコンパクトな学生に知識を伝達するための統一的なフレームワークである。 4つのEEGベンチマークの実験により、DLinkは学生がモデルサイズと推論コストを大幅に低くして、完全に微調整されたFM性能にアプローチしながら、軽量なベースラインを上回り得ることが示された。
• 参考スコア（独自算出の注目度）: 45.93502533665427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: EEG foundation models (FMs) achieve strong cross-subject and cross-task generalization but impose substantial computational and memory costs that hinder deployment on embedded BCI systems. Knowledge distillation is a natural solution; however, conventional methods fail for EEG FMs because task-relevant semantics are often distributed across intermediate layers, and aggressive dimensionality reduction can distort oscillatory structure via representational collapse and aliasing. To address these challenges, we propose DLink (Distilling Layer-wise and Dominant Knowledge), a unified framework for transferring knowledge from large EEG FMs to compact students with three key innovations: (1) a dynamic Router that adaptively aggregates teacher layers to capture dominant intermediate representations; (2) an EEG MiC student with a Mimic-then-Compress pipeline, which inherits high-dimensional teacher features and then applies structured spatio-temporal compression to avoid a heavy classification head; and (3) spectral distillation that aligns teacher-student representations in the frequency domain to regularize compression and mitigate aliasing and temporal jitter. Experiments on four EEG benchmarks show that DLink enables compact students to outperform lightweight baselines while approaching fully fine-tuned FM performance at substantially lower model size and inference cost.
• Abstract（参考訳）: EEGファウンデーションモデル(FM)は、強力なクロスオブジェクトとクロスタスクの一般化を実現するが、組み込みBCIシステムへのデプロイメントを妨げる計算とメモリのコストを大幅に上乗せする。 知識蒸留は自然解であるが、従来の方法では、タスク関連セマンティクスが中間層に分散することが多く、アグレッシブな次元減少は、表現的崩壊やエイリアシングを通じて振動構造を歪めてしまうため、EEG FMでは失敗する。 これらの課題に対処するため,DLink(Distilling Layer-wise and Dominant Knowledge)は,(1)教師層を適応的に集約して支配的な中間表現を捉えるダイナミックルータ,(2)高次元の教師特徴を継承し,重大な分類ヘッドを避けるために時空間圧縮を構造化したミミック・テン圧縮パイプラインを持つEEG MiC学生,(3)周波数領域における教師-生徒の表現を整列させて圧縮と時間ジッタの緩和を行うスペクトル蒸留という,3つの重要なイノベーションを持つ,大規模な脳波FMからコンパクトな学生へ知識を伝達する統合フレームワークを提案する。 4つのEEGベンチマークの実験により、DLinkは、コンパクトな学生が、モデルサイズと推論コストを大幅に低くして、完全に微調整されたFM性能にアプローチしながら、軽量なベースラインを上回り得ることを示した。

関連論文リスト

• Explicit Multi-head Attention for Inter-head Interaction in Large Language Models [70.96854312026319]
  マルチヘッド明示的注意(Multi-head Explicit Attention、MEA)は、頭間相互作用を明示的にモデル化した、単純で効果的な注意法である。 MEAは事前トレーニングにおいて強い堅牢性を示し、より高速な収束につながる学習率を使用することを可能にします。 これにより、KVキャッシュメモリ使用率を50%削減できる実用的なキー値キャッシュ圧縮戦略が実現される。
  論文  参考訳（メタデータ） (2026-01-27T13:45:03Z)
• GCMCG: A Clustering-Aware Graph Attention and Expert Fusion Network for Multi-Paradigm, Multi-task, and Cross-Subject EEG Decoding [0.7871262900865523]
  運動画像(MI)脳波(EEG)信号に基づく脳-コンピュータインタフェース(BCI)は、人間と機械の相互作用の直接的な経路を提供する。 本稿では,MI-ME EEGデコーディングのための新しい統合フレームワークであるGraph-guided Clustering Mixture-of-Experts CNNGRUGを提案する。
  論文  参考訳（メタデータ） (2025-11-29T18:05:33Z)
• UHKD: A Unified Framework for Heterogeneous Knowledge Distillation via Frequency-Domain Representations [5.382357091398666]
  クロスアーキテクチャ転送に周波数領域の中間的特徴を利用するフレームワークとして、統一不均一知識蒸留(UHKD)が提案されている。 CIFAR-100とImageNet-1Kの実験では、最新の手法よりも5.59%、0.83%向上した。
  論文  参考訳（メタデータ） (2025-10-28T06:41:43Z)
• PHASE-Net: Physics-Grounded Harmonic Attention System for Efficient Remote Photoplethysmography Measurement [63.007237197267834]
  既存のディープラーニング手法は、主に生理学的モニタリングであり、理論的な堅牢性を欠いている。 本研究では,Navier-Stokes方程式のヘモダイナミックスから導かれる物理インフォームド r パラダイムを提案し,パルス信号が2次系に従うことを示す。 これは、時間的円錐ネットワーク(TCN)を使用する理論的正当性を提供する。 Phase-Netは高い効率で最先端のパフォーマンスを実現し、理論上は基礎的でデプロイ可能な r ソリューションを提供する。
  論文  参考訳（メタデータ） (2025-09-29T14:36:45Z)
• DART: Dual Adaptive Refinement Transfer for Open-Vocabulary Multi-Label Recognition [59.203152078315235]
  Open-Vocabulary Multi-Label Recognition (OV-MLR)は、画像内の複数の見えないオブジェクトカテゴリを識別することを目的としている。 ビジョンランゲージ事前学習モデルは強力なオープン語彙基盤を提供するが、弱い監督下では微粒な局所化に苦慮する。 本稿では,これらの制約を克服するためのDART(Dual Adaptive Refinement Transfer)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:22:33Z)
• Large-Scale Model Enabled Semantic Communication Based on Robust Knowledge Distillation [45.347078403677216]
  大規模モデル(LSM)は意味表現と理解に有効なフレームワークである。 しかしながら、それらの直接的なデプロイメントは、しばしば高い計算複雑性とリソース要求によって妨げられる。 本稿では,新しい知識蒸留に基づくセマンティックコミュニケーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-04T07:47:18Z)
• An Efficient Self-Supervised Framework for Long-Sequence EEG Modeling [2.1232375739287006]
  脳波表現学習のための自己教師型フレームワークであるEEGM2を提案する。 EEGM2は、ショートシーケンスとロングシーケンスの両方のモデリングと分類において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-25T05:57:56Z)
• M3D: Manifold-based Domain Adaptation with Dynamic Distribution for Non-Deep Transfer Learning in Cross-subject and Cross-session EEG-based Emotion Recognition [11.252832459891566]
  本稿では,M3D(Manifold-based Domain Adaptation with Dynamic Distribution)を提案する。 M3Dは、多様体特徴変換、動的分布アライメント、分類器学習、アンサンブル学習の4つの重要なモジュールで構成されている。 実験の結果,M3Dは平均4.47%の精度で従来の非深度学習法より優れていた。
  論文  参考訳（メタデータ） (2024-04-24T03:08:25Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。