論文の概要: Standing on the Shoulders of Giants: Rethinking EEG Foundation Model Pretraining via Multi-Teacher Distillation
- arxiv url: http://arxiv.org/abs/2603.04478v1
- Date: Wed, 04 Mar 2026 16:43:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-06 22:06:10.916355
- Title: Standing on the Shoulders of Giants: Rethinking EEG Foundation Model Pretraining via Multi-Teacher Distillation
- Title（参考訳）: ジャイアンツの肩に立つ:マルチティーラー蒸留による脳波基礎モデルの事前学習の再考
- Authors: Chenqi Li, Yu Liu, Shuo Zhang, Timothy Denison, Tingting Zhu,
- Abstract要約: 本稿では,2段階多教師蒸留による脳波基礎モデルの事前学習フレームワークを提案する。
第1段階では,マスク付き潜伏学習目標を用いて,多様な教師の表現を融合する学習可能なゲーティングネットワークを導入する。
第2段階では、融合表現をEEG基礎モデルに蒸留する。
- 参考スコア（独自算出の注目度）: 10.422971172402368
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pretraining for electroencephalogram (EEG) foundation models has predominantly relied on self-supervised masked reconstruction, a paradigm largely adapted from and inspired by the success of vision and language foundation models. However, unlike images and text, EEG datasets are notoriously expensive to collect and characterized by low signal-to-noise ratio. These challenges introduce difficulties in scaling the EEG foundation models and capturing the underlying neural semantics through reconstruction. In this work, we ask the question: can we stand on the shoulders of well-established foundation models from well-represented modalities to bootstrap the pretraining of EEG foundation models? We first demonstrate that mainstream foundation models, such as those from vision and time series, transfer surprisingly well to EEG domain. To this end, we propose the Multi-Teacher Distillation Pretraining (MTDP) framework for pretraining EEG foundation models via a two-stage multi-teacher distillation. In the first stage, we introduce a learnable gating network to fuse representations from diverse teachers (e.g., DINOv3 and Chronos) via a masked latent denoising objective. In the second stage, we distill the fused representation into an EEG foundation model. Extensive evaluations across 9 downstream tasks and 12 datasets demonstrate that our MTDP-based EEG foundation model outperforms its self-supervised counterparts while requiring only 25% of the pretraining data.
- Abstract（参考訳）: 脳波基礎モデル(EEG)の事前訓練は、視覚と言語基礎モデルの成功に大きく影響されたパラダイムである自己監督型マスク再構築に大きく依存している。
しかし、画像やテキストとは異なり、EEGデータセットは収集し、低信号対雑音比で特徴付けられることで有名である。
これらの課題は、EEGファンデーションモデルをスケールし、再構築を通じて基盤となる神経意味論をキャプチャすることの難しさをもたらす。
脳波基礎モデルの事前訓練をブートストラップするために、よく表現されたモダリティから確立された基礎モデルの肩に立つことができるか?
私たちはまず、ビジョンや時系列といった主流の基盤モデルが驚くほどEEGドメインに移行していることを示します。
そこで本研究では,2段階のマルチティーチンガー蒸留による脳波基礎モデルの事前学習のためのマルチティーチンガー蒸留前訓練(MTDP)フレームワークを提案する。
第1段階では,マスク付き潜伏学習目標を用いて,多様な教師(例えば,DINOv3,Chronos)の表現を融合する学習可能なゲーティングネットワークを導入する。
第2段階では、融合表現をEEG基礎モデルに蒸留する。
9つの下流タスクと12のデータセットにわたる大規模な評価は、MTDPベースのEEGファンデーションモデルは、事前学習データの25%しか必要とせず、自己管理されたタスクよりも優れていることを示している。
関連論文リスト
- EEG Foundation Models: Progresses, Benchmarking, and Open Problems [10.447009984769819]
我々は、50の代表的なEEG基盤モデルをレビューし、その設計選択を統合された分類学的枠組みにまとめる。
9つのBCIパラダイムにまたがる13のEEGデータセットに対して、12のオープンソースファンデーションモデルと、競合するスペシャリストベースラインを評価します。
論文 参考訳（メタデータ） (2026-01-25T15:28:50Z) - Leveraging Generic Time Series Foundation Models for EEG Classification [8.938023803309097]
本稿では,最近提案された時系列分類基礎モデルの運動画像分類や睡眠ステージ予測などの脳波タスクへの適用性について検討する。
いずれの変種も強い性能を示し、広く使われている畳み込みベースラインであるEEGNetと、最新のEEG固有の基盤モデルであるCBraModを一貫して上回ります。
脳信号解析にクロスドメイン事前学習モデルを活用することは,脳波がより広範な時系列文献の進歩の恩恵を受けることを示唆している。
論文 参考訳（メタデータ） (2025-10-31T14:49:23Z) - EEGDM: EEG Representation Learning via Generative Diffusion Model [17.595769291603688]
生成拡散モデル(EEGDM)に基づく脳波表現学習フレームワークを提案する。
具体的には,拡散事前学習のための構造化状態空間モデルを開発し,DDPM(Denoising Diffusion Probabilistic Model)フレームワークを用いて学習を行った。
提案した潜時核融合変換器 (LFT) を用いた下流分類作業において, 得られた潜時脳波表現を用いた。
論文 参考訳（メタデータ） (2025-08-13T14:40:52Z) - HAD: Hybrid Architecture Distillation Outperforms Teacher in Genomic Sequence Modeling [52.58723853697152]
DNA配列モデリングのためのハイブリッドアーキテクチャ蒸留(HAD)手法を提案する。
我々はNTv2-500Mを教師モデルとして採用し,グループマスキング戦略を考案した。
類似したパラメータを持つモデルと比較して,本モデルは優れた性能を示した。
論文 参考訳（メタデータ） (2025-05-27T07:57:35Z) - SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。
現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。
本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
論文 参考訳（メタデータ） (2025-01-16T18:59:46Z) - RADIOv2.5: Improved Baselines for Agglomerative Vision Foundation Models [60.596005921295806]
集約モデルは、ビジョンファウンデーションモデルをトレーニングするための強力なアプローチとして現れています。
我々は、解像度モードシフト、教師の不均衡、慣用的教師アーティファクト、過剰な出力トークンなど、重要な課題を識別する。
本稿では,マルチレゾリューショントレーニング,モザイク強化,教師の損失関数のバランスの改善など,いくつかの新しいソリューションを提案する。
論文 参考訳（メタデータ） (2024-12-10T17:06:41Z) - BrainGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training [15.135177893151008]
EEGPTはこれらの課題に対処するために設計された最初の一般のEEG基盤モデルである。
まず,各電極を基本単位として扱う電極ワイド・モデリング手法を提案する。
第2に、最初の自己回帰型脳波事前学習モデルを開発する。
第3に,学習可能な電極グラフネットワークを用いたマルチタスク転送学習パラダイムを提案する。
論文 参考訳（メタデータ） (2024-10-14T12:17:54Z) - Unleashing the Potential of the Diffusion Model in Few-shot Semantic Segmentation [56.87049651707208]
セマンティックはインコンテクストタスクへと発展し、一般化的セグメンテーションモデルを評価する上で重要な要素となった。
我々の最初の焦点は、クエリイメージとサポートイメージの相互作用を容易にする方法を理解することであり、その結果、自己注意フレームワーク内のKV融合法が提案される。
そこで我々はDiffewSというシンプルで効果的なフレームワークを構築し,従来の潜在拡散モデルの生成フレームワークを最大限に保持する。
論文 参考訳（メタデータ） (2024-10-03T10:33:49Z) - MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。
事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。
SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。
我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
論文 参考訳（メタデータ） (2024-03-20T09:17:22Z) - Neuro-GPT: Towards A Foundation Model for EEG [0.04188114563181615]
脳波エンコーダとGPTモデルからなる基礎モデルであるNeuro-GPTを提案する。
ファンデーションモデルは、マスクされたEEGセグメントの再構築方法を学ぶ自己教師付きタスクを使用して、大規模なデータセット上で事前訓練される。
基礎モデルを適用することで、スクラッチからトレーニングしたモデルと比較して、分類性能が大幅に向上することを示した。
論文 参考訳（メタデータ） (2023-11-07T07:07:18Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。