論文の概要: What masking geometry works best for EEG foundation models?
- arxiv url: http://arxiv.org/abs/2609.33487v1
- Date: Sun, 27 Sep 2026 11:55:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 16:24:54.223291
- Title: What masking geometry works best for EEG foundation models?
- Title(参考訳): 脳波基礎モデルに最適なマスク形状は何か?
- Abstract要約: EEGファンデーションモデルは、臨床および認知神経科学応用にまたがるスケーラブルな脳信号デコーディングを約束する。
デザインの選択の中で、マスキング戦略は特に重要であり、モデルが何を予測し、どのコンテキストから予測するかを決定する。
本稿では,2つのフレームワークにまたがる1つのパイプラインマスキング構成を用いて,ネットワーク,時間的マスキング戦略,およびトレインモデルを定式化する。
- 参考スコア(独自算出の注目度): 4.2501574816793575
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: EEG foundation models hold promise for scalable brain-signal decoding across clinical and cognitive neuroscience applications, yet their pre-training pipelines remain poorly understood. Among design choices, the masking strategy is particularly critical: it determines what the network must predict and from which context. Yet it has never been ablated in isolation, as each new model bundles a new masking strategy with a new backbone and objective. In this paper, we formalize the design choices for spatio-temporal masking strategies and train various models with a single pipeline under varying masking configurations across two SSL frameworks (MAE and JEPA). We then systematically evaluate the resulting 58 pre-trained models on the 12 datasets of OpenEEGBench under a linear probe. Both frameworks agree on an optimal masking configuration and on shared failure modes. Outside these, performance is robust: 11 MAE and 9 JEPA configurations are statistically indistinguishable from the best. We further identify a novel JEPA-specific failure mode, tagged bias-inflation collapse, invisible to standard detectors. With a well-chosen mask, our pipeline reaches REVE-level downstream performance at a fraction of REVE's pre-training compute.
- Abstract(参考訳): EEGファンデーションモデルは、臨床および認知神経科学応用におけるスケーラブルな脳信号デコーディングを約束するが、その事前学習パイプラインは理解されていない。
デザインの選択の中で、マスキング戦略は特に重要であり、ネットワークが予測し、どのコンテキストから予測する必要があるかを判断する。
しかし、それぞれの新しいモデルが新しいバックボーンと目的を持った新しいマスキング戦略をバンドルしているため、分離されたことはない。
本稿では,2つのSSLフレームワーク(MAEとJEPA)にまたがるマスキング構成の異なる1つのパイプラインで,時空間マスキング戦略の設計選択を形式化し,様々なモデルを訓練する。
次に、線形プローブを用いて、12のOpenEEGBenchデータセットに対して、結果58の事前学習モデルを体系的に評価する。
どちらのフレームワークも最適なマスキング設定と共有障害モードに同意している。
11のMAEと9のJEPA構成は、最高のものと統計的に区別できない。
さらに,新しいJEPA固有の障害モード,タグ付きバイアス・インフレーション崩壊,標準検出器に見えない異常モードを同定する。
十分に整合したマスクで、我々のパイプラインはREVEの事前学習計算のごく一部でREVEレベルのダウンストリーム性能に達する。
関連論文リスト
- Deep Leakage with Generative Flow Matching Denoiser [54.05993847488204]
再建プロセスに先立って生成フローマッチング(FM)を組み込んだ新しい深部リーク攻撃(DL)を導入する。
当社のアプローチは、ピクセルレベル、知覚的、特徴に基づく類似度測定において、最先端の攻撃よりも一貫して優れています。
論文 参考訳(メタデータ) (2026-01-21T14:51:01Z) - Filtering Jump Markov Systems with Partially Known Dynamics: A Model-Based Deep Learning Approach [33.421237778335076]
JMFNetは、ジャンプマルコフシステムにおけるリアルタイム状態推定のための新しいモデルベースのディープラーニングフレームワークである。
2つのリカレントニューラルネットワーク(RNN)からなるハイブリッドアーキテクチャを提案する。
提案したRNNは,潜伏モードの監督なしに相互適応可能な最小二乗戦略を用いて共同で訓練される。
論文 参考訳(メタデータ) (2025-11-11T12:11:24Z) - Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。
我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
論文 参考訳(メタデータ) (2025-09-03T18:05:02Z) - Input Conditioned Layer Dropping in Speech Foundation Models [11.05223262950967]
層ドロップ(mathcalLD$)は、計算負荷を減らすために、推論中にバックボーンネットワークの層の一部をスキップする。
本稿では,ネットワークの入力機能と,処理層の最適組み合わせを決定するための軽量層選択ネットワークを用いた入力駆動$mathcalLD$を提案する。
論文 参考訳(メタデータ) (2025-07-10T17:39:03Z) - A Few Large Shifts: Layer-Inconsistency Based Minimal Overhead Adversarial Example Detection [13.109309606764754]
我々は、ターゲットモデル自体の内部の階層的不整合を利用するプラグイン検出フレームワークを導入する。
本手法は計算オーバーヘッドを無視して最先端検出性能を実現する。
論文 参考訳(メタデータ) (2025-05-19T00:48:53Z) - Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [81.93945602120453]
本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。
フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。
設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
論文 参考訳(メタデータ) (2024-08-23T01:53:36Z) - Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。
フェデレートラーニングにおいて最も顕著に用いられている。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳(メタデータ) (2023-07-13T09:39:10Z) - Targeted Attack against Deep Neural Networks via Flipping Limited Weight
Bits [55.740716446995805]
我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。
私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。
整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
論文 参考訳(メタデータ) (2021-02-21T03:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。