論文の概要: Benchmarking Positional Encoding Strategies for Transformer-Based EEG Foundation Models
- arxiv url: http://arxiv.org/abs/2605.29754v1
- Date: Thu, 28 May 2026 10:58:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.190875
- Title: Benchmarking Positional Encoding Strategies for Transformer-Based EEG Foundation Models
- Title(参考訳): 変圧器を用いた脳波基礎モデルのための位置符号化手法のベンチマーク
- Authors: Ayse Betul Yuce, Sebastian Stober,
- Abstract要約: 監視されたEEGデコーディングモデルは、タスク、主題、データセットをまたいだ一般化に苦慮することが多い。
変圧器は置換不変であるため、明示的な位置情報を必要とする。
我々は、CBraバックボーン内の5つの位置符号化戦略をベンチマークし、それらを線形探索および微調整プロトコルで評価する。
- 参考スコア(独自算出の注目度): 2.9793019246605676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Electroencephalography (EEG) is a widely used non-invasive technique for measuring brain activity in brain-computer interface (BCI) applications. Supervised EEG decoding models often struggle to generalize across tasks, subjects, and datasets, motivating transformer-based EEG foundation models trained with self-supervised learning. Since transformers are permutation-invariant, they require explicit positional information. Unlike textual tokens, EEG electrodes are spatially distributed across the scalp, raising the question of how electrode positions should be encoded in transformer-based EEG models. In this study, we benchmark five positional encoding strategies within the CBraMod backbone and evaluate them under linear probing and fine-tuning protocols on motor imagery classification and emotion recognition. Our results show that no single strategy consistently outperforms across tasks. Spherical Positional Encoding (SPE) yields strong representations for motor imagery but underperforms on emotion recognition, while Asymmetric Conditional Positional Encoding (ACPE) demonstrates more consistent performance across tasks. These findings suggest that the optimal positional encoding strategy is task-dependent, with no universal solution across EEG decoding scenarios.
- Abstract(参考訳): 脳波検査(EEG)は脳-コンピュータインターフェース(BCI)アプリケーションにおいて脳活動を測定するために広く用いられる非侵襲的手法である。
監視された脳波復号モデルは、タスク、主題、データセットをまたいだ一般化に苦慮し、自己教師付き学習で訓練されたトランスフォーマーベースの脳波基礎モデルを動機付けている。
変圧器は置換不変であるため、明示的な位置情報を必要とする。
テキストトークンとは異なり、EEG電極は頭皮全体に空間的に分散し、トランスフォーマーベースのEEGモデルで電極位置がエンコードされるべきかどうかという疑問を提起する。
本研究では、CBraModバックボーン内の5つの位置符号化戦略をベンチマークし、運動画像分類と感情認識に関する線形探索および微調整プロトコルで評価する。
以上の結果から,タスク間では,ひとつの戦略が一貫して優れていないことが示唆された。
SPE(Spherical Positional Encoding)は、運動画像に対して強い表現を与えるが、感情認識において性能が劣る一方、ACPE(Asymmetric Conditional Positional Encoding)はタスク間でより一貫したパフォーマンスを示す。
これらの結果から, 最適位置符号化戦略はタスク依存であり, 脳波復号のシナリオに共通解は存在しないことが示唆された。
関連論文リスト
- Transformer-based EEG Decoding: A Survey [2.3288585185469146]
Transformerは、アテンションメカニズムによるシーケンシャルデータの強力なハンドリング能力で有名である。
ディープラーニングのアプローチは、エンドツーエンドのロングケースアーキテクチャを提供することによって、徐々にこの分野に革命をもたらした。
論文 参考訳(メタデータ) (2025-07-03T05:12:06Z) - BrainOmni: A Brain Foundation Model for Unified EEG and MEG Signals [46.121056431476156]
異種脳波とMEG記録を対象とする脳基礎モデルBrain Omniを提案する。
既存のアプローチは一般的に、パフォーマンスとクロスドメインのスケーラビリティを制限する、分離、モダリティ、データセット固有のモデルに依存します。
EEGの合計1,997時間、MEGデータの656時間は、事前トレーニングのために公開されているソースからキュレーションされ、標準化されている。
論文 参考訳(メタデータ) (2025-05-18T14:07:14Z) - Toward Relative Positional Encoding in Spiking Transformers [76.72869420863749]
スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、脳内のニューロンが離散スパイクを通してどのように通信するかを模倣するバイオインスパイアネットワークである。
スパイクのバイナリ特性を保ちながら、スパイク変換器における相対的な位置エンコーディングを近似する戦略をいくつか導入する。
論文 参考訳(メタデータ) (2025-01-28T06:42:37Z) - Towards Linguistic Neural Representation Learning and Sentence Retrieval from Electroencephalogram Recordings [27.418738450536047]
脳波信号を文に変換するための2ステップパイプラインを提案する。
まず,自然読解中に記録された脳波データから単語レベルの意味情報を学習できることを確認する。
脳波エンコーダからの予測に基づいて文章を検索するために,学習不要な検索手法を用いる。
論文 参考訳(メタデータ) (2024-08-08T03:40:25Z) - EEG-Deformer: A Dense Convolutional Transformer for Brain-computer Interfaces [17.524441950422627]
本稿では,CNN-Transformerに2つの新しいコンポーネントを組み込んだEEG-Deformerを紹介する。
EEG-Deformerは神経生理学的に意味のある脳領域から学習し、対応する認知タスクを学習する。
論文 参考訳(メタデータ) (2024-04-25T18:00:46Z) - EEGEncoder: Advancing BCI with Transformer-Based Motor Imagery Classification [11.687193535939798]
脳-コンピュータインタフェース(BCI)は、脳波信号を用いてデバイスを直接神経制御する。
脳波に基づく運動画像(MI)分類のための従来の機械学習手法は、手動の特徴抽出やノイズに対する感受性といった課題に遭遇する。
本稿では,これらの制限を克服するために改良型トランスフォーマーとTCNを用いたディープラーニングフレームワークであるEEGEncoderを紹介する。
論文 参考訳(メタデータ) (2024-04-23T09:51:24Z) - Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder [69.7813498468116]
コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。
また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
論文 参考訳(メタデータ) (2024-02-27T11:45:21Z) - CSLP-AE: A Contrastive Split-Latent Permutation Autoencoder Framework
for Zero-Shot Electroencephalography Signal Conversion [49.1574468325115]
脳波分析の鍵となる目的は、基礎となる神経活動(コンテンツ)を抽出し、個体の変動(スタイル)を考慮することである。
近年の音声変換技術の発展に触発されて,脳波変換を直接最適化するCSLP-AEフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-13T22:46:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。