論文の概要: CEReBrO: Compact Encoder for Representations of Brain Oscillations Using Efficient Alternating Attention
- arxiv url: http://arxiv.org/abs/2501.10885v2
- Date: Mon, 27 Jan 2025 14:14:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 20:37:49.475910
- Title: CEReBrO: Compact Encoder for Representations of Brain Oscillations Using Efficient Alternating Attention
- Title（参考訳）: CEReBrO:効率的な交互注意を用いた脳振動の表現のためのコンパクトエンコーダ
- Authors: Alexandru Dimofte, Glenn Anta Bucagu, Thorir Mar Ingolfsson, Xiaying Wang, Andrea Cossettini, Luca Benini, Yawei Li,
- Abstract要約: 交互注意(CEReBrO)を用いた脳振動の表現のための圧縮法について紹介する。
トークン化方式は、チャネルごとのパッチで脳波信号を表現します。
本研究では,チャネル内時間的ダイナミックスとチャネル間空間的相関を共同でモデル化し,通常の自己アテンションに比べて6倍少ないメモリで2倍の速度向上を実現するための注意機構を提案する。
- 参考スコア（独自算出の注目度）: 53.539020807256904
- License:
- Abstract: Electroencephalograph (EEG) is a crucial tool for studying brain activity. Recently, self-supervised learning methods leveraging large unlabeled datasets have emerged as a potential solution to the scarcity of widely available annotated EEG data. However, current methods suffer from at least one of the following limitations: i) sub-optimal EEG signal modeling, ii) model sizes in the hundreds of millions of trainable parameters, and iii) reliance on private datasets and/or inconsistent public benchmarks, hindering reproducibility. To address these challenges, we introduce a Compact Encoder for Representations of Brain Oscillations using alternating attention (CEReBrO), a new small EEG foundation model. Our tokenization scheme represents EEG signals at a per-channel patch granularity. We propose an alternating attention mechanism that jointly models intra-channel temporal dynamics and inter-channel spatial correlations, achieving 2x speed improvement with 6x less memory required compared to standard self-attention. We present several model sizes ranging from 3.6 million to 85 million parameters. Pre-trained on over 20,000 hours of publicly available scalp EEG recordings with diverse channel configurations, our models set new benchmarks in emotion detection and seizure detection tasks, with competitive performance in anomaly classification and gait prediction. This validates our models' effectiveness and efficiency.
- Abstract（参考訳）: 脳波(Electroencephalograph、EEG)は、脳活動を研究するための重要なツールである。
近年,注釈付き脳波データの不足に対する潜在的な解決策として,大規模ラベル付きデータセットを活用した自己教師付き学習法が出現している。
しかし、現在の手法は以下の制限の少なくとも1つに悩まされている。
一 準最適脳波信号モデリング
二 数億の訓練可能なパラメータのモデルサイズ及び
三 自己のデータセット及び/又は一貫性のない公開ベンチマークに依存して、再現性を阻害すること。
これらの課題に対処するために,新しい脳波基礎モデルCEReBrOを用いた脳振動の表現のためのコンパクトエンコーダを導入する。
我々のトークン化方式は、チャネルごとのパッチの粒度で脳波信号を表現している。
本研究では,チャネル内時間的ダイナミックスとチャネル間空間的相関を共同でモデル化し,通常の自己アテンションに比べて6倍少ないメモリで2倍の速度向上を実現するための注意機構を提案する。
モデルのサイズは360万から8500万まで様々である。
各種チャンネル構成による2万時間以上の公用頭皮脳波記録を事前トレーニングし,感情検出および発作検出タスクのベンチマークを作成し,異常分類と歩行予測の競争性能を比較検討した。
これにより、モデルの有効性と効率が検証されます。
関連論文リスト
- EEGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training [9.57946371147345]
EEGPTはこれらの課題に対処するために設計された最初の一般のEEG基盤モデルである。
まず,各電極を基本単位として扱う電極ワイド・モデリング手法を提案する。
第2に、最初の自己回帰型脳波事前学習モデルを開発する。
第3に,学習可能な電極グラフネットワークを用いたマルチタスク転送学習パラダイムを提案する。
論文 参考訳（メタデータ） (2024-10-14T12:17:54Z) - Comparison of Autoencoder Encodings for ECG Representation in Downstream Prediction Tasks [2.2616169634370076]
自動エンコーダ(SAE)、Annealed beta-VAE(Abeta-VAE)、Cbeta-VAE(Cbeta-VAE)の3種類の新しい変分自動エンコーダ(VAE)を導入した。
アベタVAEは、信号ノイズのレベルである平均絶対誤差(MAE)を15.7プラス3.2マイクロボルトに減らした。
以上の結果から,これらのVAE符号化はECGデータの簡易化だけでなく,限られたラベル付き学習データを用いた文脈での深層学習の実践的解決にも有効であることが示唆された。
論文 参考訳（メタデータ） (2024-10-03T19:30:05Z) - FoME: A Foundation Model for EEG using Adaptive Temporal-Lateral Attention Scaling [19.85701025524892]
FoME (Foundation Model for EEG) は適応的側方アテンションスケーリングを用いた新しいアプローチである。
FoMEは1.7TBの頭皮と頭蓋内脳波記録のデータセットで事前訓練されており、1,096kのステップで745Mのパラメータが訓練されている。
論文 参考訳（メタデータ） (2024-09-19T04:22:40Z) - REST: Efficient and Accelerated EEG Seizure Analysis through Residual State Updates [54.96885726053036]
本稿では,リアルタイム脳波信号解析のための新しいグラフベース残状態更新機構(REST)を提案する。
グラフニューラルネットワークとリカレント構造の組み合わせを活用することで、RESTは、非ユークリッド幾何学とEEGデータ内の時間的依存関係の両方を効率的にキャプチャする。
本モデルは,発作検出と分類作業において高い精度を示す。
論文 参考訳（メタデータ） (2024-06-03T16:30:19Z) - hvEEGNet: exploiting hierarchical VAEs on EEG data for neuroscience
applications [3.031375888004876]
脳波の既存のDLベースのモデリング手法に2つの課題がある。
被験者間の高いばらつきと低信号対雑音比は、脳波データの良好な品質を確保するのを困難にしている。
本稿では,高忠実度脳波再構成問題を対象とした2つの変分オートエンコーダモデル,すなわちvEEGNet-ver3とhvEEGNetを提案する。
論文 参考訳（メタデータ） (2023-11-20T15:36:31Z) - DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial
Attention Detection [49.196182908826565]
AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。
現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。
本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T13:43:46Z) - EEG-NeXt: A Modernized ConvNet for The Classification of Cognitive
Activity from EEG [0.0]
脳波(EEG)に基づく脳-コンピュータインタフェース(BCI)システムにおける大きな課題の1つは、認知活動の分類のために主題/セッション不変の特徴を学習することである。
転送学習を容易にする新しいエンドツーエンド機械学習パイプラインであるEEG-NeXtを提案する。
論文 参考訳（メタデータ） (2022-12-08T10:15:52Z) - Decision Forest Based EMG Signal Classification with Low Volume Dataset
Augmented with Random Variance Gaussian Noise [51.76329821186873]
我々は6種類の手振りを限定的なサンプル数で分類できるモデルを作成し、より広い聴衆によく一般化する。
信号のランダムなバウンドの使用など、より基本的な手法のセットにアピールするが、これらの手法がオンライン環境で持てる力を示したいと考えている。
論文 参考訳（メタデータ） (2022-06-29T23:22:18Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - EEG-Inception: An Accurate and Robust End-to-End Neural Network for
EEG-based Motor Imagery Classification [123.93460670568554]
本稿では,脳波に基づく運動画像(MI)分類のための新しい畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。
提案したCNNモデル、すなわちEEG-Inceptionは、Inception-Timeネットワークのバックボーン上に構築されている。
提案するネットワークは、生のEEG信号を入力とし、複雑なEEG信号前処理を必要としないため、エンドツーエンドの分類である。
論文 参考訳（メタデータ） (2021-01-24T19:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。