論文の概要: BandVQ: Band-Wise Vector-Quantized EEG Foundation Model
- arxiv url: http://arxiv.org/abs/2605.24921v1
- Date: Sun, 24 May 2026 07:55:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:18.51132
- Title: BandVQ: Band-Wise Vector-Quantized EEG Foundation Model
- Title(参考訳): BandVQ:Band-Wise Vector-Quantized EEG Foundation Model
- Authors: Jamiyan Sukhbaatar, Satoshi Imamura, Toshihisa Tanaka,
- Abstract要約: BandVQは、EEGをデルタ、セタ、アルファ、ベータ、ガンマバンドに分解するバンドワイドベクトル量子化EEG基盤モデルである。
このモデルは、9,200人以上の被験者と357,000人のシングルチャネル時間からなる71の公的な脳波コーパスで事前訓練されている。
- 参考スコア(独自算出の注目度): 3.175328312556379
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central challenge in electroencephalography (EEG) foundation modeling is learning transferable representations across recordings with diverse tasks, montages, references, and spectral characteristics. Existing masked modeling approaches often rely on broadband continuous patches or a single discrete representation, which may underrepresent frequency-specific activity. This paper proposes BandVQ, a band-wise vector-quantized EEG foundation model that decomposes EEG into delta, theta, alpha, beta, and gamma bands, trains an independent VQ-VAE tokenizer for each band, and pretrains a shared Transformer encoder on the resulting discrete VQ code indices. The encoder uses masked code tokens, quantized absolute log-power tokens, channel and temporal embeddings, and metadata prefix tokens representing reference, band, task family, and phase. Region-based masking is also introduced to reduce the trivial reconstruction of spatially adjacent electrodes. The model is pretrained on 71 public EEG corpora comprising over 9,200 subjects and 357,000 single-channel hours and evaluated on six subject-independent classification datasets. Under the current evaluation setting, the proposed model achieves strong transfer performance, with the highest reported results on three cognitive tasks and competitive performance on three motor imagery tasks.
- Abstract(参考訳): 脳波基礎モデリングにおける中心的な課題は、様々なタスク、モンタージュ、参照、スペクトル特性を持つ記録間の伝達可能な表現を学習することである。
既存のマスク付きモデリングアプローチは、しばしばブロードバンドの連続パッチや単一の離散表現に依存しており、周波数固有のアクティビティを過小評価している。
本稿では,脳波をデルタ,ゼータ,アルファ,ベータ,ガンマバンドに分解し,各バンドに対して独立なVQ-VAEトークン化器を訓練し,結果として生じる離散的なVQコードインデックスに対して共有トランスフォーマーエンコーダを事前訓練する,帯域単位のベクトル量子化EEG基盤モデルであるBandVQを提案する。
エンコーダは、マスク付きコードトークン、量子化された絶対ログパワートークン、チャネルと時間埋め込み、参照、バンド、タスクファミリー、フェーズを表すメタデータプレフィックストークンを使用する。
領域ベースのマスキングも導入され、空間的に隣接した電極の自明な再構築を減らした。
このモデルは、9,200人以上の被験者と357,000人のシングルチャネル時間からなる71の公的な脳波コーパスで事前訓練され、6つの主題に依存しない分類データセットで評価される。
提案したモデルでは,3つの認知課題と3つの運動画像課題の競争性能を比較検討し,高い伝達性能が得られた。
関連論文リスト
- SpecMoE: Spectral Mixture-of-Experts Foundation Model for Cross-Species EEG Decoding [0.0]
SpecMoEは、学習されたスペクトルゲーティングメカニズムによってガイドされるエキスパートフレームワークの混合である。
睡眠ステージング、感情認識、運動像分類、異常信号検出、薬物効果予測など、さまざまな脳波デコーディングタスクのセットで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-03-17T16:20:14Z) - LEFT: Learnable Fusion of Tri-view Tokens for Unsupervised Time Series Anomaly Detection [53.191369031661885]
教師なし時系列異常検出は、アノテーションの可用性を前提とせず、異常なタイムスタンプを識別するモデルを構築することを目的としている。
本稿では,非教師付きTSADフレームワークであるLearnable Fusion of Tri-view Tokens(LEFT)について述べる。
実世界のベンチマーク実験では、LEFTはSOTAベースラインに対して最高の検出精度を示し、FLOPの5倍、トレーニングの8倍のスピードアップを実現している。
論文 参考訳(メタデータ) (2026-02-09T13:33:49Z) - RAVEN: Query-Guided Representation Alignment for Question Answering over Audio, Video, Embedded Sensors, and Natural Language [1.5599296461516985]
RAVENは、クエリ条件のクロスモーダルゲーティングモジュールであるQuARTをコアとする統一QAアーキテクチャである。
RAVENは、単調な事前トレーニング、クエリ整合融合、不一致指向の微調整を含む3段階のパイプラインを通じてトレーニングされる。
実験の結果、RAVENは最先端のマルチモーダル言語モデルと比較して14.5%と8.0%の精度で向上した。
論文 参考訳(メタデータ) (2025-05-21T14:33:36Z) - Tokenizing Single-Channel EEG with Time-Frequency Motif Learning [16.732494632599934]
本稿では,新しいトークン化フレームワークであるFM-Tokenizerを提案する。
単一チャネルのEEG信号から時間周波数モチーフの語彙を学び、それらを離散トークンにエンコードする。
信号形式, チャネル構成, 記録装置, タスクの事前学習データと異なる耳-EEG睡眠ステージング実験により, トークン化装置がベースラインを14%上回ることを示す。
論文 参考訳(メタデータ) (2025-02-22T03:32:36Z) - Tensor Product Attention Is All You Need [61.3442269053374]
プロダクトアテンション(TPA)は、テンソル分解を使用してクエリ、キー、値をコンパクトに表現する新しいアテンションメカニズムである。
TPAは、メモリ効率とともに改善されたモデル品質を実現する。
TPAに基づいて,シーケンスモデリングのための新しいモデルアーキテクチャであるProducT ATTion Transformer (T6)を紹介する。
論文 参考訳(メタデータ) (2025-01-11T03:37:10Z) - Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。
本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。
我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
論文 参考訳(メタデータ) (2023-10-09T11:26:58Z) - Conditioning Trick for Training Stable GANs [70.15099665710336]
本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。
我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
論文 参考訳(メタデータ) (2020-10-12T16:50:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。