Fugu-MT 論文翻訳(概要): CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding

論文の概要: CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding

arxiv url: http://arxiv.org/abs/2607.09543v1
Date: Fri, 10 Jul 2026 15:48:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-13 14:47:12.896609
Title: CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding
Title（参考訳）: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding
Abstract要約: マルチスケールの時間的畳み込み入力層とトランスフォーマーエンコーダブロック(CoCoT)を備えた新しいコントラスト型EEGモデルを開発する。 CoCoTは、異種電極構成を持つ広範囲なベンチマークデコードタスクにおいて、最先端の再構築済みのEEGモデルと一致または打ち勝つ。脳波FM構築におけるコントラスト学習の実現可能性を示すとともに,重要な設計上の考慮事項を示唆する。
参考スコア（独自算出の注目度）: 5.179334032083694
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-supervised pretrained foundation models (FM) have shown early promise for non-invasive electroencephalogram (EEG) decoding applications. Many recent large-scale models converged on the approach of tokenizing raw EEG followed by masked reconstruction pretraining. However, this recipe has been shown to be suboptimal for data, like EEG, with high noise amplitude and information confined to limited dimensions such as narrow frequency bands. Building on this insight, we develop a novel contrastive-pretrained EEG model with multiscale temporal convolution input layers and Transformer encoder blocks (CoCoT). CoCoT matches or beats state-of-the-art reconstruction-pretrained EEG models on extensive benchmark decoding tasks with heterogeneous electrode configurations. Furthermore, CoCoT trained from scratch outperforms previous single-task decoding models and even rivals pretrained models, showcasing the architecture's flexibility and data efficiency. Through systematic ablations, including model architecture and pretraining objective, we demonstrate the viability of contrastive learning for building EEG FMs while suggesting key architectural design considerations, prompting further investigations in alternative large-scale pretraining strategies.
Abstract（参考訳）: 自己教師付き事前訓練基礎モデル(FM)は、非侵襲脳波(EEG)復号法を早期に提案している。近年の大規模モデルの多くは、生の脳波をトークン化するアプローチに収束し、マスク付き再建事前訓練を行った。しかし、このレシピは脳波などのデータに準最適であることが示されており、ノイズ振幅が高く、狭い周波数帯域のような限られた次元に限定されている。この知見に基づいて,マルチスケールの時間的畳み込み入力層とトランスフォーマーエンコーダブロック(CoCoT)を備えた新しいコントラスト予測脳波モデルを構築した。 CoCoTは、異種電極構成を持つ広範囲なベンチマークデコードタスクにおいて、最先端の再構築済みのEEGモデルと一致または打ち勝つ。さらに、CoCoTは、以前のシングルタスクのデコードモデルよりもスクラッチでトレーニングし、事前訓練されたモデルとさえ競合し、アーキテクチャの柔軟性とデータ効率を示している。モデルアーキテクチャや事前学習の目的を含む体系的な改善を通じて,脳波FM構築のためのコントラスト学習の実現可能性を示すとともに,重要な設計上の考察を示唆し,大規模事前学習戦略のさらなる検討を促す。

関連論文リスト

EEG-PRIME: Prototype-Aligned Representation Learning with Multi-Level Conditioning for EEG Decoding [26.89647605331463]
EEG-PRIMEは、クロスデータセットマルチタスクデコーディングのための2段階のEEG基盤モデルである。命令チューニングの間、EEG-PRIMEはタスクセマンティック、データセット固有、主題不変条件を取り入れている。実験では、クロスオブジェクト設定下での最先端のベースラインと以前のEEGファンデーションモデルに対して一貫した改善が示されている。
論文参考訳（メタデータ） (2026-08-13T10:35:51Z)
STEAM: A Spatio-TEmporal Alignment Mixture-of-Experts Model with Hierarchical Pre-training for EEG Decoding [12.49365160717963]
脳波基礎モデルにおけるパラダイム特化と汎用表現学習を融合した階層的伝達フレームワークであるSTEAMを提案する。 STEAMは、FLOPsで測定された競合推論コストで比較した手法の中で、最高の平均ランクを得る。
論文参考訳（メタデータ） (2026-08-03T11:15:22Z)
SpecMoE: Spectral Mixture-of-Experts Foundation Model for Cross-Species EEG Decoding [0.0]
SpecMoEは、学習されたスペクトルゲーティングメカニズムによってガイドされるエキスパートフレームワークの混合である。睡眠ステージング、感情認識、運動像分類、異常信号検出、薬物効果予測など、さまざまな脳波デコーディングタスクのセットで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-03-17T16:20:14Z)
REVE: A Foundation Model for EEG -- Adapting to Any Setup with Large-Scale Pretraining on 25,000 Subjects [5.368295573908306]
REVE(Representation for EEG with Versatile Embeddings)は、様々な脳波信号にまたがる一般化を意図した事前訓練モデルである。我々は25,000人の被験者にまたがる92のデータセットから6万時間以上の脳波データをプレトレーニングしました。我々は、標準化された脳波研究を支援し、臨床神経科学の進歩を促進するためのコード、事前訓練された体重、チュートリアルをリリースする。
論文参考訳（メタデータ） (2025-10-24T15:52:46Z)
EEGDM: EEG Representation Learning via Generative Diffusion Model [17.595769291603688]
生成拡散モデル(EEGDM)に基づく脳波表現学習フレームワークを提案する。具体的には,拡散事前学習のための構造化状態空間モデルを開発し,DDPM(Denoising Diffusion Probabilistic Model)フレームワークを用いて学習を行った。提案した潜時核融合変換器 (LFT) を用いた下流分類作業において, 得られた潜時脳波表現を用いた。
論文参考訳（メタデータ） (2025-08-13T14:40:52Z)
Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
論文参考訳（メタデータ） (2025-02-16T23:13:55Z)
CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
論文参考訳（メタデータ） (2024-12-13T16:27:54Z)
Exploring the design space of deep-learning-based weather forecasting systems [56.129148006412855]
本稿では,異なる設計選択がディープラーニングに基づく天気予報システムに与える影響を系統的に分析する。 UNet、完全畳み込みアーキテクチャ、トランスフォーマーベースモデルなどの固定グリッドアーキテクチャについて検討する。固定グリッドモデルの強靭な性能とグリッド不変アーキテクチャの柔軟性を組み合わせたハイブリッドシステムを提案する。
論文参考訳（メタデータ） (2024-10-09T22:25:50Z)
Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
論文参考訳（メタデータ） (2024-03-26T16:33:12Z)
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文参考訳（メタデータ） (2023-05-25T10:58:46Z)
CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文参考訳（メタデータ） (2022-07-05T02:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。