論文の概要: A foundation model with multi-variate parallel attention to generate neuronal activity

• arxiv url: http://arxiv.org/abs/2506.20354v2
• Date: Mon, 25 Aug 2025 13:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 16:37:41.225684
• Title: A foundation model with multi-variate parallel attention to generate neuronal activity
• Title（参考訳）: 多変量並列注意による神経活動生成の基礎モデル
• Authors: Francesco Carzaniga, Michael Hersche, Abu Sebastian, Kaspar Schindler, Abbas Rahimi,
• Abstract要約: 本稿では,コンテンツ,時間,空間的注意をゆがめる新しい自己注意機構を提案する。 MVPAは、様々なチャンネル数と構成で、フレキシブルで、一般化可能で、効率的な時系列データのモデリングを可能にする。 我々はMVPAを用いて、多種多様な被験者におけるiEEG信号の進化を予測するために訓練された人体電気生理学の生成基盤モデルMVPFormerを構築した。 MVPFormerは、SWEC、MAYO、FNUSA間での発作検出において、最先端のTransformerベースラインを超えると同時に、データセット上で最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 8.759497435798021
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from multi-variate time-series with heterogeneous channel configurations remains a fundamental challenge for deep neural networks, particularly in clinical domains such as intracranial electroencephalography (iEEG), where channel setups vary widely across subjects. In this work, we introduce multi-variate parallel attention (MVPA), a novel self-attention mechanism that disentangles content, temporal, and spatial attention, enabling flexible, generalizable, and efficient modeling of time-series data with varying channel counts and configurations. We use MVPA to build MVPFormer, a generative foundation model for human electrophysiology, trained to predict the evolution of iEEG signals across diverse subjects. To support this and future efforts by the community, we release the SWEC iEEG dataset, the largest publicly available iEEG dataset to date, comprising nearly 10,000 hours of recordings from heterogeneous clinical sources. MVPFormer leverages MVPA to achieve strong generalization across subjects, demonstrating expert-level performance in several iEEG tasks. MVPFormer surpasses state-of-the-art Transformer baselines in seizure detection across the SWEC, the MAYO, and the FNUSA datasets, while also achieving state-of-the-art performance on four Brain TreeBank iEEG decoding tasks. We further validate MVPA on standard time-series forecasting and classification tasks, where it matches or exceeds the performance of existing attention-based models. Together, our contributions establish MVPA as a general-purpose attention mechanism for heterogeneous time-series and MVPFormer as the first open-source, open-weights, and open-data iEEG foundation model with SOTA clinical performance. The code is available at https://github.com/IBM/multi-variate-parallel-transformer. The SWEC iEEG dataset is available at https://huggingface.co/datasets/NeuroTec/SWEC_iEEG_Dataset.
• Abstract（参考訳）: 異種チャネル構成を持つ多変量時系列から学ぶことは、ディープニューラルネットワーク、特に脳内脳波 (iEEG) のような脳内脳波(英語版)などの臨床領域において基礎的な課題である。 本研究では,多変量並列アテンション(MVPA)を導入し,コンテントや時間的,空間的アテンションを分散させ,フレキシブルで一般化可能な,様々なチャネル数や構成を持つ時系列データの効率的なモデリングを可能にする。 我々はMVPAを用いて、多種多様な被験者におけるiEEG信号の進化を予測するために訓練された人体電気生理学の生成基盤モデルMVPFormerを構築した。 SWEC iEEGデータセットは、これまでで最大の公開iEEGデータセットであり、異種の臨床資料からの1万時間近い記録を含む。 MVPFormerはMVPAを活用して、複数のiEEGタスクで専門家レベルのパフォーマンスを示す。 MVPFormerは、SWEC、MAYO、FNUSAデータセット間での発作検出において、最先端のTransformerベースラインを超えると同時に、4つのBrain TreeBank iEEGデコードタスクで最先端のパフォーマンスを達成する。 さらに、標準的な時系列予測および分類タスクにおいてMVPAを検証し、既存の注目モデルのパフォーマンスに適合または超越する。 我々は, MVPA を異種時系列の汎用的注意機構として, MVPFormer を最初のオープンソース, オープンウェイト, オープンデータ iEEG 基盤モデルとして, SOTA 臨床成績とともに確立した。 コードはhttps://github.com/IBM/multi-variate-parallel-transformerで公開されている。 SWEC iEEGデータセットはhttps://huggingface.co/datasets/NeuroTec/SWEC_iEEG_Datasetで公開されている。

関連論文リスト

• Multivariate Long-term Time Series Forecasting with Fourier Neural Filter [55.09326865401653]
  我々はFNFをバックボーンとして、DBDをアーキテクチャとして導入し、空間時間モデルのための優れた学習能力と最適な学習経路を提供する。 FNFは、局所時間領域とグローバル周波数領域の情報処理を単一のバックボーン内で統合し、空間的モデリングに自然に拡張することを示す。
  論文  参考訳（メタデータ） (2025-06-10T18:40:20Z)
• mixEEG: Enhancing EEG Federated Learning for Cross-subject EEG Classification with Tailored mixup [5.367329958716485]
  クロスオブジェクト脳波(EEG)分類は、認知過程の多様性と異なる被験者間の生理学的構造のために大きな課題を示す。 脳波に関連するプライバシー上の懸念は、異なる病院と機関間でのデータ共有に重大な制限を課している。 フェデレートラーニング(FL)は、複数の分散クライアントが、生データを直接通信することなく、協調的にグローバルモデルをトレーニングすることを可能にする。
  論文  参考訳（メタデータ） (2025-04-07T06:24:23Z)
• LEAD: Large Foundation Model for EEG-Based Alzheimer's Disease Detection [4.935843202928883]
  脳波を用いたアルツハイマー病検出のための基礎モデルLEADを提案する。 私たちは11のEEGデータセットでモデルを事前トレーニングし、5つのADデータセットで微調整します。 サンプルレベルではF1スコアが9.86%増加し,被験者レベルでは9.31%向上したAD検出性能を示す。
  論文  参考訳（メタデータ） (2025-02-02T04:19:35Z)
• EEGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training [9.57946371147345]
  EEGPTはこれらの課題に対処するために設計された最初の一般のEEG基盤モデルである。 まず,各電極を基本単位として扱う電極ワイド・モデリング手法を提案する。 第2に、最初の自己回帰型脳波事前学習モデルを開発する。 第3に,学習可能な電極グラフネットワークを用いたマルチタスク転送学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T12:17:54Z)
• ADformer: A Multi-Granularity Transformer for EEG-Based Alzheimer's Disease Assessment [42.72554952799386]
  本稿では、時間的・空間的特徴を捉えて効果的な脳波表現を学習するための新しい多粒度変換器Adformerを提案する。 被験者依存,主観非依存,離脱対象外を含む5つのデータセットを対象に,合計525人の被験者を対象に実験を行った。 以上の結果から,ADformerは既存の手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-08-17T14:10:41Z)
• RISE-iEEG: Robust to Inter-Subject Electrodes Implantation Variability iEEG Classifier [0.0]
  頭蓋内脳波(iEEG)は、臨床および脳-コンピュータインターフェースの応用にますます使われている。 本稿では, 電極内注入変動に頑健な新しいデコーダモデルを提案する。 我々はこのモデルをRISE-iEEGと呼び、このモデルはRobust to Inter-Subject Electrode implantation Variability iEEG の略である。
  論文  参考訳（メタデータ） (2024-08-12T18:33:19Z)
• Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
  EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。 時間間隔推定を組み込んだ拡散モデルである。 我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
  論文  参考訳（メタデータ） (2024-06-20T02:20:23Z)
• EMERGE: Enhancing Multimodal Electronic Health Records Predictive Modeling with Retrieval-Augmented Generation [22.94521527609479]
  EMERGEはRetrieval-Augmented Generation(RAG)駆動のフレームワークであり、マルチモーダルEHR予測モデリングを強化する。 時系列データと臨床ノートからエンティティを抽出し,LLM(Large Language Models)を誘導し,プロのPrimeKGと整合させる。 抽出した知識は、患者の健康状態のタスク関連サマリーを生成するために使用される。
  論文  参考訳（メタデータ） (2024-05-27T10:53:15Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Physics-informed and Unsupervised Riemannian Domain Adaptation for Machine Learning on Heterogeneous EEG Datasets [53.367212596352324]
  脳波信号物理を利用した教師なし手法を提案する。 脳波チャンネルをフィールド、ソースフリーなドメイン適応を用いて固定位置にマッピングする。 提案手法は脳-コンピュータインタフェース(BCI)タスクおよび潜在的なバイオマーカー応用におけるロバストな性能を示す。
  論文  参考訳（メタデータ） (2024-03-07T16:17:33Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
  我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。 CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。 睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-05-30T08:24:01Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。