論文の概要: A foundation model with multi-variate parallel attention to generate neuronal activity

• arxiv url: http://arxiv.org/abs/2506.20354v1
• Date: Wed, 25 Jun 2025 12:07:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.726781
• Title: A foundation model with multi-variate parallel attention to generate neuronal activity
• Title（参考訳）: 多変量並列注意による神経活動生成の基礎モデル
• Authors: Francesco Carzaniga, Michael Hersche, Abu Sebastian, Kaspar Schindler, Abbas Rahimi,
• Abstract要約: MVPAは、コンテンツ、時間、空間的注意をゆがめる新しい自己注意機構である。 我々は、MVPAを用いて、様々な被験者のiEEG信号の進化を予測するために訓練された、人間の電気生理学のための生成基盤モデルMVPFormerを構築する。 MVPAは、最先端の臨床パフォーマンスを備えた、最初のオープンソース、オープンソース、オープンソースのiEEGファウンデーションモデルである。
• 参考スコア（独自算出の注目度）: 3.3937179742504893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from multi-variate time-series with heterogeneous channel configurations remains a fundamental challenge for deep neural networks (DNNs), particularly in clinical domains such as intracranial electroencephalography (iEEG), where channel setups vary widely across subjects. In this work, we introduce multi-variate parallel attention (MVPA), a novel self-attention mechanism that disentangles content, temporal, and spatial attention, enabling flexible, generalizable, and efficient modeling of time-series data with varying channel counts and configurations. We use MVPA to build MVPFormer, a generative foundation model for human electrophysiology, trained to predict the evolution of iEEG signals across diverse subjects. To support this and future effort by the community, we release the SWEC iEEG dataset, the largest publicly available iEEG dataset to date, comprising nearly 10,000 hours of recordings from heterogeneous clinical sources. MVPFormer leverages MVPA to achieve strong generalization across subjects, demonstrating expert-level performance in seizure detection and outperforming state-of-the-art Transformer baselines on our SWEC, the MAYO, and the FNUSA dataset. We further validate MVPA on standard time-series forecasting and classification tasks, where it matches or exceeds existing attention-based models. Together, our contributions establish MVPA as a general-purpose attention mechanism for heterogeneous time-series and MVPFormer as the first open-source, open-weights, and open-data iEEG foundation model with state-of-the-art clinical performance. The code is available at https://github.com/IBM/multi-variate-parallel-transformer. The SWEC iEEG dataset is available at https://mb-neuro.medical-blocks.ch/public_access/databases/ieeg/swec_ieeg.
• Abstract（参考訳）: 異種チャネル構成を持つ多変量時系列から学ぶことは、ディープニューラルネットワーク(DNN)、特に脳内脳波(iEEG)などの臨床領域では、チャネル設定が被験者によって大きく異なる。 本研究では,多変量並列アテンション(MVPA)を導入し,コンテントや時間的,空間的アテンションを分散させ,フレキシブルで一般化可能な,様々なチャネル数や構成を持つ時系列データの効率的なモデリングを可能にする。 我々は、MVPAを用いて、様々な被験者のiEEG信号の進化を予測するために訓練された、人間の電気生理学のための生成基盤モデルMVPFormerを構築する。 SWEC iEEGデータセットは、これまでで最大の公開iEEGデータセットであり、異種の臨床資料から約1万時間分の録音を含む。 MVPFormerはMVPAを活用して、被検者間で強力な一般化を実現し、発作検出における専門家レベルのパフォーマンスを示し、SWEC、MAYO、FNUSAデータセット上で最先端のTransformerベースラインを上回ります。 さらに、標準的な時系列予測および分類タスクにおいてMVPAを検証し、既存の注意ベースのモデルに適合または超越する。 我々は, MVPAを異種時系列の汎用的注意機構として, MVPFormerをオープンソース, オープンヘビー級, オープンデータiEEG基盤モデルとして確立し, 最先端の臨床成績について検討した。 コードはhttps://github.com/IBM/multi-variate-parallel-transformerで公開されている。 SWEC iEEGデータセットはhttps://mb-neuro.medical-blocks.ch/public_ access/databases/ieeg/swec_ieegで公開されている。

関連論文リスト

• mixEEG: Enhancing EEG Federated Learning for Cross-subject EEG Classification with Tailored mixup [5.367329958716485]
  クロスオブジェクト脳波(EEG)分類は、認知過程の多様性と異なる被験者間の生理学的構造のために大きな課題を示す。 脳波に関連するプライバシー上の懸念は、異なる病院と機関間でのデータ共有に重大な制限を課している。 フェデレートラーニング(FL)は、複数の分散クライアントが、生データを直接通信することなく、協調的にグローバルモデルをトレーニングすることを可能にする。
  論文  参考訳（メタデータ） (2025-04-07T06:24:23Z)
• EEGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training [9.57946371147345]
  EEGPTはこれらの課題に対処するために設計された最初の一般のEEG基盤モデルである。 まず,各電極を基本単位として扱う電極ワイド・モデリング手法を提案する。 第2に、最初の自己回帰型脳波事前学習モデルを開発する。 第3に,学習可能な電極グラフネットワークを用いたマルチタスク転送学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T12:17:54Z)
• ADformer: A Multi-Granularity Transformer for EEG-Based Alzheimer's Disease Assessment [42.72554952799386]
  本稿では、時間的・空間的特徴を捉えて効果的な脳波表現を学習するための新しい多粒度変換器Adformerを提案する。 被験者依存,主観非依存,離脱対象外を含む5つのデータセットを対象に,合計525人の被験者を対象に実験を行った。 以上の結果から,ADformerは既存の手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-08-17T14:10:41Z)
• RISE-iEEG: Robust to Inter-Subject Electrodes Implantation Variability iEEG Classifier [0.0]
  頭蓋内脳波(iEEG)は、臨床および脳-コンピュータインターフェースの応用にますます使われている。 本稿では, 電極内注入変動に頑健な新しいデコーダモデルを提案する。 我々はこのモデルをRISE-iEEGと呼び、このモデルはRobust to Inter-Subject Electrode implantation Variability iEEG の略である。
  論文  参考訳（メタデータ） (2024-08-12T18:33:19Z)
• EMERGE: Enhancing Multimodal Electronic Health Records Predictive Modeling with Retrieval-Augmented Generation [22.94521527609479]
  EMERGEはRetrieval-Augmented Generation(RAG)駆動のフレームワークであり、マルチモーダルEHR予測モデリングを強化する。 時系列データと臨床ノートからエンティティを抽出し,LLM(Large Language Models)を誘導し,プロのPrimeKGと整合させる。 抽出した知識は、患者の健康状態のタスク関連サマリーを生成するために使用される。
  論文  参考訳（メタデータ） (2024-05-27T10:53:15Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
  我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。 CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。 睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-05-30T08:24:01Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。