論文の概要: BrainStratify: Coarse-to-Fine Disentanglement of Intracranial Neural Dynamics
- arxiv url: http://arxiv.org/abs/2505.20480v1
- Date: Mon, 26 May 2025 19:36:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 17:05:58.27004
- Title: BrainStratify: Coarse-to-Fine Disentanglement of Intracranial Neural Dynamics
- Title（参考訳）: BrainStratify:脳内ニューラルダイナミクスの粗大な絡み合い
- Authors: Hui Zheng, Hai-Teng Wang, Yi-Tao Jing, Pei-Yang Lin, Han-Qing Zhao, Wei Chen, Peng-Hu Wei, Yong-Zhi Shan, Guo-Guang Zhao, Yun-Zhe Liu,
- Abstract要約: ニューラルアクティビティから直接音声をデコードすることは、脳-コンピュータインターフェース(BCI)研究における中心的な目標である。
近年、脳内野電位記録(SEEG)やECoG(ElectroCorticoGraphy)など、頭蓋内野電位記録(intracranial field potential recordings)の利用により、エキサイティングな進歩がなされている。
i)タスク関連神経信号はsEEG電極に分散し、(ii)タスク関連神経信号をsEEGとECoの両方で絡み合うことが多い。
- 参考スコア（独自算出の注目度）: 8.36470471250669
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decoding speech directly from neural activity is a central goal in brain-computer interface (BCI) research. In recent years, exciting advances have been made through the growing use of intracranial field potential recordings, such as stereo-ElectroEncephaloGraphy (sEEG) and ElectroCorticoGraphy (ECoG). These neural signals capture rich population-level activity but present key challenges: (i) task-relevant neural signals are sparsely distributed across sEEG electrodes, and (ii) they are often entangled with task-irrelevant neural signals in both sEEG and ECoG. To address these challenges, we introduce a unified Coarse-to-Fine neural disentanglement framework, BrainStratify, which includes (i) identifying functional groups through spatial-context-guided temporal-spatial modeling, and (ii) disentangling distinct neural dynamics within the target functional group using Decoupled Product Quantization (DPQ). We evaluate BrainStratify on two open-source sEEG datasets and one (epidural) ECoG dataset, spanning tasks like vocal production and speech perception. Extensive experiments show that BrainStratify, as a unified framework for decoding speech from intracranial neural signals, significantly outperforms previous decoding methods. Overall, by combining data-driven stratification with neuroscience-inspired modularity, BrainStratify offers a robust and interpretable solution for speech decoding from intracranial recordings.
- Abstract（参考訳）: ニューラルアクティビティから直接音声をデコードすることは、脳-コンピュータインターフェース(BCI)研究における中心的な目標である。
近年,脳内野電位記録(SEEG)やECoG(ElectroCorticoGraphy)など,頭蓋内野電位記録(intracranial field potential recordings)の利用が活発化している。
これらの神経信号は、人口レベルの豊富な活動を捉えるが、重要な課題を提示する。
i)タスク関連神経信号は、sEEG電極間で疎分布し、
(II)sEEGとECoGの両方において、タスク非関連神経信号に絡み合うことが多い。
これらの課題に対処するため、我々はBrainStratifyを含む、統一された粗結合型ニューラルネットワークディスタングルフレームワークを導入しました。
一 空間文脈誘導時空間モデリングによる機能群同定、及び
(II) Decoupled Product Quantization (DPQ) を用いて, 標的機能群内の異なる神経力学を解離させる。
我々はBrainStratifyを2つのオープンソースのsEEGデータセットと1つの(エピドゥラルな)ECoGデータセットで評価し、音声生成や音声知覚といったタスクにまたがる。
大規模な実験により、BrainStratifyは頭蓋内神経信号から音声を復号するための統一的なフレームワークであり、従来の復号法よりも大幅に優れていることが示された。
全体として、データ駆動成層と神経科学に触発されたモジュラリティを組み合わせることで、BrainStratifyは頭蓋内記録からの音声復号のための堅牢で解釈可能なソリューションを提供する。
関連論文リスト
- Decoding Phone Pairs from MEG Signals Across Speech Modalities [0.4054486015338004]
脳磁図信号を用いて、音声生成や知覚タスク中の脳活動から携帯電話を復号する方法について検討した。
その結果,受動聴取や再生モダリティと比較して,音声生成時の復号精度が有意に高かった。
論文 参考訳（メタデータ） (2025-05-21T10:31:34Z) - BrainOmni: A Brain Foundation Model for Unified EEG and MEG Signals [50.76802709706976]
異種脳波とMEG記録を対象とする脳基礎モデルBrain Omniを提案する。
多様なデータソースを統一するために、脳の活動を離散表現に定量化する最初のトークンであるBrainTokenizerを紹介します。
EEGの合計1,997時間、MEGデータの656時間は、事前トレーニングのために公開されているソースからキュレーションされ、標準化されている。
論文 参考訳（メタデータ） (2025-05-18T14:07:14Z) - sEEG-based Encoding for Sentence Retrieval: A Contrastive Learning Approach to Brain-Language Alignment [8.466223794246261]
本稿では,凍結したCLIPモデルの文埋め込み空間に単射ステレオ脳波信号(sEEG)を投影するコントラスト学習フレームワークであるSSENSEを提案する。
本手法は,自然主義映画視聴データセットから,時系列のsEEGと音声の書き起こしについて評価する。
論文 参考訳（メタデータ） (2025-04-20T03:01:42Z) - neuro2voc: Decoding Vocalizations from Neural Activity [3.1913357260723303]
本研究は,ゼブラフィンチモータ出力の復号化実験手法について検討する。
XGBoostとSHAP分析により,音節分類に不可欠な神経相互作用パターンが明らかにされた。
組み合わせた対照的な学習-VAEフレームワークは、双対神経データからスペクトログラムを生成することに成功した。
論文 参考訳（メタデータ） (2025-02-02T11:09:31Z) - Du-IN: Discrete units-guided mask modeling for decoding speech from Intracranial Neural signals [5.283718601431859]
エレクトロコルチコグラフィー(ECoG)を用いた脳-コンピュータインタフェースは,医療応用における高性能音声復号化を約束している。
離散コーデックス誘導マスクモデリングにより,領域レベルのトークンに基づくコンテキスト埋め込みを抽出するDu-INモデルを開発した。
本モデルでは,61ワードの分類タスクにおいて,すべてのベースラインを越えながら最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-05-19T06:00:36Z) - BrainODE: Dynamic Brain Signal Analysis via Graph-Aided Neural Ordinary Differential Equations [67.79256149583108]
本稿では,脳波を連続的にモデル化するBrainODEというモデルを提案する。
遅延初期値とニューラルODE関数を不規則な時系列から学習することにより、BrainODEは任意の時点の脳信号を効果的に再構築する。
論文 参考訳（メタデータ） (2024-04-30T10:53:30Z) - Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳（メタデータ） (2024-04-22T09:40:07Z) - A Knowledge-Driven Cross-view Contrastive Learning for EEG
Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。
KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。
ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文 参考訳（メタデータ） (2023-09-21T08:53:51Z) - fMRI from EEG is only Deep Learning away: the use of interpretable DL to
unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。
我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文 参考訳（メタデータ） (2022-10-23T15:11:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。