Fugu-MT 論文翻訳(概要): One Brain, Omni Modalities: Towards Unified Non-Invasive Brain Decoding with Large Language Models

論文の概要: One Brain, Omni Modalities: Towards Unified Non-Invasive Brain Decoding with Large Language Models

arxiv url: http://arxiv.org/abs/2602.21522v1
Date: Wed, 25 Feb 2026 03:24:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-26 18:19:16.684598
Title: One Brain, Omni Modalities: Towards Unified Non-Invasive Brain Decoding with Large Language Models
Title（参考訳）: ひとつの脳とOmniのモダリティ:大規模言語モデルによる統合された非侵襲的脳デコーディングを目指して
Authors: Changli Tang, Shurui Li, Junliang Wang, Qinfan Xiao, Zhonghao Zhai, Lei Bai, Yu Qiao, Bowen Zhou, Wen Wu, Yuanning Li, Chao Zhang,
Abstract要約: textbfneuro-textbfomni-modal textbfbrain-textbfencoding textbflarge language model (LLM)を紹介する。脳波とMEGのための統一エンコーダとfMRIのための新しいデュアルパス戦略を統合し、非侵襲的な脳信号と外部感覚刺激を共有トークン空間に整列させる。
参考スコア（独自算出の注目度）: 42.83819917665563
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deciphering brain function through non-invasive recordings requires synthesizing complementary high-frequency electromagnetic (EEG/MEG) and low-frequency metabolic (fMRI) signals. However, despite their shared neural origins, extreme discrepancies have traditionally confined these modalities to isolated analysis pipelines, hindering a holistic interpretation of brain activity. To bridge this fragmentation, we introduce \textbf{NOBEL}, a \textbf{n}euro-\textbf{o}mni-modal \textbf{b}rain-\textbf{e}ncoding \textbf{l}arge language model (LLM) that unifies these heterogeneous signals within the LLM's semantic embedding space. Our architecture integrates a unified encoder for EEG and MEG with a novel dual-path strategy for fMRI, aligning non-invasive brain signals and external sensory stimuli into a shared token space, then leverages an LLM as a universal backbone. Extensive evaluations demonstrate that NOBEL serves as a robust generalist across standard single-modal tasks. We also show that the synergistic fusion of electromagnetic and metabolic signals yields higher decoding accuracy than unimodal baselines, validating the complementary nature of multiple neural modalities. Furthermore, NOBEL exhibits strong capabilities in stimulus-aware decoding, effectively interpreting visual semantics from multi-subject fMRI data on the NSD and HAD datasets while uniquely leveraging direct stimulus inputs to verify causal links between sensory signals and neural responses. NOBEL thus takes a step towards unifying non-invasive brain decoding, demonstrating the promising potential of omni-modal brain understanding.
Abstract（参考訳）: 非侵襲的な記録を通して脳機能を解読するには、相補的な高周波電磁(EEG/MEG)と低周波代謝(fMRI)信号を合成する必要がある。しかし、神経の起源が共有されているにもかかわらず、極端な不一致は伝統的にこれらのモダリティを独立した分析パイプラインに制限し、脳の活動の全体的解釈を妨げる。この断片化を橋渡しするために、LLMのセマンティック埋め込み空間内でこれらの異種信号を統一する、textbf{n}euro-\textbf{o}mni-modal \textbf{b}rain-\textbf{e}ncoding \textbf{l}arge language model (LLM)を導入する。脳波とMEGのための統一エンコーダとfMRIのための新しいデュアルパス戦略を統合し、非侵襲的な脳信号と外部感覚刺激を共有トークン空間に整列させ、LLMを普遍的なバックボーンとして活用する。広範囲な評価は、NOBELが標準の単一モーダルタスクに対して堅牢なジェネラリストであることを示している。また, 電磁・代謝信号の相乗的融合により, 単相ベースラインよりも高い復号精度が得られ, 複数のニューラルモーダルの相補的性質が検証された。さらに、NOBELは刺激対応デコーディングにおいて強力な機能を示し、NSDおよびHADデータセット上の多目的fMRIデータから視覚的意味論を効果的に解釈すると同時に、直接刺激入力を利用して感覚信号とニューラルレスポンスの因果関係を検証している。したがってNOBELは、非侵襲的な脳のデコードを統合するための一歩を踏み出し、オムニモダル脳理解の有望な可能性を証明している。

関連論文リスト

NeuroRVQ: Multi-Scale EEG Tokenization for Generative Large Brainwave Models [66.91449452840318]
我々は、コードブックベースのトークン化装置を中心としたスケーラブルな大脳波モデル(LBM)であるNeuroRVQを紹介する。我々のトークンライザは, (i) フル周波数のニューラルスペクトルを捕捉するマルチスケール特徴抽出モジュール, (ii) 高精細符号化のための階層的残留ベクトル量子化(RVQ)コードブック, (iii) 効率的なトレーニングのためのEEG信号位相および振幅認識損失関数を統合する。実験の結果,NeuroRVQは再建誤差を低くし,様々な下流タスクにおいて既存のLBMよりも優れることがわかった。
論文参考訳（メタデータ） (2025-10-15T01:26:52Z)
WaveMind: Towards a Conversational EEG Foundation Model Aligned to Textual and Visual Modalities [55.00677513249723]
脳波信号は認知過程と固有の神経状態の両方を同時に符号化する。我々は、EEG信号とその対応するモダリティを統一意味空間にマッピングし、一般化された解釈を実現する。結果として得られたモデルは、柔軟でオープンな会話をサポートしながら、堅牢な分類精度を示す。
論文参考訳（メタデータ） (2025-09-26T06:21:51Z)
CodeBrain: Towards Decoupled Interpretability and Multi-Scale Architecture for EEG Foundation Model [52.466542039411515]
EEGファウンデーションモデル(EFM)は、タスク固有のモデルのスケーラビリティ問題に対処するために登場した。このギャップを埋めるために設計された2段階のEMFであるCodeBrainを紹介します。第1段階では、異種時間・周波数の脳波信号を離散トークンに分解するTFDual-Tokenizerを導入する。第2段階では、構造化されたグローバル畳み込みとスライディングウインドウの注意を結合したマルチスケールEEGSSMアーキテクチャを提案する。
論文参考訳（メタデータ） (2025-06-10T17:20:39Z)
Towards Unified Neural Decoding with Brain Functional Network Modeling [34.13766828046489]
本稿では,ニューラルデコードフレームワークMIBRAINについて述べる。 MIBRAINは、複数の個人にまたがる頭蓋内神経生理学的記録を統合することで、機能的脳ネットワークモデルを構築する。我々のフレームワークは、個人間で堅牢なニューラルデコーディングの道を開き、実践的な臨床応用のための洞察を提供する。
論文参考訳（メタデータ） (2025-05-30T12:10:37Z)
BrainStratify: Coarse-to-Fine Disentanglement of Intracranial Neural Dynamics [8.36470471250669]
ニューラルアクティビティから直接音声をデコードすることは、脳-コンピュータインターフェース(BCI)研究における中心的な目標である。近年、脳内野電位記録(SEEG)やECoG(ElectroCorticoGraphy)など、頭蓋内野電位記録(intracranial field potential recordings)の利用により、エキサイティングな進歩がなされている。 i)タスク関連神経信号はsEEG電極に分散し、(ii)タスク関連神経信号をsEEGとECoの両方で絡み合うことが多い。
論文参考訳（メタデータ） (2025-05-26T19:36:39Z)
BrainOmni: A Brain Foundation Model for Unified EEG and MEG Signals [46.121056431476156]
異種脳波とMEG記録を対象とする脳基礎モデルBrain Omniを提案する。既存のアプローチは一般的に、パフォーマンスとクロスドメインのスケーラビリティを制限する、分離、モダリティ、データセット固有のモデルに依存します。 EEGの合計1,997時間、MEGデータの656時間は、事前トレーニングのために公開されているソースからキュレーションされ、標準化されている。
論文参考訳（メタデータ） (2025-05-18T14:07:14Z)
NeuroBOLT: Resting-state EEG-to-fMRI Synthesis with Multi-dimensional Feature Mapping [15.811159139388971]
我々は,脳内のfMRI活動信号に生の脳波データを変換するためにNeuroBOLT,すなわちNeuro-to-BOLD Transformerを導入する。実験の結果,NeuroBOLTは一次感覚野,高レベル認知領域,深部皮質下脳領域から観測不能なfMRI信号を効果的に再構成することがわかった。
論文参考訳（メタデータ） (2024-10-07T02:47:55Z)
fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文参考訳（メタデータ） (2022-10-23T15:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。