論文の概要: BrainFLORA: Uncovering Brain Concept Representation via Multimodal Neural Embeddings
- arxiv url: http://arxiv.org/abs/2507.09747v1
- Date: Sun, 13 Jul 2025 18:56:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:23.875253
- Title: BrainFLORA: Uncovering Brain Concept Representation via Multimodal Neural Embeddings
- Title（参考訳）: BrainFLORA: マルチモーダルニューラルネットワークによる脳概念表現の発見
- Authors: Dongyang Li, Haoyang Qin, Mingyang Wu, Chen Wei, Quanying Liu,
- Abstract要約: 我々は、相互モーダルなニューロイメージングデータを統合する統合フレームワークBrainFLORAを導入し、共有されたニューラル表現を構築する。
提案手法では,マルチモーダル大規模言語モデル (MLLM) に適応型アダプタとタスクデコーダを付加し,共同オブジェクト視覚検索における最先端性能を実現する。
BrainFLORAは認知神経科学と脳-コンピュータインターフェース(BCI)に新しい意味を与える
- 参考スコア（独自算出の注目度）: 10.966252877363512
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding how the brain represents visual information is a fundamental challenge in neuroscience and artificial intelligence. While AI-driven decoding of neural data has provided insights into the human visual system, integrating multimodal neuroimaging signals, such as EEG, MEG, and fMRI, remains a critical hurdle due to their inherent spatiotemporal misalignment. Current approaches often analyze these modalities in isolation, limiting a holistic view of neural representation. In this study, we introduce BrainFLORA, a unified framework for integrating cross-modal neuroimaging data to construct a shared neural representation. Our approach leverages multimodal large language models (MLLMs) augmented with modality-specific adapters and task decoders, achieving state-of-the-art performance in joint-subject visual retrieval task and has the potential to extend multitasking. Combining neuroimaging analysis methods, we further reveal how visual concept representations align across neural modalities and with real world object perception. We demonstrate that the brain's structured visual concept representations exhibit an implicit mapping to physical-world stimuli, bridging neuroscience and machine learning from different modalities of neural imaging. Beyond methodological advancements, BrainFLORA offers novel implications for cognitive neuroscience and brain-computer interfaces (BCIs). Our code is available at https://github.com/ncclab-sustech/BrainFLORA.
- Abstract（参考訳）: 脳が視覚情報をどのように表現しているかを理解することは、神経科学と人工知能の基本的な課題である。
AIによるニューラルネットワークの復号化は人間の視覚システムに対する洞察を与えてきたが、脳波、MEG、fMRIなどのマルチモーダルなニューロイメージング信号を統合することは、その時空間的不一致に起因する重要なハードルである。
現在のアプローチは、しばしばこれらのモダリティを分離して分析し、神経表現の全体像を制限する。
そこで本研究では,クロスモーダルなニューラルイメージングデータを統合する統合フレームワークであるBrainFLORAを導入し,共有されたニューラル表現を構築する。
提案手法では,マルチモーダル大規模言語モデル (MLLM) に適応型アダプタとタスクデコーダを付加し,共同オブジェクト視覚検索タスクにおける最先端性能を実現し,マルチタスキングを拡張できる可能性を秘めている。
ニューロイメージング分析手法を組み合わせることで、視覚概念の表現がニューラルモダリティと現実世界の物体知覚とどのように一致しているかをさらに明らかにする。
我々は、脳の構造された視覚概念表現が、神経画像の異なるモードからの物理世界の刺激、ブリッジング神経科学、機械学習への暗黙のマッピングを示すことを示した。
方法論的な進歩の他に、BrainFLORAは認知神経科学と脳-コンピュータインターフェース(BCI)に新しい意味を与えている。
私たちのコードはhttps://github.com/ncclab-sustech/BrainFLORA.comで公開されています。
関連論文リスト
- Neural Brain: A Neuroscience-inspired Framework for Embodied Agents [58.58177409853298]
大規模な言語モデルのような現在のAIシステムは、いまだに解体され続けており、物理的に世界と関わりが持てない。
この課題の核心は、人間のような適応性を持つエンボディエージェントを駆動するために設計された中枢知能システムであるNeural Brain(ニューラル・ブレイン)の概念である。
本稿では,2つの基本的な課題に対処する,エンボディエージェントのニューラルブレインの統一的枠組みを提案する。
論文 参考訳（メタデータ） (2025-05-12T15:05:34Z) - MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data [64.92867794764247]
MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。
脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。
脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
論文 参考訳（メタデータ） (2025-02-07T16:01:59Z) - BrainMAP: Learning Multiple Activation Pathways in Brain Networks [77.15180533984947]
本稿では,脳ネットワークにおける複数の活性化経路を学習するための新しいフレームワークであるBrainMAPを紹介する。
本フレームワークは,タスクに関わる重要な脳領域の説明的分析を可能にする。
論文 参考訳（メタデータ） (2024-12-23T09:13:35Z) - Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた
最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。
本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。
このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文 参考訳（メタデータ） (2024-10-25T13:15:17Z) - MindSemantix: Deciphering Brain Visual Experiences with a Brain-Language Model [45.18716166499859]
fMRIで捉えた脳の活動を通して人間の視覚体験を解読することは、魅力的で最先端の課題である。
我々は、LLMが視覚的に誘発される脳活動のセマンティックな内容を理解することができる新しいマルチモーダルフレームワークであるMindSemantixを紹介した。
MindSemantixは、脳の活動から派生した視覚情報と意味情報に深く根ざした高品質なキャプションを生成する。
論文 参考訳（メタデータ） (2024-05-29T06:55:03Z) - Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。
予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
論文 参考訳（メタデータ） (2024-05-24T06:06:11Z) - Neuro-Vision to Language: Enhancing Brain Recording-based Visual Reconstruction and Language Interaction [8.63068449082585]
非侵襲的な脳記録の復号化は、人間の認知の理解を深める鍵となる。
本研究では,視覚変換器を用いた3次元脳構造と視覚的意味論を統合した。
マルチモーダル大モデル開発を支援するために,fMRI画像関連テキストデータを用いたfMRIデータセットを改良した。
論文 参考訳（メタデータ） (2024-04-30T10:41:23Z) - Achieving More Human Brain-Like Vision via Human EEG Representational Alignment [1.811217832697894]
非侵襲脳波に基づく人間の脳活動に対応する視覚モデル「Re(presentational)Al(ignment)net」を提案する。
我々の革新的な画像から脳への多層符号化フレームワークは、複数のモデル層を最適化することにより、人間の神経のアライメントを向上する。
我々の発見は、ReAlnetが人工と人間の視覚のギャップを埋め、より脳に似た人工知能システムへの道を歩むブレークスルーを表していることを示唆している。
論文 参考訳（メタデータ） (2024-01-30T18:18:41Z) - Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI [12.203617776046169]
本稿では,人間の知覚システムにおけるfMRIパターンを解析するためのBrainformerという新しいフレームワークを紹介する。
この研究は、人間の知覚からニューラルネットワークに知識を移すための先進的なアプローチを導入する。
論文 参考訳（メタデータ） (2023-11-30T22:39:23Z) - Explainable fMRI-based Brain Decoding via Spatial Temporal-pyramid Graph
Convolutional Network [0.8399688944263843]
既存のfMRIベースの脳デコードのための機械学習手法は、分類性能が低いか、説明性が悪いかのいずれかに悩まされている。
本稿では,機能的脳活動の時空間グラフ表現を捉えるために,生物学的にインスパイアされたアーキテクチャである時空間ピラミドグラフ畳み込みネットワーク(STpGCN)を提案する。
我々は,Human Connectome Project (HCP) S1200から23の認知タスク下でのfMRIデータに関する広範な実験を行った。
論文 参考訳（メタデータ） (2022-10-08T12:14:33Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳（メタデータ） (2022-08-17T12:36:26Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳（メタデータ） (2022-05-06T03:45:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。