論文の概要: MindBridge: A Cross-Subject Brain Decoding Framework

• arxiv url: http://arxiv.org/abs/2404.07850v1
• Date: Thu, 11 Apr 2024 15:46:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 13:20:46.433900
• Title: MindBridge: A Cross-Subject Brain Decoding Framework
• Title（参考訳）: MindBridge: クロスオブジェクトのブレインデコーディングフレームワーク
• Authors: Shizun Wang, Songhua Liu, Zhenxiong Tan, Xinchao Wang,
• Abstract要約: 脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
• 参考スコア（独自算出の注目度）: 60.58552697067837
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Brain decoding, a pivotal field in neuroscience, aims to reconstruct stimuli from acquired brain signals, primarily utilizing functional magnetic resonance imaging (fMRI). Currently, brain decoding is confined to a per-subject-per-model paradigm, limiting its applicability to the same individual for whom the decoding model is trained. This constraint stems from three key challenges: 1) the inherent variability in input dimensions across subjects due to differences in brain size; 2) the unique intrinsic neural patterns, influencing how different individuals perceive and process sensory information; 3) limited data availability for new subjects in real-world scenarios hampers the performance of decoding models. In this paper, we present a novel approach, MindBridge, that achieves cross-subject brain decoding by employing only one model. Our proposed framework establishes a generic paradigm capable of addressing these challenges by introducing biological-inspired aggregation function and novel cyclic fMRI reconstruction mechanism for subject-invariant representation learning. Notably, by cycle reconstruction of fMRI, MindBridge can enable novel fMRI synthesis, which also can serve as pseudo data augmentation. Within the framework, we also devise a novel reset-tuning method for adapting a pretrained model to a new subject. Experimental results demonstrate MindBridge's ability to reconstruct images for multiple subjects, which is competitive with dedicated subject-specific models. Furthermore, with limited data for a new subject, we achieve a high level of decoding accuracy, surpassing that of subject-specific models. This advancement in cross-subject brain decoding suggests promising directions for wider applications in neuroscience and indicates potential for more efficient utilization of limited fMRI data in real-world scenarios. Project page: https://littlepure2333.github.io/MindBridge
• Abstract（参考訳）: 神経科学の重要な分野である脳復号法は、主に機能的磁気共鳴画像(fMRI)を利用して、取得した脳信号から刺激を再構成することを目的としている。 現在、脳の復号化はオブジェクト単位のモデルパラダイムに限られており、復号化モデルは訓練された同一個人に限定されている。 この制約は3つの重要な課題に起因しています。 1) 脳の大きさの違いによる被験者間の入力次元の変動 2 個人が知覚情報をどう知覚し、処理するかに影響を及ぼす固有の内在性神経パターン 3) 現実シナリオにおける新しい課題に対するデータ可用性の制限は,復号化モデルの性能を損なう。 本稿では,1つのモデルのみを用いることで,物体間脳デコーディングを実現する新しい手法であるMindBridgeを提案する。 提案フレームワークは,生物にインスパイアされた凝集関数と,主観不変表現学習のための新しい循環的fMRI再構成機構を導入することで,これらの課題に対処できる汎用パラダイムを確立する。 特に、fMRIのサイクル再構成によって、MindBridgeは新しいfMRI合成を可能にする。 フレームワーク内では、事前学習されたモデルを新しい主題に適応するための新しいリセットチューニング手法も考案する。 実験により、MindBridgeが複数の被験者に対して画像を再構成する能力を示した。 さらに、新しい対象に対する限られたデータを用いて、対象特化モデルのそれを上回る高い復号精度を実現する。 このクロスオブジェクト脳デコーディングの進歩は、神経科学の幅広い応用に向けて有望な方向を示し、現実のシナリオにおいて限られたfMRIデータのより効率的な利用の可能性を示している。 プロジェクトページ:https://littlepure2333.github.io/MindBridge

関連論文リスト

• BrainSegFounder: Towards 3D Foundation Models for Neuroimage Segmentation [6.5388528484686885]
  本研究は,医療基盤モデルの創出に向けた新しいアプローチを紹介する。 本稿では,視覚変換器を用いた2段階事前学習手法を提案する。 BrainFounderは、これまでの勝利ソリューションの成果を上回る、大幅なパフォーマンス向上を実演している。
  論文  参考訳（メタデータ） (2024-06-14T19:49:45Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• MindShot: Brain Decoding Framework Using Only One Image [21.53687547774089]
  MindShotは、クロスオブジェクトの事前知識を活用することで、効果的に数発のブレインデコーディングを実現するために提案されている。 新しい被験者と事前訓練された個人は、同じ意味クラスのイメージのみを見る必要があり、モデルの適用性を大幅に拡大する。
  論文  参考訳（メタデータ） (2024-05-24T07:07:06Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• BrainODE: Dynamic Brain Signal Analysis via Graph-Aided Neural Ordinary Differential Equations [67.79256149583108]
  本稿では,脳波を連続的にモデル化するBrainODEというモデルを提案する。 遅延初期値とニューラルODE関数を不規則な時系列から学習することにより、BrainODEは任意の時点の脳信号を効果的に再構築する。
  論文  参考訳（メタデータ） (2024-04-30T10:53:30Z)
• NeuroCine: Decoding Vivid Video Sequences from Human Brain Activties [23.893490180665996]
  本稿では,fMRIデータを復号化するための新たな二相フレームワークであるNeuroCineを紹介する。 公開されているfMRIデータセットでテストした結果,有望な結果が得られた。 このモデルが既存の脳構造や機能と一致し,その生物学的妥当性と解釈可能性を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-02-02T17:34:25Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Leveraging Brain Modularity Prior for Interpretable Representation Learning of fMRI [38.236414924531196]
  静止状態機能的磁気共鳴画像(rs-fMRI)は脳の自律神経活動を反映することができる。 従来の研究では, マシン/ディープ学習手法を用いてfMRI表現を抽出し, その後の分析を行う方法が提案されている。 本稿では,fMRI解析のためのBMR(Brain Modularity-Constrained dynamic Representation Learning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-24T23:45:47Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。