論文の概要: MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data

• arxiv url: http://arxiv.org/abs/2502.05034v1
• Date: Fri, 07 Feb 2025 16:01:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:56:27.525796
• Title: MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data
• Title（参考訳）: MindAligner:fMRIデータからのクロスオブジェクト視覚デコードのための明示的な脳機能アライメント
• Authors: Yuqin Dai, Zhouheng Yao, Chunfeng Song, Qihao Zheng, Weijian Mai, Kunyu Peng, Shuai Lu, Wanli Ouyang, Jian Yang, Jiamin Wu,
• Abstract要約: MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。 脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。 脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
• 参考スコア（独自算出の注目度）: 64.92867794764247
• License:
• Abstract: Brain decoding aims to reconstruct visual perception of human subject from fMRI signals, which is crucial for understanding brain's perception mechanisms. Existing methods are confined to the single-subject paradigm due to substantial brain variability, which leads to weak generalization across individuals and incurs high training costs, exacerbated by limited availability of fMRI data. To address these challenges, we propose MindAligner, an explicit functional alignment framework for cross-subject brain decoding from limited fMRI data. The proposed MindAligner enjoys several merits. First, we learn a Brain Transfer Matrix (BTM) that projects the brain signals of an arbitrary new subject to one of the known subjects, enabling seamless use of pre-trained decoding models. Second, to facilitate reliable BTM learning, a Brain Functional Alignment module is proposed to perform soft cross-subject brain alignment under different visual stimuli with a multi-level brain alignment loss, uncovering fine-grained functional correspondences with high interpretability. Experiments indicate that MindAligner not only outperforms existing methods in visual decoding under data-limited conditions, but also provides valuable neuroscience insights in cross-subject functional analysis. The code will be made publicly available.
• Abstract（参考訳）: 脳のデコーディングは、脳の知覚メカニズムを理解するのに不可欠であるfMRI信号から、人間の視覚的知覚を再構築することを目的としている。 既存の手法は大きな脳の変動性のために単一対象のパラダイムに限られており、それによって個人間の一般化が弱く、fMRIデータの限られた可用性によって悪化する高い訓練コストが生じる。 これらの課題に対処するために、限られたfMRIデータからのクロスオブジェクト脳デコードのための明示的な機能的アライメントフレームワークであるMindAlignerを提案する。 提案されたMindAlignerにはいくつかのメリットがある。 まず、任意の新しい被験者の脳信号を既知の被験者に投影するBrain Transfer Matrix (BTM)を学習し、事前学習された復号モデルのシームレスな利用を可能にする。 第2に、信頼性の高いBTM学習を容易にするために、多レベル脳アライメント損失を伴う異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを行う脳機能アライメントモジュールを提案する。 実験によると、MindAlignerは、データ制限された条件下での視覚的デコーディングの既存の手法よりも優れているだけでなく、クロスオブジェクト機能解析における貴重な神経科学的な洞察を提供する。 コードは公開されます。

関連論文リスト

• Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation [53.70131202548981]
  本稿では,脳MRIにKGPL(Knowledge-Guided Prompt Learning)を用いた2段階のセグメンテーションフレームワークを提案する。 具体的には,大規模データセットと準最適ラベルを用いたトレーニング前セグメンテーションモデルについて述べる。 知識的プロンプトの導入は、解剖学的多様性と生物学的プロセスの間の意味的関係を捉えている。
  論文  参考訳（メタデータ） (2024-07-31T04:32:43Z)
• MindSemantix: Deciphering Brain Visual Experiences with a Brain-Language Model [45.18716166499859]
  fMRIで捉えた脳の活動を通して人間の視覚体験を解読することは、魅力的で最先端の課題である。 我々は、LLMが視覚的に誘発される脳活動のセマンティックな内容を理解することができる新しいマルチモーダルフレームワークであるMindSemantixを紹介した。 MindSemantixは、脳の活動から派生した視覚情報と意味情報に深く根ざした高品質なキャプションを生成する。
  論文  参考訳（メタデータ） (2024-05-29T06:55:03Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• MindShot: Brain Decoding Framework Using Only One Image [21.53687547774089]
  MindShotは、クロスオブジェクトの事前知識を活用することで、効果的に数発のブレインデコーディングを実現するために提案されている。 新しい被験者と事前訓練された個人は、同じ意味クラスのイメージのみを見る必要があり、モデルの適用性を大幅に拡大する。
  論文  参考訳（メタデータ） (2024-05-24T07:07:06Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Aligning brain functions boosts the decoding of visual semantics in novel subjects [3.226564454654026]
  脳の反応をビデオや静止画像に合わせることで脳の復号化を促進することを提案する。 提案手法はオブジェクト外デコード性能を最大75%向上させる。 また、テスト対象者に対して100分未満のデータが得られる場合、古典的な単一オブジェクトアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-12-11T15:55:20Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• UniBrain: Universal Brain MRI Diagnosis with Hierarchical Knowledge-enhanced Pre-training [66.16134293168535]
  我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。 具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
  論文  参考訳（メタデータ） (2023-09-13T09:22:49Z)
• Explainable fMRI-based Brain Decoding via Spatial Temporal-pyramid Graph Convolutional Network [0.8399688944263843]
  既存のfMRIベースの脳デコードのための機械学習手法は、分類性能が低いか、説明性が悪いかのいずれかに悩まされている。 本稿では,機能的脳活動の時空間グラフ表現を捉えるために,生物学的にインスパイアされたアーキテクチャである時空間ピラミドグラフ畳み込みネットワーク(STpGCN)を提案する。 我々は,Human Connectome Project (HCP) S1200から23の認知タスク下でのfMRIデータに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-08T12:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。