論文の概要: UniBrain: A Unified Model for Cross-Subject Brain Decoding

• arxiv url: http://arxiv.org/abs/2412.19487v1
• Date: Fri, 27 Dec 2024 07:03:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:26:12.782230
• Title: UniBrain: A Unified Model for Cross-Subject Brain Decoding
• Title（参考訳）: UniBrain: クロスオブジェクト脳デコーディングのための統一モデル
• Authors: Zicheng Wang, Zhen Zhao, Luping Zhou, Parashkev Nachev,
• Abstract要約: 被験者固有のパラメータを必要としない統一脳復号モデルUniBrainを提案する。 提案手法は, 可変fMRI信号長を扱うグループベース抽出器, クロスオブジェクトの共通点を捕捉する相互支援組込み器, 被写体不変特徴を抽出するバイレベル特徴アライメント方式を含む。 我々は、UniBrainを脳復号ベンチマークで検証し、パラメータが極端に少ない現在の最先端の主題特化モデルに匹敵する性能を実現した。
• 参考スコア（独自算出の注目度）: 22.49964298783508
• License:
• Abstract: Brain decoding aims to reconstruct original stimuli from fMRI signals, providing insights into interpreting mental content. Current approaches rely heavily on subject-specific models due to the complex brain processing mechanisms and the variations in fMRI signals across individuals. Therefore, these methods greatly limit the generalization of models and fail to capture cross-subject commonalities. To address this, we present UniBrain, a unified brain decoding model that requires no subject-specific parameters. Our approach includes a group-based extractor to handle variable fMRI signal lengths, a mutual assistance embedder to capture cross-subject commonalities, and a bilevel feature alignment scheme for extracting subject-invariant features. We validate our UniBrain on the brain decoding benchmark, achieving comparable performance to current state-of-the-art subject-specific models with extremely fewer parameters. We also propose a generalization benchmark to encourage the community to emphasize cross-subject commonalities for more general brain decoding. Our code is available at https://github.com/xiaoyao3302/UniBrain.
• Abstract（参考訳）: 脳の復号化は、fMRI信号から元の刺激を再構築することを目的としており、精神内容の解釈に関する洞察を提供する。 現在のアプローチは、複雑な脳の処理機構と個人間でのfMRI信号の変動のために、被験者固有のモデルに大きく依存している。 したがって、これらの手法はモデルの一般化を著しく制限し、オブジェクト間の共通点のキャプチャに失敗する。 この問題に対処するために、UniBrainを提案する。UniBrainは、主観的パラメータを必要としない統一脳復号モデルである。 提案手法は, 可変fMRI信号長を扱うグループベース抽出器, クロスオブジェクトの共通点を捕捉する相互支援組込み器, 被写体不変特徴を抽出するバイレベル特徴アライメント方式を含む。 我々は、UniBrainを脳復号ベンチマークで検証し、パラメータが極端に少ない現在の最先端の主題特化モデルに匹敵する性能を実現した。 また、より一般的な脳の復号化のために、コミュニティがクロスオブジェクトの共通点を強調するよう奨励する一般化ベンチマークを提案する。 私たちのコードはhttps://github.com/xiaoyao3302/UniBrainで利用可能です。

関連論文リスト

• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• MindShot: Brain Decoding Framework Using Only One Image [21.53687547774089]
  MindShotは、クロスオブジェクトの事前知識を活用することで、効果的に数発のブレインデコーディングを実現するために提案されている。 新しい被験者と事前訓練された個人は、同じ意味クラスのイメージのみを見る必要があり、モデルの適用性を大幅に拡大する。
  論文  参考訳（メタデータ） (2024-05-24T07:07:06Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• UMBRAE: Unified Multimodal Brain Decoding [43.6339793925953]
  脳信号のマルチモーダルデコードであるUMBRAEを提案する。 マルチモーダル脳アライメントのための効率的なユニバーサル脳エンコーダを提案する。 また,対象物固有の特徴を共通の特徴空間にマッピングするクロスオブジェクトトレーニング戦略も導入する。
  論文  参考訳（メタデータ） (2024-04-10T17:59:20Z)
• Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
  人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。 異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
  論文  参考訳（メタデータ） (2024-03-29T07:16:34Z)
• Aligning brain functions boosts the decoding of visual semantics in novel subjects [3.226564454654026]
  脳の反応をビデオや静止画像に合わせることで脳の復号化を促進することを提案する。 提案手法はオブジェクト外デコード性能を最大75%向上させる。 また、テスト対象者に対して100分未満のデータが得られる場合、古典的な単一オブジェクトアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-12-11T15:55:20Z)
• UniBrain: Universal Brain MRI Diagnosis with Hierarchical Knowledge-enhanced Pre-training [66.16134293168535]
  我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。 具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
  論文  参考訳（メタデータ） (2023-09-13T09:22:49Z)
• Patched Diffusion Models for Unsupervised Anomaly Detection in Brain MRI [55.78588835407174]
  本稿では,正常脳解剖のパッチベース推定法として拡散モデルの生成タスクを再構築する手法を提案する。 腫瘍と多発性硬化症について検討し,既存のベースラインと比較して25.1%の改善がみられた。
  論文  参考訳（メタデータ） (2023-03-07T09:40:22Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。