論文の概要: See Through Their Minds: Learning Transferable Neural Representation
from Cross-Subject fMRI
- arxiv url: http://arxiv.org/abs/2403.06361v1
- Date: Mon, 11 Mar 2024 01:18:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 20:41:59.209692
- Title: See Through Their Minds: Learning Transferable Neural Representation
from Cross-Subject fMRI
- Title（参考訳）: クロスオブジェクトfMRIによる伝達可能なニューラル表現の学習
- Authors: Yulong Liu, Yongqiang Ma, Guibo Zhu, Haodong Jing, Nanning Zheng
- Abstract要約: 機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。
従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。
本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。
トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
- 参考スコア（独自算出の注目度）: 34.76908446146832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deciphering visual content from functional Magnetic Resonance Imaging (fMRI)
helps illuminate the human vision system. However, the scarcity of fMRI data
and noise hamper brain decoding model performance. Previous approaches
primarily employ subject-specific models, sensitive to training sample size. In
this paper, we explore a straightforward but overlooked solution to address
data scarcity. We propose shallow subject-specific adapters to map
cross-subject fMRI data into unified representations. Subsequently, a shared
deeper decoding model decodes cross-subject features into the target feature
space. During training, we leverage both visual and textual supervision for
multi-modal brain decoding. Our model integrates a high-level perception
decoding pipeline and a pixel-wise reconstruction pipeline guided by high-level
perceptions, simulating bottom-up and top-down processes in neuroscience.
Empirical experiments demonstrate robust neural representation learning across
subjects for both pipelines. Moreover, merging high-level and low-level
information improves both low-level and high-level reconstruction metrics.
Additionally, we successfully transfer learned general knowledge to new
subjects by training new adapters with limited training data. Compared to
previous state-of-the-art methods, notably pre-training-based methods (Mind-Vis
and fMRI-PTE), our approach achieves comparable or superior results across
diverse tasks, showing promise as an alternative method for cross-subject fMRI
data pre-training. Our code and pre-trained weights will be publicly released
at https://github.com/YulongBonjour/See_Through_Their_Minds.
- Abstract（参考訳）: 機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。
しかし、fMRIデータやノイズが乏しいため、脳復号モデルの性能は低下する。
従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。
本稿では,データ不足に対処するための,単純だが見過ごされたソリューションについて検討する。
本稿では,fMRIデータを統合表現にマッピングする浅層適応器を提案する。
その後、共有深度復号モデルは、対象のフィーチャ空間にクロスオブジェクト機能を復号する。
トレーニング中、視覚とテキストの両方の監督をマルチモーダル脳デコードに活用する。
我々のモデルは,高レベルの知覚復号パイプラインと高レベルの知覚によって導かれる画素ワイド再構築パイプラインを統合し,ボトムアップとトップダウンのプロセスをシミュレーションする。
実証実験は、両方のパイプラインの被験者間で堅牢な神経表現学習を示す。
さらに、ハイレベルと低レベルの情報をマージすることで、ローレベルとハイレベルの両方のレコンストラクションメトリクスが改善される。
さらに,訓練データに制限のある新しいアダプタをトレーニングすることで,学習全般の知識を新たな被験者に移すことに成功しました。
従来の最先端手法,特に事前学習法(Mind-Vis法とfMRI-PTE法)と比較して,本手法は多種多様なタスクに対して同等あるいは優れた結果が得られる。
私たちのコードとトレーニング済みのウェイトはhttps://github.com/YulongBonjour/See_Through_Their_Minds.comで公開されます。
関連論文リスト
- LLM4Brain: Training a Large Language Model for Brain Video Understanding [9.294352205183726]
映像刺激によって引き起こされるfMRI信号から視覚的意味情報を再構成するためのLCMに基づく手法を提案する。
我々は、適応器を備えたfMRIエンコーダに微調整技術を用いて、脳の反応を映像刺激に合わせた潜在表現に変換する。
特に,視覚的セマンティック情報と脳反応のアライメントを高めるために,自己教師付きドメイン適応手法を統合する。
論文 参考訳（メタデータ） (2024-09-26T15:57:08Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - Learning Object-Centric Representation via Reverse Hierarchy Guidance [73.05170419085796]
OCL(Object-Centric Learning)は、ニューラルネットワークが視覚的なシーンで個々のオブジェクトを識別できるようにする。
RHGNetは、トレーニングと推論プロセスにおいて、さまざまな方法で機能するトップダウンパスを導入している。
我々のモデルは、よく使われる複数のデータセット上でSOTA性能を達成する。
論文 参考訳（メタデータ） (2024-05-17T07:48:27Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳（メタデータ） (2024-03-27T02:42:52Z) - Aligning brain functions boosts the decoding of visual semantics in
novel subjects [3.226564454654026]
脳の反応をビデオや静止画像に合わせることで脳の復号化を促進することを提案する。
提案手法はオブジェクト外デコード性能を最大75%向上させる。
また、テスト対象者に対して100分未満のデータが得られる場合、古典的な単一オブジェクトアプローチよりも優れています。
論文 参考訳（メタデータ） (2023-12-11T15:55:20Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳（メタデータ） (2023-11-01T07:24:22Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-07-31T17:59:42Z) - Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。
提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。
生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文 参考訳（メタデータ） (2023-05-19T09:57:19Z) - Neural Maximum A Posteriori Estimation on Unpaired Data for Motion
Deblurring [87.97330195531029]
本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。
提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
論文 参考訳（メタデータ） (2022-04-26T08:09:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。