論文の概要: A Survey on fMRI-based Brain Decoding for Reconstructing Multimodal Stimuli
- arxiv url: http://arxiv.org/abs/2503.15978v1
- Date: Thu, 20 Mar 2025 09:23:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 16:33:56.818757
- Title: A Survey on fMRI-based Brain Decoding for Reconstructing Multimodal Stimuli
- Title（参考訳）: マルチモーダル刺激の再構成のためのfMRIを用いた脳波復号法の検討
- Authors: Pengyu Liu, Guohua Dong, Dan Guo, Kun Li, Fengling Li, Xun Yang, Meng Wang, Xiaomin Ying,
- Abstract要約: 脳信号を復号して刺激を再構築することで、AI、疾患治療、脳とコンピュータのインターフェースの進歩を加速させる。
ニューロイメージングおよび画像生成モデルの最近の進歩は、fMRIに基づくデコードを大幅に改善した。
本研究は、受動的脳信号からの刺激再構成に焦点を当て、fMRIに基づく脳のデコーディングの最近の進歩を体系的にレビューする。
- 参考スコア（独自算出の注目度）: 26.07986165893441
- License:
- Abstract: In daily life, we encounter diverse external stimuli, such as images, sounds, and videos. As research in multimodal stimuli and neuroscience advances, fMRI-based brain decoding has become a key tool for understanding brain perception and its complex cognitive processes. Decoding brain signals to reconstruct stimuli not only reveals intricate neural mechanisms but also drives progress in AI, disease treatment, and brain-computer interfaces. Recent advancements in neuroimaging and image generation models have significantly improved fMRI-based decoding. While fMRI offers high spatial resolution for precise brain activity mapping, its low temporal resolution and signal noise pose challenges. Meanwhile, techniques like GANs, VAEs, and Diffusion Models have enhanced reconstructed image quality, and multimodal pre-trained models have boosted cross-modal decoding tasks. This survey systematically reviews recent progress in fMRI-based brain decoding, focusing on stimulus reconstruction from passive brain signals. It summarizes datasets, relevant brain regions, and categorizes existing methods by model structure. Additionally, it evaluates model performance and discusses their effectiveness. Finally, it identifies key challenges and proposes future research directions, offering valuable insights for the field. For more information and resources related to this survey, visit https://github.com/LpyNow/BrainDecodingImage.
- Abstract（参考訳）: 日常生活では、画像、音、ビデオなどの様々な外部刺激に遭遇する。
マルチモーダル刺激と神経科学の研究が進むにつれ、fMRIに基づく脳のデコーディングは、脳の知覚とその複雑な認知過程を理解するための重要なツールとなっている。
脳信号を復号して刺激を再構築すると、複雑な神経機構が明らかになるだけでなく、AI、疾患治療、脳とコンピュータのインターフェースが進歩する。
ニューロイメージングおよび画像生成モデルの最近の進歩は、fMRIに基づくデコードを大幅に改善した。
fMRIは正確な脳活動マッピングのための高空間分解能を提供するが、その低時間分解能と信号ノイズは課題を引き起こす。
一方、GAN、VAE、拡散モデルといった技術は、再構成画像の品質を向上し、マルチモーダル事前訓練されたモデルは、クロスモーダルデコーディングタスクを強化した。
本研究は、受動的脳信号からの刺激再構成に焦点を当て、fMRIに基づく脳のデコーディングの最近の進歩を体系的にレビューする。
データセット、関連する脳領域を要約し、モデル構造によって既存の手法を分類する。
さらに、モデルの性能を評価し、その効果について議論する。
最後に、重要な課題を特定し、将来の研究方向性を提案し、この分野に貴重な洞察を提供する。
この調査に関する詳細な情報やリソースについては、https://github.com/LpyNow/BrainDecodingImageを参照してください。
関連論文リスト
- MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data [64.92867794764247]
MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。
脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。
脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
論文 参考訳（メタデータ） (2025-02-07T16:01:59Z) - BrainSegFounder: Towards 3D Foundation Models for Neuroimage Segmentation [6.5388528484686885]
本研究は,医療基盤モデルの創出に向けた新しいアプローチを紹介する。
本稿では,視覚変換器を用いた2段階事前学習手法を提案する。
BrainFounderは、これまでの勝利ソリューションの成果を上回る、大幅なパフォーマンス向上を実演している。
論文 参考訳（メタデータ） (2024-06-14T19:49:45Z) - Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。
予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
論文 参考訳（メタデータ） (2024-05-24T06:06:11Z) - BrainODE: Dynamic Brain Signal Analysis via Graph-Aided Neural Ordinary Differential Equations [67.79256149583108]
本稿では,脳波を連続的にモデル化するBrainODEというモデルを提案する。
遅延初期値とニューラルODE関数を不規則な時系列から学習することにより、BrainODEは任意の時点の脳信号を効果的に再構築する。
論文 参考訳（メタデータ） (2024-04-30T10:53:30Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - NeuroCine: Decoding Vivid Video Sequences from Human Brain Activties [23.893490180665996]
本稿では,fMRIデータを復号化するための新たな二相フレームワークであるNeuroCineを紹介する。
公開されているfMRIデータセットでテストした結果,有望な結果が得られた。
このモデルが既存の脳構造や機能と一致し,その生物学的妥当性と解釈可能性を示すことが示唆された。
論文 参考訳（メタデータ） (2024-02-02T17:34:25Z) - Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI [12.203617776046169]
本稿では,人間の知覚システムにおけるfMRIパターンを解析するためのBrainformerという新しいフレームワークを紹介する。
この研究は、人間の知覚からニューラルネットワークに知識を移すための先進的なアプローチを導入する。
論文 参考訳（メタデータ） (2023-11-30T22:39:23Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳（メタデータ） (2023-11-01T07:24:22Z) - Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain
Activities [31.448924808940284]
2相fMRI表現学習フレームワークを提案する。
第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。
第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
論文 参考訳（メタデータ） (2023-05-26T19:16:23Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳（メタデータ） (2023-03-26T14:14:58Z) - Explainable fMRI-based Brain Decoding via Spatial Temporal-pyramid Graph
Convolutional Network [0.8399688944263843]
既存のfMRIベースの脳デコードのための機械学習手法は、分類性能が低いか、説明性が悪いかのいずれかに悩まされている。
本稿では,機能的脳活動の時空間グラフ表現を捉えるために,生物学的にインスパイアされたアーキテクチャである時空間ピラミドグラフ畳み込みネットワーク(STpGCN)を提案する。
我々は,Human Connectome Project (HCP) S1200から23の認知タスク下でのfMRIデータに関する広範な実験を行った。
論文 参考訳（メタデータ） (2022-10-08T12:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。