論文の概要: The Pictorial Cortex: Zero-Shot Cross-Subject fMRI-to-Image Reconstruction via Compositional Latent Modeling

• arxiv url: http://arxiv.org/abs/2601.15071v1
• Date: Wed, 21 Jan 2026 15:15:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.413519
• Title: The Pictorial Cortex: Zero-Shot Cross-Subject fMRI-to-Image Reconstruction via Compositional Latent Modeling
• Title（参考訳）: 画像皮質:Zero-Shot Cross-Subject fMRI-to- Image Reconstruction by compositional Latent Modeling
• Authors: Jingyang Huo, Yikai Wang, Yanwei Fu, Jianfeng Feng,
• Abstract要約: 人間の脳活動から視覚的体験をデコードすることは、神経科学、神経イメージング、人工知能の交差点における中心的な課題である。 提案するPictorialCortexは、主観的・データセット的・試行的な変動下での刺激駆動表現を構造化する合成潜在定式化を用いて、fMRIのアクティビティをモデル化する。
• 参考スコア（独自算出の注目度）: 43.65221373201575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoding visual experiences from human brain activity remains a central challenge at the intersection of neuroscience, neuroimaging, and artificial intelligence. A critical obstacle is the inherent variability of cortical responses: neural activity elicited by the same visual stimulus differs across individuals and trials due to anatomical, functional, cognitive, and experimental factors, making fMRI-to-image reconstruction non-injective. In this paper, we tackle a challenging yet practically meaningful problem: zero-shot cross-subject fMRI-to-image reconstruction, where the visual experience of a previously unseen individual must be reconstructed without subject-specific training. To enable principled evaluation, we present a unified cortical-surface dataset -- UniCortex-fMRI, assembled from multiple visual-stimulus fMRI datasets to provide broad coverage of subjects and stimuli. Our UniCortex-fMRI is particularly processed by standardized data formats to make it possible to explore this possibility in the zero-shot scenario of cross-subject fMRI-to-image reconstruction. To tackle the modeling challenge, we propose PictorialCortex, which models fMRI activity using a compositional latent formulation that structures stimulus-driven representations under subject-, dataset-, and trial-related variability. PictorialCortex operates in a universal cortical latent space and implements this formulation through a latent factorization--composition module, reinforced by paired factorization and re-factorizing consistency regularization. During inference, surrogate latents synthesized under multiple seen-subject conditions are aggregated to guide diffusion-based image synthesis for unseen subjects. Extensive experiments show that PictorialCortex improves zero-shot cross-subject visual reconstruction, highlighting the benefits of compositional latent modeling and multi-dataset training.
• Abstract（参考訳）: 人間の脳活動から視覚的体験をデコードすることは、神経科学、神経イメージング、人工知能の交差点における中心的な課題である。 同じ視覚刺激によって引き起こされる神経活動は、解剖学的、機能的、認知的、実験的要因によって個人や試験によって異なるため、fMRIから画像への再構成は非注入的である。 本稿では,ゼロショット・クロスオブジェクト fMRI-to-image 再構成という課題に対処する。 基本的評価を実現するために、複数の視覚刺激fMRIデータセットから組み立てた、統一された皮質表面データセットであるUniCortex-fMRIを提案し、被験者と刺激の広範なカバレッジを提供する。 我々のUniCortex-fMRIは、特に標準化されたデータフォーマットで処理されており、オブジェクト間fMRI画像再構成のゼロショットシナリオでこの可能性を探ることができる。 このモデル課題に対処するために,被験者,データセット,トライアル関連変数に基づいて刺激駆動表現を構造化する合成潜在式を用いて,fMRIのアクティビティをモデル化するPictorialCortexを提案する。 PictorialCortex は普遍的皮質潜在空間で作用し、この定式化を潜在因子化-合成加群を通して実装し、ペアの分解と整合正則化によって強化する。 推測中、複数の観察対象条件下で合成されたサロゲート潜水剤を集約し、未知の被験者に対する拡散に基づく画像合成を誘導する。 大規模な実験により、PictorialCortexはゼロショットのクロスオブジェクト視覚再構成を改善し、合成潜在モデリングとマルチデータセットトレーニングの利点を強調している。

関連論文リスト

• Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction [65.67001243986981]
  我々は,スケールワイド自己回帰モデルに基づく粗大なfMRI画像再構成フレームワークであるMindHierを提案する。 MindHierは、拡散ベースのベースラインよりも優れたセマンティック忠実さ、4.67倍高速な推論、より決定論的結果を達成する。
  論文  参考訳（メタデータ） (2025-10-25T15:40:07Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
  人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。 異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
  論文  参考訳（メタデータ） (2024-03-29T07:16:34Z)
• NeuralDiffuser: Neuroscience-inspired Diffusion Guidance for fMRI Visual Reconstruction [25.987801733791986]
  本稿では,主視覚的特徴指導を取り入れたNeuralDiffuserを提案し,勾配の形で詳細な手がかりを提供する。 拡散モデルにおけるボトムアッププロセスの拡張は、視覚刺激を再構成する際に意味的コヒーレンスと詳細忠実性の両方を達成する。
  論文  参考訳（メタデータ） (2024-02-21T13:46:25Z)
• Double-Flow GAN model for the reconstruction of perceived faces from brain activities [13.707575848841405]
  そこで我々はDouble-Flow GANと呼ばれる新しい再構築フレームワークを提案する。 また,画像から抽出した特徴を条件として,fMRIから条件付き再構成モデルを事前学習するための事前学習プロセスも設計した。 その結果, 提案手法は, 複数の顔特性を正確に再構成し, 過去の再現モデルより優れ, 最先端の復元能力を示すことがわかった。
  論文  参考訳（メタデータ） (2023-12-12T18:07:57Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion [7.597218661195779]
  我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。 ステージ1では、VQ-VAE潜在表現とfMRIからデコードされたCLIPテキスト埋め込みが安定拡散される。 ステージ2では、fMRIからデコードされたCLIP視覚特徴を監視情報として利用し、バックパゲーションによりステージ1でデコードされた2つの特徴ベクトルを継続的に調整し、構造情報を整列させる。
  論文  参考訳（メタデータ） (2023-08-08T13:28:34Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。