論文の概要: SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning

• arxiv url: http://arxiv.org/abs/2508.10298v2
• Date: Fri, 15 Aug 2025 05:35:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 12:50:03.124012
• Title: SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning
• Title（参考訳）: SynBrain:確率的表現学習による視覚-fMRI合成の強化
• Authors: Weijian Mai, Jiamin Wu, Yu Zhu, Zhouheng Yao, Dongzhan Zhou, Andrew F. Luo, Qihao Zheng, Wanli Ouyang, Chunfeng Song,
• Abstract要約: 視覚刺激が皮質反応にどのように変換されるかを理解することは、計算神経科学の基本的な課題である。 視覚的意味論から神経反応への変換をシミュレートする生成フレームワークであるSynBrainを提案する。 そこで本研究では,SynBrainが主観的視覚-fMRI符号化性能において最先端の手法を超越していることを示す。
• 参考スコア（独自算出の注目度）: 50.69448058071441
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deciphering how visual stimuli are transformed into cortical responses is a fundamental challenge in computational neuroscience. This visual-to-neural mapping is inherently a one-to-many relationship, as identical visual inputs reliably evoke variable hemodynamic responses across trials, contexts, and subjects. However, existing deterministic methods struggle to simultaneously model this biological variability while capturing the underlying functional consistency that encodes stimulus information. To address these limitations, we propose SynBrain, a generative framework that simulates the transformation from visual semantics to neural responses in a probabilistic and biologically interpretable manner. SynBrain introduces two key components: (i) BrainVAE models neural representations as continuous probability distributions via probabilistic learning while maintaining functional consistency through visual semantic constraints; (ii) A Semantic-to-Neural Mapper acts as a semantic transmission pathway, projecting visual semantics into the neural response manifold to facilitate high-fidelity fMRI synthesis. Experimental results demonstrate that SynBrain surpasses state-of-the-art methods in subject-specific visual-to-fMRI encoding performance. Furthermore, SynBrain adapts efficiently to new subjects with few-shot data and synthesizes high-quality fMRI signals that are effective in improving data-limited fMRI-to-image decoding performance. Beyond that, SynBrain reveals functional consistency across trials and subjects, with synthesized signals capturing interpretable patterns shaped by biological neural variability. The code will be made publicly available.
• Abstract（参考訳）: 視覚刺激が皮質反応にどのように変換されるかを理解することは、計算神経科学の基本的な課題である。 この視覚と神経のマッピングは本質的に1対多の関係であり、同一の視覚入力は、試行錯誤、文脈、被験者の様々な血行動態を確実に引き起こす。 しかし、既存の決定論的手法は、刺激情報を符号化する基礎となる機能的一貫性を捉えながら、この生物学的多様性を同時にモデル化するのに苦労する。 視覚的意味論から神経反応への変換を確率的かつ生物学的に解釈可能な方法でシミュレートする生成フレームワークであるSynBrainを提案する。 SynBrainは2つの重要なコンポーネントを紹介している。 (i)BrainVAEは、視覚的意味制約による機能的一貫性を維持しつつ、確率論的学習を通して、神経表現を連続的な確率分布としてモデル化する。 (II)セマンティック・ニューラル・マッパーは意味伝達経路として機能し、高忠実度fMRI合成を促進するために、視覚的セマンティクスを神経応答多様体に投影する。 実験結果から,SynBrainは被写体特異的視覚-fMRI符号化性能において最先端の手法を超越していることが示された。 さらに、SynBrainは、少数ショットデータを持つ新しい被験者に効率よく適応し、データ制限されたfMRI画像のデコード性能を改善するのに有効な高品質なfMRI信号を合成する。 さらに、SynBrainは、生体神経の多様性によって形成される解釈可能なパターンをキャプチャする合成信号によって、試験と被験者間の機能一貫性を明らかにしている。 コードは公開されます。

関連論文リスト

• From Flat to Round: Redefining Brain Decoding with Surface-Based fMRI and Cortex Structure [11.760848227175591]
  人間の脳活動(例えばfMRI)から視覚刺激を再構築することは神経科学とコンピュータビジョンを橋渡しする。 球面上の空間的コヒーレントな2次元球面データとしてfMRI信号を明示的にモデル化する新しいスフィア・トークンーザを提案する。 また、構造MRIデータの統合も提案し、個々の解剖学的変動をパーソナライズした符号化を可能にする。
  論文  参考訳（メタデータ） (2025-07-22T09:34:39Z)
• Neural-MCRL: Neural Multimodal Contrastive Representation Learning for EEG-based Visual Decoding [2.587640069216139]
  脳波(EEG)を用いた脳活動からの神経視覚表現のデコードは、脳-機械界面(BMI)の進行に不可欠である 既存の手法は、しばしばモダリティ内の意味的一貫性と完全性を見落とし、モダリティ間の効果的なセマンティックアライメントを欠いている。 本稿では,セマンティックブリッジとクロスアテンション機構によるマルチモーダルアライメントを実現する新しいフレームワークであるNeural-MCRLを提案する。
  論文  参考訳（メタデータ） (2024-12-23T07:02:44Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Unidirectional brain-computer interface: Artificial neural network encoding natural images to fMRI response in the visual cortex [12.1427193917406]
  本稿では,人間の脳を模倣する人工ニューラルネットワークVISIONを提案する。 VISIONは、人間の血行動態の反応をfMRIボクセル値として、最先端の性能を超える精度で45%の精度で予測することに成功した。
  論文  参考訳（メタデータ） (2023-09-26T15:38:26Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Drop, Swap, and Generate: A Self-Supervised Approach for Generating Neural Activity [33.06823702945747]
  我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。 このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。 我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-03T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。