論文の概要: MoRE-Brain: Routed Mixture of Experts for Interpretable and Generalizable Cross-Subject fMRI Visual Decoding

• arxiv url: http://arxiv.org/abs/2505.15946v1
• Date: Wed, 21 May 2025 19:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.874034
• Title: MoRE-Brain: Routed Mixture of Experts for Interpretable and Generalizable Cross-Subject fMRI Visual Decoding
• Title（参考訳）: MoRE-Brain: 解釈および一般化可能なfMRIビジュアルデコードのためのエキスパートの経路混合
• Authors: Yuxiang Wei, Yanteng Zhang, Xi Xiao, Tianyang Wang, Xiao Wang, Vince D. Calhoun,
• Abstract要約: MoRE-Brainは、高忠実で適応性があり、解釈可能な視覚再構成のために設計された、神経にインスパイアされたフレームワークである。 階層的なMixture-of-Expertsアーキテクチャを採用しており、専門家がfMRI信号を処理している。 MoRE-Brainは、より一般化され、解釈可能なfMRIベースのビジュアルデコードへと大きく進歩している。
• 参考スコア（独自算出の注目度）: 24.771496672135395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoding visual experiences from fMRI offers a powerful avenue to understand human perception and develop advanced brain-computer interfaces. However, current progress often prioritizes maximizing reconstruction fidelity while overlooking interpretability, an essential aspect for deriving neuroscientific insight. To address this gap, we propose MoRE-Brain, a neuro-inspired framework designed for high-fidelity, adaptable, and interpretable visual reconstruction. MoRE-Brain uniquely employs a hierarchical Mixture-of-Experts architecture where distinct experts process fMRI signals from functionally related voxel groups, mimicking specialized brain networks. The experts are first trained to encode fMRI into the frozen CLIP space. A finetuned diffusion model then synthesizes images, guided by expert outputs through a novel dual-stage routing mechanism that dynamically weighs expert contributions across the diffusion process. MoRE-Brain offers three main advancements: First, it introduces a novel Mixture-of-Experts architecture grounded in brain network principles for neuro-decoding. Second, it achieves efficient cross-subject generalization by sharing core expert networks while adapting only subject-specific routers. Third, it provides enhanced mechanistic insight, as the explicit routing reveals precisely how different modeled brain regions shape the semantic and spatial attributes of the reconstructed image. Extensive experiments validate MoRE-Brain's high reconstruction fidelity, with bottleneck analyses further demonstrating its effective utilization of fMRI signals, distinguishing genuine neural decoding from over-reliance on generative priors. Consequently, MoRE-Brain marks a substantial advance towards more generalizable and interpretable fMRI-based visual decoding. Code will be publicly available soon: https://github.com/yuxiangwei0808/MoRE-Brain.
• Abstract（参考訳）: fMRIから視覚的体験をデコードすることで、人間の知覚を理解し、高度な脳-コンピュータインターフェースを開発するための強力な道を提供する。 しかし、現在の進歩はしばしば、神経科学的な洞察を導き出すための重要な側面である解釈可能性を見越しながら、再構築の忠実度を最大化することを優先する。 このギャップに対処するために、我々は、高忠実で適応性があり、解釈可能な視覚再構成のために設計された、神経にインスパイアされたフレームワークであるMoRE-Brainを提案する。 MoRE-Brainは、機能的に関連するボクセルグループからfMRI信号を処理し、特殊な脳ネットワークを模倣する階層的なMixture-of-Expertsアーキテクチャを独自に採用している。 専門家たちはまず、凍ったCLIP空間にfMRIをエンコードするように訓練されている。 微調整拡散モデル(英語版)は、拡散過程全体にわたる専門家の貢献を動的に評価する新しい二重ステージルーティング機構を通じて、専門家の出力によって導かれる画像を合成する。 まず、神経復号のための脳ネットワークの原則に基づく新しいMixture-of-Expertsアーキテクチャを導入します。 第2に、主観的なルータのみを適応させながら、コアエキスパートネットワークを共有することで、効率的なクロスオブジェクトの一般化を実現する。 第3に、明示的なルーティングによって、異なるモデル化された脳領域が、再構成された画像の意味的特性と空間的属性をどのように形成するかを正確に示すため、機械的洞察が強化される。 広範囲にわたる実験により、MoRE-Brainの高再構成忠実度が検証され、ボトルネック解析によりfMRI信号の有効利用がさらに証明され、真のニューラルデコーディングが生成前の過剰依存と区別される。 その結果、MoRE-Brainはより一般化可能で解釈可能なfMRIベースの視覚復号化に向けて大きな進歩を遂げた。 コードは近く公開される。 https://github.com/yuxiangwei0808/MoRE-Brain。

関連論文リスト

• MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data [64.92867794764247]
  MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。 脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。 脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
  論文  参考訳（メタデータ） (2025-02-07T16:01:59Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain Activities [31.448924808940284]
  2相fMRI表現学習フレームワークを提案する。 第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。 第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
  論文  参考訳（メタデータ） (2023-05-26T19:16:23Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。