論文の概要: MoRE-Brain: Routed Mixture of Experts for Interpretable and Generalizable Cross-Subject fMRI Visual Decoding

• arxiv url: http://arxiv.org/abs/2505.15946v1
• Date: Wed, 21 May 2025 19:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.874034
• Title: MoRE-Brain: Routed Mixture of Experts for Interpretable and Generalizable Cross-Subject fMRI Visual Decoding
• Title（参考訳）: MoRE-Brain: 解釈および一般化可能なfMRIビジュアルデコードのためのエキスパートの経路混合
• Authors: Yuxiang Wei, Yanteng Zhang, Xi Xiao, Tianyang Wang, Xiao Wang, Vince D. Calhoun,
• Abstract要約: MoRE-Brainは、高忠実で適応性があり、解釈可能な視覚再構成のために設計された、神経にインスパイアされたフレームワークである。 階層的なMixture-of-Expertsアーキテクチャを採用しており、専門家がfMRI信号を処理している。 MoRE-Brainは、より一般化され、解釈可能なfMRIベースのビジュアルデコードへと大きく進歩している。
• 参考スコア（独自算出の注目度）: 24.771496672135395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoding visual experiences from fMRI offers a powerful avenue to understand human perception and develop advanced brain-computer interfaces. However, current progress often prioritizes maximizing reconstruction fidelity while overlooking interpretability, an essential aspect for deriving neuroscientific insight. To address this gap, we propose MoRE-Brain, a neuro-inspired framework designed for high-fidelity, adaptable, and interpretable visual reconstruction. MoRE-Brain uniquely employs a hierarchical Mixture-of-Experts architecture where distinct experts process fMRI signals from functionally related voxel groups, mimicking specialized brain networks. The experts are first trained to encode fMRI into the frozen CLIP space. A finetuned diffusion model then synthesizes images, guided by expert outputs through a novel dual-stage routing mechanism that dynamically weighs expert contributions across the diffusion process. MoRE-Brain offers three main advancements: First, it introduces a novel Mixture-of-Experts architecture grounded in brain network principles for neuro-decoding. Second, it achieves efficient cross-subject generalization by sharing core expert networks while adapting only subject-specific routers. Third, it provides enhanced mechanistic insight, as the explicit routing reveals precisely how different modeled brain regions shape the semantic and spatial attributes of the reconstructed image. Extensive experiments validate MoRE-Brain's high reconstruction fidelity, with bottleneck analyses further demonstrating its effective utilization of fMRI signals, distinguishing genuine neural decoding from over-reliance on generative priors. Consequently, MoRE-Brain marks a substantial advance towards more generalizable and interpretable fMRI-based visual decoding. Code will be publicly available soon: https://github.com/yuxiangwei0808/MoRE-Brain.
• Abstract（参考訳）: fMRIから視覚的体験をデコードすることで、人間の知覚を理解し、高度な脳-コンピュータインターフェースを開発するための強力な道を提供する。 しかし、現在の進歩はしばしば、神経科学的な洞察を導き出すための重要な側面である解釈可能性を見越しながら、再構築の忠実度を最大化することを優先する。 このギャップに対処するために、我々は、高忠実で適応性があり、解釈可能な視覚再構成のために設計された、神経にインスパイアされたフレームワークであるMoRE-Brainを提案する。 MoRE-Brainは、機能的に関連するボクセルグループからfMRI信号を処理し、特殊な脳ネットワークを模倣する階層的なMixture-of-Expertsアーキテクチャを独自に採用している。 専門家たちはまず、凍ったCLIP空間にfMRIをエンコードするように訓練されている。 微調整拡散モデル(英語版)は、拡散過程全体にわたる専門家の貢献を動的に評価する新しい二重ステージルーティング機構を通じて、専門家の出力によって導かれる画像を合成する。 まず、神経復号のための脳ネットワークの原則に基づく新しいMixture-of-Expertsアーキテクチャを導入します。 第2に、主観的なルータのみを適応させながら、コアエキスパートネットワークを共有することで、効率的なクロスオブジェクトの一般化を実現する。 第3に、明示的なルーティングによって、異なるモデル化された脳領域が、再構成された画像の意味的特性と空間的属性をどのように形成するかを正確に示すため、機械的洞察が強化される。 広範囲にわたる実験により、MoRE-Brainの高再構成忠実度が検証され、ボトルネック解析によりfMRI信号の有効利用がさらに証明され、真のニューラルデコーディングが生成前の過剰依存と区別される。 その結果、MoRE-Brainはより一般化可能で解釈可能なfMRIベースの視覚復号化に向けて大きな進歩を遂げた。 コードは近く公開される。 https://github.com/yuxiangwei0808/MoRE-Brain。

関連論文リスト

• MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data [64.92867794764247]
  MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。 脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。 脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
  論文  参考訳（メタデータ） (2025-02-07T16:01:59Z)
• UniBrain: A Unified Model for Cross-Subject Brain Decoding [22.49964298783508]
  被験者固有のパラメータを必要としない統一脳復号モデルUniBrainを提案する。 提案手法は, 可変fMRI信号長を扱うグループベース抽出器, クロスオブジェクトの共通点を捕捉する相互支援組込み器, 被写体不変特徴を抽出するバイレベル特徴アライメント方式を含む。 我々は、UniBrainを脳復号ベンチマークで検証し、パラメータが極端に少ない現在の最先端の主題特化モデルに匹敵する性能を実現した。
  論文  参考訳（メタデータ） (2024-12-27T07:03:47Z)
• BrainMAP: Learning Multiple Activation Pathways in Brain Networks [77.15180533984947]
  本稿では,脳ネットワークにおける複数の活性化経路を学習するための新しいフレームワークであるBrainMAPを紹介する。 本フレームワークは,タスクに関わる重要な脳領域の説明的分析を可能にする。
  論文  参考訳（メタデータ） (2024-12-23T09:13:35Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• Neuro-Vision to Language: Enhancing Brain Recording-based Visual Reconstruction and Language Interaction [8.63068449082585]
  非侵襲的な脳記録の復号化は、人間の認知の理解を深める鍵となる。 本研究では,視覚変換器を用いた3次元脳構造と視覚的意味論を統合した。 マルチモーダル大モデル開発を支援するために,fMRI画像関連テキストデータを用いたfMRIデータセットを改良した。
  論文  参考訳（メタデータ） (2024-04-30T10:41:23Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Leveraging Brain Modularity Prior for Interpretable Representation Learning of fMRI [38.236414924531196]
  静止状態機能的磁気共鳴画像(rs-fMRI)は脳の自律神経活動を反映することができる。 従来の研究では, マシン/ディープ学習手法を用いてfMRI表現を抽出し, その後の分析を行う方法が提案されている。 本稿では,fMRI解析のためのBMR(Brain Modularity-Constrained dynamic Representation Learning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-24T23:45:47Z)
• Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain Activities [31.448924808940284]
  2相fMRI表現学習フレームワークを提案する。 第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。 第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
  論文  参考訳（メタデータ） (2023-05-26T19:16:23Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。