論文の概要: MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI Encoding

• arxiv url: http://arxiv.org/abs/2605.29850v1
• Date: Thu, 28 May 2026 12:30:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.237411
• Title: MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI Encoding
• Title（参考訳）: MIRAGE:全脳fMRIエンコーディングのための適応型マルチモーダルゲーティング
• Authors: Abdulkadir Gokce, Badr AlKhamissi, Martin Schrimpf,
• Abstract要約: MIRAGEは脳全体のfMRI応答を自然な聴覚刺激に予測するための脳符号化フレームワークである。 その結果、ネイティブなマルチモーダルな特徴は、独立なユニモーダルな特徴のポストホックアグリゲーションよりも一貫して優れていた。
• 参考スコア（独自算出の注目度）: 6.746244420038093
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent progress in task-optimized neural networks has established encoding models as a powerful tool for predicting brain responses to naturalistic stimuli, yet most existing approaches rely on unimodal representations. The emergence of omni-modal foundation models and rich multimodal neural datasets enables encoding models that jointly integrate visual, auditory, and linguistic information across subjects. We introduce MIRAGE, a brain encoding framework for predicting whole-brain fMRI responses to naturalistic audiovisual stimuli. MIRAGE achieves state-of-the-art performance via a native multimodal backbone and adaptive feature gating across layers. These representations are then combined with a transformer-based brain encoder and a subject-specific linear head over the cortical parcels. Controlled comparisons show that natively multimodal features consistently outperform post-hoc aggregation of independent unimodal features, across architectural levels and backbones. Beyond predictive accuracy, the learned attention weights are directly inspectable to interpret the modality-specific gating profile over the backbone, and each modality traces a distinct anatomical pattern across cortex. Together, these results propose adaptive layer-wise aggregation of natively multimodal features as a generalizable, interpretable, and accurate approach for whole-brain encoding.
• Abstract（参考訳）: タスク最適化ニューラルネットワークの最近の進歩は、自然主義的刺激に対する脳の反応を予測する強力なツールとしてエンコーディングモデルを確立しているが、既存のほとんどのアプローチは、非モーダル表現に依存している。 オムニモーダル基礎モデルとリッチマルチモーダルニューラルネットワークの出現により、被験者間で視覚的、聴覚的、言語的情報を共同で統合するモデルの符号化が可能になる。 MIRAGEは脳全体のfMRI応答を自然な聴覚刺激に予測するための脳符号化フレームワークである。 MIRAGEは、ネイティブなマルチモーダルバックボーンと層をまたいだアダプティブ機能によって、最先端のパフォーマンスを実現している。 これらの表現は、トランスフォーマーベースの脳エンコーダと、皮質のパーセル上の主観特異的リニアヘッドと組み合わせられる。 制御された比較では、ネイティブにマルチモーダルな機能は、アーキテクチャレベルとバックボーンにわたって、独立的なアンモダルな機能のポストホックアグリゲーションを一貫して上回っている。 学習された注意重みは、予測精度の他に、背骨上のモダリティ特異的なゲーティングプロファイルを解釈するために直接検査可能であり、各モダリティは皮質の異なる解剖学的パターンを辿る。 これらの結果は, 汎用的, 解釈可能, 正確なアプローチとして, ネイティブなマルチモーダル特徴の適応的な層ワイドアグリゲーションを提案する。

関連論文リスト

• Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction [65.67001243986981]
  我々は,スケールワイド自己回帰モデルに基づく粗大なfMRI画像再構成フレームワークであるMindHierを提案する。 MindHierは、拡散ベースのベースラインよりも優れたセマンティック忠実さ、4.67倍高速な推論、より決定論的結果を達成する。
  論文  参考訳（メタデータ） (2025-10-25T15:40:07Z)
• SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning [54.390403684665834]
  視覚刺激が皮質反応にどのように変換されるかを理解することは、計算神経科学の基本的な課題である。 視覚的意味論から神経反応への変換を確率的かつ生物学的に解釈可能な方法でシミュレートする生成フレームワークであるSynBrainを提案する。 実験結果から,SynBrainは被写体特異的視覚-fMRI符号化性能において最先端の手法を超越していることが示された。
  論文  参考訳（メタデータ） (2025-08-14T03:01:05Z)
• Probing Multimodal Fusion in the Brain: The Dominance of Audiovisual Streams in Naturalistic Encoding [1.2233362977312945]
  我々は,最先端視覚 (X-CLIP) と聴覚 (Whisper) 特徴抽出器を用いた脳符号化モデルを開発した。 分布内(ID)データと分布外(OOD)データの両方を厳格に評価する。
  論文  参考訳（メタデータ） (2025-07-25T08:12:26Z)
• A Multimodal Seq2Seq Transformer for Predicting Brain Responses to Naturalistic Stimuli [0.0]
  Algonauts 2025 Challengeは、自然主義的なマルチモーダル映画に対する全脳のfMRI反応を予測するエンコーディングモデルを開発するようコミュニティに呼びかけた。 本稿では,視覚,聴覚,言語入力からfMRI活動を自動的に予測するシーケンス・ツー・シーケンス・トランスフォーマを提案する。
  論文  参考訳（メタデータ） (2025-07-24T05:29:37Z)
• Neural-MCRL: Neural Multimodal Contrastive Representation Learning for EEG-based Visual Decoding [2.587640069216139]
  脳波(EEG)を用いた脳活動からの神経視覚表現のデコードは、脳-機械界面(BMI)の進行に不可欠である 既存の手法は、しばしばモダリティ内の意味的一貫性と完全性を見落とし、モダリティ間の効果的なセマンティックアライメントを欠いている。 本稿では,セマンティックブリッジとクロスアテンション機構によるマルチモーダルアライメントを実現する新しいフレームワークであるNeural-MCRLを提案する。
  論文  参考訳（メタデータ） (2024-12-23T07:02:44Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。