論文の概要: Neurons++: A Unified Visual-Stream Framework for Image and Video Reconstruction from fMRI with Neural-to-Visual Interpretability

• arxiv url: http://arxiv.org/abs/2610.13763v1
• Date: Fri, 09 Oct 2026 15:49:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.658056
• Title: Neurons++: A Unified Visual-Stream Framework for Image and Video Reconstruction from fMRI with Neural-to-Visual Interpretability
• Title（参考訳）: Neurons++: ニューラル・ツー・ビジュアル・インタプリタビリティを備えたfMRIからの映像と映像の再構成のための統一されたビジュアルストリームフレームワーク
• Abstract要約: fMRIから視覚体験をデコードすることは、人間の知覚を理解し、脳とコンピュータのインターフェイスを開発する上で重要である。 最近の生成的復号法は、可視画像や映像を再構成することができるが、視覚的可視性だけでは、出力が脳活動に忠実に根ざされていることを保証しない。 本稿では,静的画像と動的ビデオ再構成の両方のためのビジュアルストリームfMRI再構成フレームワークであるNeurons++を提案する。
• 参考スコア（独自算出の注目度）: 37.508037434451005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoding visual experience from fMRI is important for understanding human perception and developing brain-computer interfaces. Recent generative decoding methods can reconstruct plausible images and videos, but visual plausibility alone does not ensure that the output is faithfully grounded in brain activity. In this work, we propose Neurons++, a visual-stream fMRI reconstruction framework for both static image and dynamic video reconstruction. Compared with our conference version Neurons, Neurons++ extends the paradigm from video-only reconstruction to visual-stream reconstruction for both images and videos, and replaces parallel task conditioning with serial cortex-inspired decoding. The model first uses image-fMRI pretraining to obtain a stable spatial-semantic initialization, and then performs subject-specific fine-tuning for image and video reconstruction separately. The serial design organizes fMRI-derived representations into explicit spatial, semantic, language-level, and temporal cues. Extensive experiments show that Neurons++ achieves state-of-the-art video reconstruction and competitive image reconstruction across standard benchmarks. Beyond reconstruction fidelity, neural-to-visual analyses indicate that Neurons++ exhibits qualitative directional controllability under neural perturbation, that its fMRI encoder read-out is sensitive to stimulus-relevant cortical features, and that it supports ROI-guided semantic modulation. Code and model weights are available at: https://github.com/xmed-lab/NeuronsPlusPlus.
• Abstract（参考訳）: fMRIから視覚体験をデコードすることは、人間の知覚を理解し、脳とコンピュータのインターフェイスを開発する上で重要である。 最近の生成的復号法は、可視画像や映像を再構成することができるが、視覚的可視性だけでは、出力が脳活動に忠実に根ざされていることを保証しない。 本研究では,静的画像と動的ビデオ再構成の両方のためのビジュアルストリームfMRI再構成フレームワークであるNeurons++を提案する。 Neurons++は、私たちのカンファレンスのバージョンであるNeuronsと比較して、ビデオのみの再構成から、画像とビデオの両方のビジュアルストリーム再構成までパラダイムを拡張し、並列タスク条件付けをシリアル大脳皮質にインスパイアされたデコーディングに置き換えます。 モデルはまず、画像-fMRIプリトレーニングを使用して、安定な空間意味の初期化を取得し、次いで、画像とビデオの再構成を個別に微調整する。 シリアルデザインは、fMRIから派生した表現を明示的な空間的、意味的、言語レベル、時間的キューに整理する。 大規模な実験により、Neurons++は最先端のビデオ再構成と標準ベンチマーク間の競合画像再構成を実現している。 再建の忠実性以外にも、ニューロンズ++は神経摂動下で定性的方向制御性を示し、そのfMRIエンコーダの読み出しは刺激関連皮質の特徴に敏感であり、ROI誘導のセマンティック変調をサポートすることを示している。 コードとモデルの重み付けは、https://github.com/xmed-lab/NeuronsPlusPlus.comで入手できる。

関連論文リスト

• Neurons: Emulating the Human Visual Cortex Improves Fidelity and Interpretability in fMRI-to-Video Reconstruction [13.110669865114533]
  NEURONSは、学習を4つの相関したサブタスクに分離するコンセプトフレームワークである。 これは視覚野の機能的特殊化をシミュレートし、モデルが多様なビデオコンテンツをキャプチャすることを可能にする。 NEURONSは視覚野と強い機能相関を示し、脳とコンピュータのインターフェースと臨床応用の可能性を強調している。
  論文  参考訳（メタデータ） (2025-03-14T08:12:28Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity [2.666777614876322]
  人間の脳活動からの1つの拡散モデルにおける画像再構成とキャプションを統一するUniBrainを提案する。 我々はfMRIボクセルをテキストに変換し、低レベル情報に潜入して現実的なキャプションや画像を生成する。 UniBrainは、画像再構成の点で現在の手法を質的にも量的にも優れており、Natural Scenesデータセットで初めて画像キャプションの結果を報告している。
  論文  参考訳（メタデータ） (2023-08-14T19:49:29Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
  我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。 第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。 第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
  論文  参考訳（メタデータ） (2023-03-09T15:24:26Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。