Fugu-MT 論文翻訳(概要): Brain3D: EEG-to-3D Decoding of Visual Representations via Multimodal Reasoning

論文の概要: Brain3D: EEG-to-3D Decoding of Visual Representations via Multimodal Reasoning

arxiv url: http://arxiv.org/abs/2604.08068v1
Date: Thu, 09 Apr 2026 10:35:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-10 18:34:05.864192
Title: Brain3D: EEG-to-3D Decoding of Visual Representations via Multimodal Reasoning
Title（参考訳）: Brain3D:マルチモーダル推論による視覚表現の脳波から3次元デコード
Authors: Emanuele Balloni, Emanuele Frontoni, Chiara Matti, Marina Paolanti, Roberto Pierdicca, Emiliano Santarnecchi,
Abstract要約: 脳波から画像へのデコーディングに基づく脳波から3Dへの再構成のためのマルチモーダルアーキテクチャであるBrain3Dを提案する。我々のパイプラインはまず脳波信号から視覚的に接地された画像を生成し、次に多モーダルな言語モデルを用いて構造化された3D認識記述を抽出する。問題を構造化段階に分解することで,脳波から3Dへの直接マッピングを回避し,スケーラブルな脳波駆動3D生成を実現する。
参考スコア（独自算出の注目度）: 14.30030169416955
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Decoding visual information from electroencephalography (EEG) has recently achieved promising results, primarily focusing on reconstructing two-dimensional (2D) images from brain activity. However, the reconstruction of three-dimensional (3D) representations remains largely unexplored. This limits the geometric understanding and reduces the applicability of neural decoding in different contexts. To address this gap, we propose Brain3D, a multimodal architecture for EEG-to-3D reconstruction based on EEG-to-image decoding. It progressively transforms neural representations into the 3D domain using geometry-aware generative reasoning. Our pipeline first produces visually grounded images from EEG signals, then employs a multimodal large language model to extract structured 3D-aware descriptions, which guide a diffusion-based generation stage whose outputs are finally converted into coherent 3D meshes via a single-image-to-3D model. By decomposing the problem into structured stages, the proposed approach avoids direct EEG-to-3D mappings and enables scalable brain-driven 3D generation. We conduct a comprehensive evaluation comparing the reconstructed 3D outputs against the original visual stimuli, assessing both semantic alignment and geometric fidelity. Experimental results demonstrate strong performance of the proposed architecture, achieving up to 85.4% 10-way Top-1 EEG decoding accuracy and 0.648 CLIPScore, supporting the feasibility of multimodal EEG-driven 3D reconstruction.
Abstract（参考訳）: 脳波による視覚情報の復号化(EEG)は、脳活動から2次元(2D)画像を再構成することを中心に、近年、有望な成果を上げている。しかし、3次元(3D)表現の再構成はほとんど未解明のままである。これにより、幾何学的理解が制限され、異なる文脈におけるニューラルデコーディングの適用性が低下する。このギャップに対処するため,脳波対画像デコーディングに基づく脳波対3D再構成のためのマルチモーダルアーキテクチャであるBrain3Dを提案する。幾何認識による生成推論を用いて、神経表現を3Dドメインに段階的に変換する。パイプラインはまず、脳波信号から視覚的に接地された画像を生成し、次にマルチモーダルな大規模言語モデルを用いて構造化された3D認識記述を抽出し、最終的に出力が単一画像から3Dモデルを介してコヒーレントな3Dメッシュに変換される拡散ベースの生成ステージを導く。問題を構造化段階に分解することで,脳波から3Dへの直接マッピングを回避し,スケーラブルな脳波駆動3D生成を実現する。再構成された3次元出力と元の視覚刺激を総合的に比較し,意味的アライメントと幾何学的忠実度の両方を評価する。実験により提案アーキテクチャの性能が向上し,最大85.4%のTop-1 EEG復号精度と0.648 CLIPScoreを実現し,マルチモーダル脳波駆動型3D再構成の実現可能性を示した。

論文の概要: Brain3D: EEG-to-3D Decoding of Visual Representations via Multimodal Reasoning

関連論文リスト