論文の概要: Brain3D: Generating 3D Objects from fMRI

• arxiv url: http://arxiv.org/abs/2405.15239v3
• Date: Wed, 28 Aug 2024 07:07:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 20:38:57.921357
• Title: Brain3D: Generating 3D Objects from fMRI
• Title（参考訳）: Brain3D:fMRIから3Dオブジェクトを生成する
• Authors: Yuankun Yang, Li Zhang, Ziyang Xie, Zhiyuan Yuan, Jianfeng Feng, Xiatian Zhu, Yu-Gang Jiang,
• Abstract要約: 被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
• 参考スコア（独自算出の注目度）: 76.41771117405973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the hidden mechanisms behind human's visual perception is a fundamental question in neuroscience. To that end, investigating into the neural responses of human mind activities, such as functional Magnetic Resonance Imaging (fMRI), has been a significant research vehicle. However, analyzing fMRI signals is challenging, costly, daunting, and demanding for professional training. Despite remarkable progress in fMRI analysis, existing approaches are limited to generating 2D images and far away from being biologically meaningful and practically useful. Under this insight, we propose to generate visually plausible and functionally more comprehensive 3D outputs decoded from brain signals, enabling more sophisticated modeling of fMRI data. Conceptually, we reformulate this task as a {\em fMRI conditioned 3D object generation} problem. We design a novel 3D object representation learning method, Brain3D, that takes as input the fMRI data of a subject who was presented with a 2D image, and yields as output the corresponding 3D object images. The key capabilities of this model include tackling the noises with high-level semantic signals and a two-stage architecture design for progressive high-level information integration. Extensive experiments validate the superior capability of our model over previous state-of-the-art 3D object generation methods. Importantly, we show that our model captures the distinct functionalities of each region of human vision system as well as their intricate interplay relationships, aligning remarkably with the established discoveries in neuroscience. Further, preliminary evaluations indicate that Brain3D can successfully identify the disordered brain regions in simulated scenarios, such as V1, V2, V3, V4, and the medial temporal lobe (MTL) within the human visual system. Our data and code will be available at https://brain-3d.github.io/.
• Abstract（参考訳）: 人間の視覚知覚の背後にある隠されたメカニズムを理解することは神経科学の基本的な問題である。 そのために、機能的磁気共鳴イメージング(fMRI)のような人間の心活動の神経反応を調べることは、重要な研究車両である。 しかし、fMRI信号の解析は困難であり、コストがかかり、おそろしく、専門的な訓練を必要としている。 fMRI解析の顕著な進歩にもかかわらず、既存のアプローチは2D画像の生成に限られており、生物学的に意味があり実用的に有用ではない。 そこで本研究では、脳信号からデコードされた視覚的可視かつ機能的により包括的な3D出力を生成し、fMRIデータのより洗練されたモデリングを可能にすることを提案する。 概念的には、このタスクを fMRI 条件付き3次元オブジェクト生成問題として再定義する。 本研究では、2D画像で提示された被験者のfMRIデータを入力として、対応する3Dオブジェクト画像の出力として出力する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 このモデルの主な機能は、高レベルなセマンティック信号でノイズに対処することと、プログレッシブな高レベル情報統合のための2段階のアーキテクチャ設計である。 大規模な実験により,従来の最先端3Dオブジェクト生成法よりも優れたモデルの有効性が検証された。 重要なことは、我々のモデルは、人間の視覚系の各領域の異なる機能と、それらの複雑な相互作用関係を捉え、神経科学の確立した発見と著しく一致していることである。 さらに、予備的な評価は、脳3Dが人間の視覚系内のV1、V2、V3、V4、中間側頭葉(MTL)などのシミュレーションシナリオにおいて、障害した脳領域を正常に識別できることを示唆している。 私たちのデータとコードはhttps://brain-3d.github.io/.com/で公開されます。

関連論文リスト

• Neuro-3D: Towards 3D Visual Decoding from EEG Signals [49.502364730056044]
  脳波信号から3次元視覚知覚を復号する新しい神経科学タスクを導入する。 まず、ビデオと画像の両方でレンダリングされた72の3Dオブジェクトのカテゴリを閲覧する12人の被験者から、マルチモーダル分析データと脳波記録を含むデータセットであるEEG-3Dを提示する。 脳波信号に基づく3次元視覚デコーディングフレームワークNeuro-3Dを提案する。
  論文  参考訳（メタデータ） (2024-11-19T05:52:17Z)
• fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction [50.534007259536715]
  我々は15人の参加者のデータを含むfMRI-3Dデータセットを提示し、合計4768個の3Dオブジェクトを展示する。 我々は,fMRI信号から3次元視覚情報を復号化するための新しいフレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2024-09-17T16:13:59Z)
• BrainODE: Dynamic Brain Signal Analysis via Graph-Aided Neural Ordinary Differential Equations [67.79256149583108]
  本稿では,脳波を連続的にモデル化するBrainODEというモデルを提案する。 遅延初期値とニューラルODE関数を不規則な時系列から学習することにより、BrainODEは任意の時点の脳信号を効果的に再構築する。
  論文  参考訳（メタデータ） (2024-04-30T10:53:30Z)
• MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
  Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。 このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。 我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:21:36Z)
• Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI [12.203617776046169]
  本稿では,人間の知覚システムにおけるfMRIパターンを解析するためのBrainformerという新しいフレームワークを紹介する。 この研究は、人間の知覚からニューラルネットワークに知識を移すための先進的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-11-30T22:39:23Z)
• Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain Activities [31.448924808940284]
  2相fMRI表現学習フレームワークを提案する。 第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。 第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
  論文  参考訳（メタデータ） (2023-05-26T19:16:23Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。