論文の概要: Brain3D: Generating 3D Objects from fMRI
- arxiv url: http://arxiv.org/abs/2405.15239v3
- Date: Wed, 28 Aug 2024 07:07:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 20:38:57.921357
- Title: Brain3D: Generating 3D Objects from fMRI
- Title(参考訳): Brain3D:fMRIから3Dオブジェクトを生成する
- Authors: Yuankun Yang, Li Zhang, Ziyang Xie, Zhiyuan Yuan, Jianfeng Feng, Xiatian Zhu, Yu-Gang Jiang,
- Abstract要約: 被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。
予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
- 参考スコア(独自算出の注目度): 76.41771117405973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding the hidden mechanisms behind human's visual perception is a fundamental question in neuroscience. To that end, investigating into the neural responses of human mind activities, such as functional Magnetic Resonance Imaging (fMRI), has been a significant research vehicle. However, analyzing fMRI signals is challenging, costly, daunting, and demanding for professional training. Despite remarkable progress in fMRI analysis, existing approaches are limited to generating 2D images and far away from being biologically meaningful and practically useful. Under this insight, we propose to generate visually plausible and functionally more comprehensive 3D outputs decoded from brain signals, enabling more sophisticated modeling of fMRI data. Conceptually, we reformulate this task as a {\em fMRI conditioned 3D object generation} problem. We design a novel 3D object representation learning method, Brain3D, that takes as input the fMRI data of a subject who was presented with a 2D image, and yields as output the corresponding 3D object images. The key capabilities of this model include tackling the noises with high-level semantic signals and a two-stage architecture design for progressive high-level information integration. Extensive experiments validate the superior capability of our model over previous state-of-the-art 3D object generation methods. Importantly, we show that our model captures the distinct functionalities of each region of human vision system as well as their intricate interplay relationships, aligning remarkably with the established discoveries in neuroscience. Further, preliminary evaluations indicate that Brain3D can successfully identify the disordered brain regions in simulated scenarios, such as V1, V2, V3, V4, and the medial temporal lobe (MTL) within the human visual system. Our data and code will be available at https://brain-3d.github.io/.
- Abstract(参考訳): 人間の視覚知覚の背後にある隠されたメカニズムを理解することは神経科学の基本的な問題である。
そのために、機能的磁気共鳴イメージング(fMRI)のような人間の心活動の神経反応を調べることは、重要な研究車両である。
しかし、fMRI信号の解析は困難であり、コストがかかり、おそろしく、専門的な訓練を必要としている。
fMRI解析の顕著な進歩にもかかわらず、既存のアプローチは2D画像の生成に限られており、生物学的に意味があり実用的に有用ではない。
そこで本研究では、脳信号からデコードされた視覚的可視かつ機能的により包括的な3D出力を生成し、fMRIデータのより洗練されたモデリングを可能にすることを提案する。
概念的には、このタスクを fMRI 条件付き3次元オブジェクト生成問題として再定義する。
本研究では、2D画像で提示された被験者のfMRIデータを入力として、対応する3Dオブジェクト画像の出力として出力する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
このモデルの主な機能は、高レベルなセマンティック信号でノイズに対処することと、プログレッシブな高レベル情報統合のための2段階のアーキテクチャ設計である。
大規模な実験により,従来の最先端3Dオブジェクト生成法よりも優れたモデルの有効性が検証された。
重要なことは、我々のモデルは、人間の視覚系の各領域の異なる機能と、それらの複雑な相互作用関係を捉え、神経科学の確立した発見と著しく一致していることである。
さらに、予備的な評価は、脳3Dが人間の視覚系内のV1、V2、V3、V4、中間側頭葉(MTL)などのシミュレーションシナリオにおいて、障害した脳領域を正常に識別できることを示唆している。
私たちのデータとコードはhttps://brain-3d.github.io/.com/で公開されます。
関連論文リスト
- BrainODE: Dynamic Brain Signal Analysis via Graph-Aided Neural Ordinary Differential Equations [67.79256149583108]
本稿では,脳波を連続的にモデル化するBrainODEというモデルを提案する。
遅延初期値とニューラルODE関数を不規則な時系列から学習することにより、BrainODEは任意の時点の脳信号を効果的に再構築する。
論文 参考訳(メタデータ) (2024-04-30T10:53:30Z) - NeuroCine: Decoding Vivid Video Sequences from Human Brain Activties [23.893490180665996]
本稿では,fMRIデータを復号化するための新たな二相フレームワークであるNeuroCineを紹介する。
公開されているfMRIデータセットでテストした結果,有望な結果が得られた。
このモデルが既存の脳構造や機能と一致し,その生物学的妥当性と解釈可能性を示すことが示唆された。
論文 参考訳(メタデータ) (2024-02-02T17:34:25Z) - MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。
このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。
我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
論文 参考訳(メタデータ) (2023-12-12T18:21:36Z) - Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI [12.203617776046169]
本稿では,人間の知覚システムにおけるfMRIパターンを解析するためのBrainformerという新しいフレームワークを紹介する。
この研究は、人間の知覚からニューラルネットワークへ知識を伝達する先進的なアプローチを導入する。
論文 参考訳(メタデータ) (2023-11-30T22:39:23Z) - Unidirectional brain-computer interface: Artificial neural network
encoding natural images to fMRI response in the visual cortex [12.1427193917406]
本稿では,人間の脳を模倣する人工ニューラルネットワークVISIONを提案する。
VISIONは、人間の血行動態の反応をfMRIボクセル値として、最先端の性能を超える精度で45%の精度で予測することに成功した。
論文 参考訳(メタデータ) (2023-09-26T15:38:26Z) - Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain
Activities [31.448924808940284]
2相fMRI表現学習フレームワークを提案する。
第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。
第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
論文 参考訳(メタデータ) (2023-05-26T19:16:23Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳(メタデータ) (2023-03-26T14:14:58Z) - Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文 参考訳(メタデータ) (2021-12-02T12:45:46Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳(メタデータ) (2021-07-08T17:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。