論文の概要: fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2409.11315v1
• Date: Tue, 17 Sep 2024 16:13:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 15:47:40.988809
• Title: fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction
• Title（参考訳）: fMRI-3D:fMRIに基づく3次元再構成の総合的データセット
• Authors: Jianxiong Gao, Yuqian Fu, Yun Wang, Xuelin Qian, Jianfeng Feng, Yanwei Fu,
• Abstract要約: 我々は15人の参加者のデータを含むfMRI-3Dデータセットを提示し、合計4768個の3Dオブジェクトを展示する。 我々は,fMRI信号から3次元視覚情報を復号化するための新しいフレームワークMinD-3Dを提案する。
• 参考スコア（独自算出の注目度）: 50.534007259536715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing 3D visuals from functional Magnetic Resonance Imaging (fMRI) data, introduced as Recon3DMind in our conference work, is of significant interest to both cognitive neuroscience and computer vision. To advance this task, we present the fMRI-3D dataset, which includes data from 15 participants and showcases a total of 4768 3D objects. The dataset comprises two components: fMRI-Shape, previously introduced and accessible at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape, and fMRI-Objaverse, proposed in this paper and available at https://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverse. fMRI-Objaverse includes data from 5 subjects, 4 of whom are also part of the Core set in fMRI-Shape, with each subject viewing 3142 3D objects across 117 categories, all accompanied by text captions. This significantly enhances the diversity and potential applications of the dataset. Additionally, we propose MinD-3D, a novel framework designed to decode 3D visual information from fMRI signals. The framework first extracts and aggregates features from fMRI data using a neuro-fusion encoder, then employs a feature-bridge diffusion model to generate visual features, and finally reconstructs the 3D object using a generative transformer decoder. We establish new benchmarks by designing metrics at both semantic and structural levels to evaluate model performance. Furthermore, we assess our model's effectiveness in an Out-of-Distribution setting and analyze the attribution of the extracted features and the visual ROIs in fMRI signals. Our experiments demonstrate that MinD-3D not only reconstructs 3D objects with high semantic and spatial accuracy but also deepens our understanding of how human brain processes 3D visual information. Project page at: https://jianxgao.github.io/MinD-3D.
• Abstract（参考訳）: Recon3DMindとして紹介された機能的磁気共鳴イメージング(fMRI)データからの3次元視覚の再構成は、認知神経科学とコンピュータビジョンの両方において重要な関心事である。 この課題を進めるために、15人の参加者のデータを含むfMRI-3Dデータセットを提示し、合計4768個の3Dオブジェクトを提示する。 fMRI-Shapeはhttps://huggingface.co/datasets/Fudan-fMRI/fMRI-Shapeで、fMRI-Objaverseではhttps://huggingface.co/datasets/Fudan-fMRI/fMRI-Objaverseで利用可能である。 fMRI-Objaverseには、5人の被験者のデータが含まれており、そのうち4人はfMRI-Shapeのコアセットの一部であり、各被験者は117のカテゴリで3142個の3Dオブジェクトを閲覧し、それぞれにテキストキャプションを添付している。 これにより、データセットの多様性と潜在的な応用が大幅に向上する。 さらに,fMRI信号から3次元視覚情報を復号化するための新しいフレームワークMinD-3Dを提案する。 このフレームワークは、まず神経融合エンコーダを用いてfMRIデータから特徴を抽出、集約し、次に特徴橋拡散モデルを用いて視覚的特徴を生成し、最終的に生成変換器デコーダを用いて3Dオブジェクトを再構成する。 モデルの性能を評価するために、セマンティックレベルと構造レベルの両方でメトリクスを設計することで、新しいベンチマークを構築します。 さらに,fMRI信号における抽出した特徴と視覚的ROIの属性について,アウト・オブ・ディストリビューション・セッティングにおけるモデルの有効性を評価した。 我々の実験は、MinD-3Dが意味的・空間的精度の高い3Dオブジェクトを再構築するだけでなく、人間の脳が3D視覚情報をどのように処理するかの理解を深めることを示した。 プロジェクトページ: https://jianxgao.github.io/MinD-3D。

関連論文リスト

• Looking through the mind's eye via multimodal encoder-decoder networks [7.949204393111349]
  本研究では,fMRIによる被験者の心像の復号化について検討する。 被験者が視聴した映像と視覚画像から得られたfMRI信号のマッピングを作成する。 我々は5つの被験者のデータからなる既存のfMRIデータセットを強化し、我々のチームによって収集された3つの被験者の録音を含むようにした。
  論文  参考訳（メタデータ） (2024-09-27T20:48:03Z)
• Implicit-Zoo: A Large-Scale Dataset of Neural Implicit Functions for 2D Images and 3D Scenes [65.22070581594426]
  Implicit-Zoo"は、この分野の研究と開発を容易にするために、数千のGPUトレーニング日を必要とする大規模なデータセットである。 1)トランスモデルのトークン位置を学習すること、(2)NeRFモデルに関して直接3Dカメラが2D画像のポーズを取ること、である。 これにより、画像分類、セマンティックセグメンテーション、および3次元ポーズ回帰の3つのタスクすべてのパフォーマンスが向上し、研究のための新たな道が開けることになる。
  論文  参考訳（メタデータ） (2024-06-25T10:20:44Z)
• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
  モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。 本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-04-15T03:12:12Z)
• Generative Enhancement for 3D Medical Images [74.17066529847546]
  本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。 本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。 3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-03-19T15:57:04Z)
• MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
  Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。 このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。 我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:21:36Z)
• A Hybrid 3DCNN and 3DC-LSTM based model for 4D Spatio-temporal fMRI data: An ABIDE Autism Classification study [0.0]
  本稿では,3次元CNNと3次元磁気LSTMを用いて,全4次元データから特徴を抽出できるエンドツーエンドアルゴリズムを提案する。 提案手法は,NYUサイトとUMサイトにおいて,F1スコア0.78,0.7の単一サイトにおいて,技術結果の状態を達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-14T11:52:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。