論文の概要: Neuro-3D: Towards 3D Visual Decoding from EEG Signals

• arxiv url: http://arxiv.org/abs/2411.12248v1
• Date: Tue, 19 Nov 2024 05:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:36:41.460133
• Title: Neuro-3D: Towards 3D Visual Decoding from EEG Signals
• Title（参考訳）: Neuro-3D:脳波信号からの3次元視覚デコーディングを目指して
• Authors: Zhanqiang Guo, Jiamin Wu, Yonghao Song, Weijian Mai, Qihao Zheng, Wanli Ouyang, Chunfeng Song,
• Abstract要約: 脳波信号から3次元視覚知覚を復号する新しい神経科学タスクを導入する。 まず、ビデオと画像の両方でレンダリングされた72の3Dオブジェクトのカテゴリを閲覧する12人の被験者から、マルチモーダル分析データと脳波記録を含むデータセットであるEEG-3Dを提示する。 脳波信号に基づく3次元視覚デコーディングフレームワークNeuro-3Dを提案する。
• 参考スコア（独自算出の注目度）: 51.634441784105505
• License:
• Abstract: Human's perception of the visual world is shaped by the stereo processing of 3D information. Understanding how the brain perceives and processes 3D visual stimuli in the real world has been a longstanding endeavor in neuroscience. Towards this goal, we introduce a new neuroscience task: decoding 3D visual perception from EEG signals, a neuroimaging technique that enables real-time monitoring of neural dynamics enriched with complex visual cues. To provide the essential benchmark, we first present EEG-3D, a pioneering dataset featuring multimodal analysis data and extensive EEG recordings from 12 subjects viewing 72 categories of 3D objects rendered in both videos and images. Furthermore, we propose Neuro-3D, a 3D visual decoding framework based on EEG signals. This framework adaptively integrates EEG features derived from static and dynamic stimuli to learn complementary and robust neural representations, which are subsequently utilized to recover both the shape and color of 3D objects through the proposed diffusion-based colored point cloud decoder. To the best of our knowledge, we are the first to explore EEG-based 3D visual decoding. Experiments indicate that Neuro-3D not only reconstructs colored 3D objects with high fidelity, but also learns effective neural representations that enable insightful brain region analysis. The dataset and associated code will be made publicly available.
• Abstract（参考訳）: 人間の視覚世界に対する認識は、3D情報のステレオ処理によって形成される。 脳が現実世界でどのように3D視覚刺激を知覚し、処理するかを理解することは、神経科学における長年の取り組みである。 この目標に向けて,脳波信号からの3次元視覚知覚をデコードする,複雑な視覚的手がかりに富んだ神経力学のリアルタイムモニタリングを可能にする,ニューロイメージング技術を導入する。 そこで本研究では,ビデオと画像の両方でレンダリングされた72種類の3Dオブジェクトを視聴する12人の被験者から,マルチモーダル分析データと広範囲な脳波記録を備えた先駆的データセットであるEEG-3Dを提案する。 さらに,脳波信号に基づく3次元視覚デコーディングフレームワークであるNeuro-3Dを提案する。 このフレームワークは、静的および動的刺激に由来する脳波の特徴を適応的に統合し、相補的および堅牢な神経表現を学習し、その後、提案した拡散ベースのカラーポイントクラウドデコーダを通して3Dオブジェクトの形状と色の両方を復元する。 我々の知る限りでは、我々は脳波に基づく3次元視覚デコーディングを初めて探求している。 実験により、Neuro-3Dは高忠実度で色のついた3Dオブジェクトを再構築するだけでなく、洞察に富んだ脳領域分析を可能にする効果的な神経表現も学習することが示された。 データセットと関連するコードは一般公開される予定だ。

関連論文リスト

• EEG-Driven 3D Object Reconstruction with Style Consistency and Diffusion Prior [1.7205106391379026]
  本稿では,脳波を用いた3次元オブジェクト再構成手法を提案する。 実験により,この手法は脳波データを効果的に利用して3次元オブジェクトをスタイル整合性で再構築できることが実証された。
  論文  参考訳（メタデータ） (2024-10-28T12:59:24Z)
• fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction [50.534007259536715]
  我々は15人の参加者のデータを含むfMRI-3Dデータセットを提示し、合計4768個の3Dオブジェクトを展示する。 我々は,fMRI信号から3次元視覚情報を復号化するための新しいフレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2024-09-17T16:13:59Z)
• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
  Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。 このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。 我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:21:36Z)
• TouchSDF: A DeepSDF Approach for 3D Shape Reconstruction using Vision-Based Tactile Sensing [29.691786688595762]
  人間は視覚と触覚に頼り、身体環境の総合的な3D理解を開発する。 触覚3次元形状再構成のための深層学習手法であるTouchSDFを提案する。 本手法は,(1)触覚画像をタッチ位置の局所メッシュにマッピングする畳み込みニューラルネットワーク,(2)署名された距離関数を予測して所望の3次元形状を抽出する暗黙的ニューラルネットワークの2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-11-21T13:43:06Z)
• Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals [27.92796103924193]
  脳波信号から視覚刺激像を再構成するための包括的パイプラインNeuroImagenを提案する。 我々は、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込んだ。
  論文  参考訳（メタデータ） (2023-07-27T12:54:16Z)
• Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
  人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。 3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。 1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
  論文  参考訳（メタデータ） (2021-07-20T15:56:52Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。