論文の概要: EEG-Driven 3D Object Reconstruction with Color Consistency and Diffusion Prior

• arxiv url: http://arxiv.org/abs/2410.20981v2
• Date: Tue, 29 Oct 2024 13:11:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:42:14.648615
• Title: EEG-Driven 3D Object Reconstruction with Color Consistency and Diffusion Prior
• Title（参考訳）: 脳波駆動型3次元物体再構成 : 色一貫性と拡散前
• Authors: Xin Xiang, Wenhui Zhou, Guojun Dai,
• Abstract要約: 脳波信号に基づくカラー一貫性で3Dオブジェクトを再構成する手法を提案する。 脳波を用いて3Dオブジェクトを色の整合性で再構成できることを実証した。
• 参考スコア（独自算出の注目度）: 1.7205106391379026
• License:
• Abstract: EEG-based visual perception reconstruction has become a current research hotspot. Neuroscientific studies have shown that humans can perceive various types of visual information, such as color, shape, and texture, when observing objects. However, existing technical methods often face issues such as inconsistencies in texture, shape, and color between the visual stimulus images and the reconstructed images. In this paper, we propose a method for reconstructing 3D objects with color consistency based on EEG signals. The method adopts a two-stage strategy: in the first stage, we train an implicit neural EEG encoder with the capability of perceiving 3D objects, enabling it to capture regional semantic features; in the second stage, based on the latent EEG codes obtained in the first stage, we integrate a diffusion model, neural style loss, and NeRF to implicitly decode the 3D objects. Finally, through experimental validation, we demonstrate that our method can reconstruct 3D objects with color consistency using EEG.
• Abstract（参考訳）: 脳波に基づく視覚認識の再構築は、現在研究ホットスポットとなっている。 神経科学的研究により、人間が物体を観察する際に色、形、テクスチャなどの様々な視覚情報を知覚できることが示されている。 しかし、既存の技術手法では、視覚刺激画像と再構成画像との間のテクスチャ、形状、色の不整合などの問題に直面することが多い。 本稿では,脳波信号に基づくカラー一貫性を持つ3Dオブジェクトの再構成手法を提案する。 第1段階では、3Dオブジェクトを認識可能な暗黙の脳波エンコーダをトレーニングし、第2段階では、第1段階で得られた潜在脳波コードに基づいて、3Dオブジェクトを暗黙的に復号するために拡散モデル、ニューラルスタイル損失、NeRFを統合する。 最後に,実験による検証により,脳波を用いて3次元オブジェクトを色の整合性で再構成できることを実証した。

関連論文リスト

• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
  Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。 このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。 我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:21:36Z)
• TouchSDF: A DeepSDF Approach for 3D Shape Reconstruction using Vision-Based Tactile Sensing [29.691786688595762]
  人間は視覚と触覚に頼り、身体環境の総合的な3D理解を開発する。 触覚3次元形状再構成のための深層学習手法であるTouchSDFを提案する。 本手法は,(1)触覚画像をタッチ位置の局所メッシュにマッピングする畳み込みニューラルネットワーク,(2)署名された距離関数を予測して所望の3次元形状を抽出する暗黙的ニューラルネットワークの2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-11-21T13:43:06Z)
• Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
  本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。 ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。 本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-10-25T10:26:07Z)
• Farm3D: Learning Articulated 3D Animals by Distilling 2D Diffusion [67.71624118802411]
  本稿では,カテゴリー固有の3D再構成器の学習方法であるFarm3Dについて述べる。 本稿では,Stable Diffusion などの画像生成装置を用いて,合成学習データを生成するフレームワークを提案する。 我々のネットワークは、単分子再構成や合成などの分析に利用でき、ビデオゲームのようなリアルタイムアプリケーションのための音響資産を生成することができる。
  論文  参考訳（メタデータ） (2023-04-20T17:59:34Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)
• Photorealistic Monocular 3D Reconstruction of Humans Wearing Clothing [41.34640834483265]
  我々は,単眼のRGB画像のみを付加したフォトリアリスティックな3次元人体再構成のための,新しいエンドツーエンドトレーニング可能なディープニューラルネットワーク手法PHORHUMを提案する。 我々の画素アライメント法は,3次元形状を詳細に推定し,非整形表面色とシーン照明を併用した。
  論文  参考訳（メタデータ） (2022-04-19T14:06:16Z)
• Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
  本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。 我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。 深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
  論文  参考訳（メタデータ） (2021-08-10T12:19:34Z)
• Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
  人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。 3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。 1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
  論文  参考訳（メタデータ） (2021-07-20T15:56:52Z)
• Active stereo vision three-dimensional reconstruction by RGB dot pattern projection and ray intersection [11.878820609988695]
  本稿では,新しい構造光パターンに基づく新しいパターン抽出法と新しい立体視マッチング法を提案する。 実験結果から, 提案手法により, 物体の3次元形状を再現できることがわかった。
  論文  参考訳（メタデータ） (2020-03-30T10:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。