論文の概要: DRAFT: Decoding and Reconstructing 3D Room Layouts from fMRI and Camera Trajectories

• arxiv url: http://arxiv.org/abs/2610.31108v1
• Date: Thu, 22 Oct 2026 11:17:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.335053
• Title: DRAFT: Decoding and Reconstructing 3D Room Layouts from fMRI and Camera Trajectories
• Title（参考訳）: DRAFT:fMRIとカメラ軌道からの3Dルームレイアウトの復号と再構成
• Abstract要約: 本稿では,室内歩行を観戦する参加者のカメラ軌跡とfMRI信号のみを用いて,ホールドアウトシーンの3次元レイアウトを再構築する作業について紹介する。 我々の手法であるDRAFTは、初期視覚野からコンパクトなレイアウト表現を抽出し、このニューラルネットワークをカメラモーションから導出される幾何学的自由空間と融合させる。 10のホールドアウトシーン(20人)では、DRAFTは0.480のレイアウトrに達し、カメラパス(0.446)と7つのfMRIデコーダ(ほとんどの0.429)に勝っている。
• 参考スコア（独自算出の注目度）: 11.139982279712171
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While functional magnetic resonance imaging (fMRI) decoders reconstruct images and 3D objects, recovering the metric geometry of rooms from a moving viewpoint remains an open challenge. We introduce, to our knowledge for the first time, the task of reconstructing 3D layouts of held-out scenes using only the known camera trajectories and the fMRI signals of participants watching indoor walkthroughs, without any visual frames. The task is hard because of the temporal mismatch between rapid visual changes and blurred fMRI signals. Our method, DRAFT (Decoding and Reconstructing 3D room lAyouts from fMRI and Trajectories), extracts a compact layout representation from the early visual cortex and fuses this neural code with the geometric free space derived from camera motion. To evaluate it, we propose layout r, the Pearson correlation between predicted and ray-cast log depths. On ten held-out scenes (20 participants), DRAFT reaches a layout r of 0.480, outperforming the camera path alone (0.446) and seven fMRI decoders (at most 0.429). DRAFT also works as a plug-in that improves all seven decoders without retraining, raising their layout r from 0.171-0.429 to 0.487-0.493. Brain activity and camera motion can thus recover the metric layout of unseen rooms, a first step toward reconstructing the 3D spaces people see.
• Abstract（参考訳）: 機能的磁気共鳴イメージング(fMRI)デコーダは画像や3次元オブジェクトを再構成するが、移動の観点から部屋のメートル法を復元することは未解決の課題である。 視覚的フレームのない屋内歩行を観戦する参加者の既知のカメラ軌跡とfMRI信号のみを用いて、3次元シーンの3次元レイアウトを再構築する作業について,私たちの知る限り,はじめて紹介する。 この作業は、高速な視覚変化とぼやけたfMRI信号の時間的ミスマッチのため困難である。 DRAFT (Decoding and Reconstructing 3D room lAyouts from fMRI and Trajectories) は、初期視覚野からコンパクトなレイアウト表現を抽出し、カメラモーションから得られる幾何学的自由空間と融合する。 そこで本研究では,予測値とレイキャストログ深さのピアソン相関式であるレイアウトrを提案する。 10のホールドアウトシーン(20人)では、DRAFTは0.480のレイアウトrに達し、カメラパス(0.446)と7つのfMRIデコーダ(最大0.429)に勝っている。 DRAFTはまた、7つのデコーダを再訓練せずに改善するプラグインとしても機能し、レイアウトrを0.171-0.429から0.487-0.493に引き上げた。 脳の活動とカメラの動きは、見えない部屋のメートル法的なレイアウトを回復し、人々が見ている3D空間を再構築する第一歩となる。

関連論文リスト

• FunRec: Reconstructing Functional 3D Scenes from Egocentric Interaction Videos [134.8812117202239]
  本稿では,エゴセントリックなRGB-Dインタラクションビデオから直接室内シーンの3次元ディジタル双対を再構成するFunRecを提案する。 本研究では,URDF/USDエクスポートのシミュレーション,手指のアベイランスマッピング,ロボットとシーンのインタラクションへの応用を実演する。
  論文  参考訳（メタデータ） (2026-04-07T09:22:12Z)
• MedTet: An Online Motion Model for 4D Heart Reconstruction [59.74234226055964]
  本研究は, 術後の軽度データから3次元心臓運動を再構築するための新しいアプローチを提案する。 既存の方法では、フル3次元の体積像から3次元の臓器のジオメトリーを正確に再構築することができる。 このような部分的データから3次元運動を再構築するための汎用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-03T17:18:33Z)
• MinD-3D++: Advancing fMRI-Based 3D Reconstruction with High-Quality Textured Mesh Generation and a Comprehensive Dataset [50.534007259536715]
  機能的磁気共鳴イメージング(fMRI)データから3次元視覚を再構成することは、認知神経科学とコンピュータビジョンにとって重要な関心事である。 我々は15人の参加者のデータを含むfMRI-3Dデータセットを提示し、合計4,768個の3Dオブジェクトを展示する。 テクスチャ化された3次元視覚情報をfMRI信号から復号する新しいフレームワークMinD-3D++を提案する。
  論文  参考訳（メタデータ） (2024-09-17T16:13:59Z)
• Head Pose Estimation and 3D Neural Surface Reconstruction via Monocular Camera in situ for Navigation and Safe Insertion into Natural Openings [4.592222359553848]
  我々は、ベースプラットフォームとして3Dスライダを選択し、センサーとしてモノクルカメラを使用しました。 神経放射場(NeRF)アルゴリズムを用いて頭部の3次元モデル再構成を行った。 個々の頭部ポーズは、シングルカメラビジョンによって取得され、リアルタイムで3Dスライダ内で生成されたシーンに送信される。
  論文  参考訳（メタデータ） (2024-06-18T20:42:09Z)
• MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
  Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。 このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。 我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。