論文の概要: Neural 3D Scene Reconstruction from Multiple 2D Images without 3D Supervision

• arxiv url: http://arxiv.org/abs/2306.17643v3
• Date: Tue, 4 Jul 2023 03:54:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 10:52:22.281067
• Title: Neural 3D Scene Reconstruction from Multiple 2D Images without 3D Supervision
• Title（参考訳）: 3次元スーパービジョンのない複数2次元画像からのニューラル3次元シーン再構成
• Authors: Yi Guo, Che Sun, Yunde Jia, and Yuwei Wu
• Abstract要約: 平面制約下でのスパース深度を用いてシーンを3次元の監督なしに再構成する新しいニューラル再構成法を提案する。 シーンを表すために,符号付き距離関数場,色場,確率場を導入する。 我々は、これらのフィールドを最適化し、2D画像で識別可能な光線マーキングを監督することでシーンを再構築する。
• 参考スコア（独自算出の注目度）: 41.20504333318276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural 3D scene reconstruction methods have achieved impressive performance when reconstructing complex geometry and low-textured regions in indoor scenes. However, these methods heavily rely on 3D data which is costly and time-consuming to obtain in real world. In this paper, we propose a novel neural reconstruction method that reconstructs scenes using sparse depth under the plane constraints without 3D supervision. We introduce a signed distance function field, a color field, and a probability field to represent a scene. We optimize these fields to reconstruct the scene by using differentiable ray marching with accessible 2D images as supervision. We improve the reconstruction quality of complex geometry scene regions with sparse depth obtained by using the geometric constraints. The geometric constraints project 3D points on the surface to similar-looking regions with similar features in different 2D images. We impose the plane constraints to make large planes parallel or vertical to the indoor floor. Both two constraints help reconstruct accurate and smooth geometry structures of the scene. Without 3D supervision, our method achieves competitive performance compared with existing methods that use 3D supervision on the ScanNet dataset.
• Abstract（参考訳）: 室内シーンにおける複雑な形状と低テクスチャ領域の再構成において,ニューラル3次元シーン再構成法は印象的な性能を達成した。 しかし,これらの手法は,リアルタイムの取得に要する費用と時間を要する3Dデータに大きく依存している。 本稿では,平面制約下でのスパース深度を用いてシーンを3次元監督せずに再構成するニューラル再構成手法を提案する。 シーンを表現するために,符号付き距離関数フィールド,色フィールド,確率フィールドを導入する。 我々は、これらのフィールドを最適化し、2D画像で識別可能な光線マーキングを監督することでシーンを再構築する。 幾何的制約により得られた深さの少ない複雑な幾何シーン領域の再構成品質を向上させる。 幾何学的制約プロジェクト3Dは、異なる2D画像に類似した特徴を持つ類似した外観の領域に表面を向ける。 我々は平面制約を課し、屋内の床に平行あるいは垂直に大きな平面を作る。 2つの制約は、シーンの正確で滑らかな幾何学構造を再構築するのに役立つ。 提案手法は,ScanNetデータセット上で3次元監視を行う既存手法と比較して,競争性能が向上する。

関連論文リスト

• Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting [75.7154104065613]
  本稿では,3次元融合過程を学習するために,教師の蒸留と自己学習によって訓練された新しい深度補完モデルを提案する。 また,地上の真理幾何に基づくシーン生成手法のベンチマーク手法も導入した。
  論文  参考訳（メタデータ） (2024-04-30T17:59:40Z)
• Behind the Veil: Enhanced Indoor 3D Scene Reconstruction with Occluded Surfaces Completion [15.444301186927142]
  そこで本研究では,室内の3次元再構成法について述べる。 本手法は,閉鎖されたシーン表面を仕上げる作業に取り組み,完全な3次元シーンメッシュを実現する。 提案手法を3D完全ルームシーン(3D-CRS)とiTHORデータセットで評価した。
  論文  参考訳（メタデータ） (2024-04-03T21:18:27Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• Learning 3D Scene Priors with 2D Supervision [37.79852635415233]
  本研究では,3次元の地平を必要とせず,レイアウトや形状の3次元シーンを学習するための新しい手法を提案する。 提案手法は, 3次元シーンを潜在ベクトルとして表現し, クラスカテゴリを特徴とするオブジェクト列に段階的に復号化することができる。 3D-FRONT と ScanNet による実験により,本手法は単一視点再構成における技術状況よりも優れていた。
  論文  参考訳（メタデータ） (2022-11-25T15:03:32Z)
• SimpleRecon: 3D Reconstruction Without 3D Convolutions [21.952478592241]
  本稿では,高品質なマルチビュー深度予測に焦点をあてることによって,単純なオフザシェルフ深度融合による高精度な3次元再構成を実現することを示す。 提案手法は,ScanNetと7シーンの3次元再構成において,深度推定と近接的あるいは良好な3次元再構成のための最先端技術に対する大きなリードを達成している。
  論文  参考訳（メタデータ） (2022-08-31T09:46:34Z)
• DM-NeRF: 3D Scene Geometry Decomposition and Manipulation from 2D Images [15.712721653893636]
  DM-NeRFは、1つのパイプラインで複雑な3Dシーンを同時に再構築、分解、操作、レンダリングする最初のものである。 提案手法は,3次元オブジェクトを2次元ビューから正確に分解し,任意のオブジェクトを3次元空間で自由に操作することができる。
  論文  参考訳（メタデータ） (2022-08-15T14:32:10Z)
• Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
  本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。 平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。 提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)
• 3D-Aware Indoor Scene Synthesis with Depth Priors [62.82867334012399]
  既存の手法では、室内配置や内部の物体の多様さのため、屋内シーンのモデル化に失敗する。 室内のシーンは共通な内在構造を持たず、2次元画像のみを用いるだけでは3次元形状のモデルが適切にガイドできない。
  論文  参考訳（メタデータ） (2022-02-17T09:54:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。