論文の概要: Neural 3D Scene Reconstruction from Multi-view Images without 3D Supervision

• arxiv url: http://arxiv.org/abs/2306.17643v2
• Date: Mon, 3 Jul 2023 09:53:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-04 10:17:09.685835
• Title: Neural 3D Scene Reconstruction from Multi-view Images without 3D Supervision
• Title（参考訳）: 3次元監視を伴わない多視点画像からのニューラル3次元シーン再構成
• Authors: Yi Guo, Che Sun, Yunde Jia, and Yuwei Wu
• Abstract要約: 本研究では,3次元の監督なしにシーンを再構築するニューラル再構成手法を提案する。 我々は、アクセス可能な2Dイメージを監督として利用して、シーン再構築のための可変ボリュームレンダリングを行う。 具体的には、シーンを表現するための符号付き距離関数(SDF)フィールド、カラーフィールド、確率フィールドを導入し、そのシーンを再構成するために、異なる光線マーキングの下でのフィールドを最適化する。
• 参考スコア（独自算出の注目度）: 41.20504333318276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural scene reconstruction methods have achieved impressive performance in reconstructing complex geometry and low-textured regions in large scenes. However, these methods heavily rely on 3D supervised information which is costly and time-consuming to obtain in the real world. In this paper, we propose a novel neural reconstruction method that reconstructs scenes without 3D supervision. We perform differentiable volume rendering for scene reconstruction by using accessible 2D images as supervision. We impose geometry to improve the reconstruction quality of complex geometry regions in the scenes, and impose plane constraints to improve the reconstruction quality of low-textured regions in the scenes. Specifically, we introduce a signed distance function (SDF) field, a color field, and a probability field to represent the scene, and optimize the fields under the differentiable ray marching to reconstruct the scene. Besides, we impose geometric constraints that project 3D points on the surface to similar-looking regions with similar features in different views. We also impose plane constraints to make large planes keep parallel or vertical to the wall or floor. These two constraints help to reconstruct accurate and smooth geometry structures of the scene. Without 3D supervision information, our method achieves competitive reconstruction compared with some existing methods that use 3D information as supervision on the ScanNet dataset.
• Abstract（参考訳）: ニューラルシーン再構成法は,大規模シーンにおける複雑な形状と低テクスチャ領域の再構成において,優れた性能を達成している。 しかし,これらの手法は実世界での入手に要するコストと時間を要する3次元教師付き情報に大きく依存している。 本稿では,3次元の監督なしにシーンを再構築するニューラル再構成手法を提案する。 本研究では,2次元画像へのアクセスを監督として,シーン復元のための微分可能なボリュームレンダリングを行う。 我々は,シーン内の複雑な幾何学領域の再構成品質を向上させるために幾何学を課し,シーンの低テクスチャ領域の復元品質を改善するために平面制約を課す。 具体的には、シーンを表す符号付き距離関数(sdf)フィールド、色フィールド、確率フィールドを導入し、微分可能なレイマーチングの下でフィールドを最適化してシーンを再構築する。 さらに、異なる視点で類似した特徴を持つ類似した領域に対して、表面上の3Dポイントを投影する幾何学的制約を課す。 また、大きな平面を壁や床に平行または垂直に保つために、平面制約を課します。 これら2つの制約は、シーンの正確で滑らかな幾何学構造を再構築するのに役立ちます。 ScanNetデータセットの監視として3D情報を利用する既存手法と比較して,3Dの監視情報がなければ競争力のある再構築を実現する。

関連論文リスト

• Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting [75.7154104065613]
  本稿では,3次元融合過程を学習するために,教師の蒸留と自己学習によって訓練された新しい深度補完モデルを提案する。 また,地上の真理幾何に基づくシーン生成手法のベンチマーク手法も導入した。
  論文  参考訳（メタデータ） (2024-04-30T17:59:40Z)
• Behind the Veil: Enhanced Indoor 3D Scene Reconstruction with Occluded Surfaces Completion [15.444301186927142]
  そこで本研究では,室内の3次元再構成法について述べる。 本手法は,閉鎖されたシーン表面を仕上げる作業に取り組み,完全な3次元シーンメッシュを実現する。 提案手法を3D完全ルームシーン(3D-CRS)とiTHORデータセットで評価した。
  論文  参考訳（メタデータ） (2024-04-03T21:18:27Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• Learning 3D Scene Priors with 2D Supervision [37.79852635415233]
  本研究では,3次元の地平を必要とせず,レイアウトや形状の3次元シーンを学習するための新しい手法を提案する。 提案手法は, 3次元シーンを潜在ベクトルとして表現し, クラスカテゴリを特徴とするオブジェクト列に段階的に復号化することができる。 3D-FRONT と ScanNet による実験により,本手法は単一視点再構成における技術状況よりも優れていた。
  論文  参考訳（メタデータ） (2022-11-25T15:03:32Z)
• SimpleRecon: 3D Reconstruction Without 3D Convolutions [21.952478592241]
  本稿では,高品質なマルチビュー深度予測に焦点をあてることによって,単純なオフザシェルフ深度融合による高精度な3次元再構成を実現することを示す。 提案手法は,ScanNetと7シーンの3次元再構成において,深度推定と近接的あるいは良好な3次元再構成のための最先端技術に対する大きなリードを達成している。
  論文  参考訳（メタデータ） (2022-08-31T09:46:34Z)
• DM-NeRF: 3D Scene Geometry Decomposition and Manipulation from 2D Images [15.712721653893636]
  DM-NeRFは、1つのパイプラインで複雑な3Dシーンを同時に再構築、分解、操作、レンダリングする最初のものである。 提案手法は,3次元オブジェクトを2次元ビューから正確に分解し,任意のオブジェクトを3次元空間で自由に操作することができる。
  論文  参考訳（メタデータ） (2022-08-15T14:32:10Z)
• Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
  本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。 平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。 提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)
• 3D-Aware Indoor Scene Synthesis with Depth Priors [62.82867334012399]
  既存の手法では、室内配置や内部の物体の多様さのため、屋内シーンのモデル化に失敗する。 室内のシーンは共通な内在構造を持たず、2次元画像のみを用いるだけでは3次元形状のモデルが適切にガイドできない。
  論文  参考訳（メタデータ） (2022-02-17T09:54:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。