論文の概要: Generalizable 3D Scene Reconstruction via Divide and Conquer from a Single View

• arxiv url: http://arxiv.org/abs/2404.03421v1
• Date: Thu, 4 Apr 2024 12:58:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 14:51:30.495901
• Title: Generalizable 3D Scene Reconstruction via Divide and Conquer from a Single View
• Title（参考訳）: 単一視点からの分割とコンカーによる3次元シーンの汎用化
• Authors: Andreea Dogaru, Mert Özer, Bernhard Egger,
• Abstract要約: シングルビュー3D再構成は現在、2つの主要な視点からアプローチされている。 分割・分散戦略に従うハイブリッド手法を提案する。 まず、深度と意味情報を抽出し、そのシーンを全体的に処理する。 次に、個々のコンポーネントの詳細な再構築に単発オブジェクトレベル手法を利用する。
• 参考スコア（独自算出の注目度）: 5.222115919729418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Single-view 3D reconstruction is currently approached from two dominant perspectives: reconstruction of scenes with limited diversity using 3D data supervision or reconstruction of diverse singular objects using large image priors. However, real-world scenarios are far more complex and exceed the capabilities of these methods. We therefore propose a hybrid method following a divide-and-conquer strategy. We first process the scene holistically, extracting depth and semantic information, and then leverage a single-shot object-level method for the detailed reconstruction of individual components. By following a compositional processing approach, the overall framework achieves full reconstruction of complex 3D scenes from a single image. We purposely design our pipeline to be highly modular by carefully integrating specific procedures for each processing step, without requiring an end-to-end training of the whole system. This enables the pipeline to naturally improve as future methods can replace the individual modules. We demonstrate the reconstruction performance of our approach on both synthetic and real-world scenes, comparing favorable against prior works. Project page: https://andreeadogaru.github.io/Gen3DSR.
• Abstract（参考訳）: 単一視点の3D再構成は2つの主要な視点からアプローチされている: 3次元データ監督を用いた限られた多様性を持つシーンの再構成、または大きな画像先行による多様な特異物体の再構成である。 しかし、現実世界のシナリオはより複雑で、これらの手法の能力を超えています。 そこで本研究では,分割・分散戦略に基づくハイブリッド手法を提案する。 まず、シーンを全体的に処理し、深度と意味情報を抽出し、その後、個々のコンポーネントの詳細な再構築に単発のオブジェクトレベル手法を活用する。 合成処理アプローチに従えば,複雑な3Dシーンを1枚の画像から完全に再構築することが可能になる。 システム全体のエンドツーエンドのトレーニングを必要とせず、各処理ステップの特定の手順を慎重に統合することで、パイプラインを高度にモジュール化するように設計する。 これにより、将来のメソッドが個々のモジュールを置き換えることができるため、パイプラインは自然に改善される。 提案手法の再現性能を,先行作品と比較して,合成シーンと実世界のシーンの両方で実証する。 プロジェクトページ: https://andreeadogaru.github.io/Gen3DSR

関連論文リスト

• EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild [79.71523320368388]
  本研究の目的は,手動物体のインタラクションを単一視点画像から再構築することである。 まず、手ポーズとオブジェクト形状を推定する新しいパイプラインを設計する。 最初の再構築では、事前に誘導された最適化方式を採用する。
  論文  参考訳（メタデータ） (2024-11-21T16:33:35Z)
• REPARO: Compositional 3D Assets Generation with Differentiable 3D Layout Alignment [23.733856513456]
  単一画像からの合成3Dアセット生成のための新しいアプローチであるREPAROを提案する。 まず、シーンから個々のオブジェクトを抽出し、オフザシェルフ画像から3Dモデルを使用して、それらの3Dメッシュを再構築する。 次に、異なるレンダリング技術によってこれらのメッシュのレイアウトを最適化し、コヒーレントなシーン構成を保証する。
  論文  参考訳（メタデータ） (2024-05-28T18:45:10Z)
• Part123: Part-aware 3D Reconstruction from a Single-view Image [54.589723979757515]
  Part123は、一視点画像から部分認識された3D再構成のための新しいフレームワークである。 ニューラルレンダリングフレームワークにコントラスト学習を導入し、部分認識機能空間を学習する。 クラスタリングに基づくアルゴリズムも開発され、再構成されたモデルから3次元部分分割結果を自動的に導出する。
  論文  参考訳（メタデータ） (2024-05-27T07:10:21Z)
• Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
  人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。 提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。 提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
  論文  参考訳（メタデータ） (2024-03-28T11:12:33Z)
• 3DFIRES: Few Image 3D REconstruction for Scenes with Hidden Surface [8.824340350342512]
  3DFIRESは、ポーズ画像からシーンレベルの3D再構成を行う新しいシステムである。 単一視点再構成法の有効性を1つの入力で示す。
  論文  参考訳（メタデータ） (2024-03-13T17:59:50Z)
• TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering [54.35405028643051]
  スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。 提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。 我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
  論文  参考訳（メタデータ） (2023-03-27T10:07:52Z)
• VoRTX: Volumetric 3D Reconstruction With Transformers for Voxelwise View Selection and Fusion [68.68537312256144]
  VoRTXは、多視点機能融合のためのトランスフォーマーを用いた、エンドツーエンドのボリューム3D再構成ネットワークである。 我々は、ScanNet上でモデルをトレーニングし、最先端の手法よりも優れた再構築を実現することを示す。
  論文  参考訳（メタデータ） (2021-12-01T02:18:11Z)
• Deep3DPose: Realtime Reconstruction of Arbitrarily Posed Human Bodies from Single RGB Images [5.775625085664381]
  本研究では,3次元人間のポーズを正確に再構築し,単一画像から詳細な3次元フルボディ幾何モデルをリアルタイムに構築する手法を提案する。 このアプローチの鍵となるアイデアは、単一のイメージを使用して5つの出力を同時に予測する、新しいエンドツーエンドのマルチタスクディープラーニングフレームワークである。 本研究では,3次元人体フロンティアを進化させ,定量的評価と最先端手法との比較により,単一画像からの再構築を図っている。
  論文  参考訳（メタデータ） (2021-06-22T04:26:11Z)
• Reconstructing Small 3D Objects in front of a Textured Background [0.0]
  テクスチャ化された背景の前を移動する小さな物体の完全な3次元再構成手法を提案する。 これは運動から多体構造の特定のバリエーションであり、2つの物体のみに特化している。 実物を用いた実験では, 両面から3次元オブジェクトを再構成する際に, 現実的な利点があることが示されている。
  論文  参考訳（メタデータ） (2021-05-24T15:36:33Z)
• A Divide et Impera Approach for 3D Shape Reconstruction from Multiple Views [49.03830902235915]
  物体の3次元形状を1つまたは複数の画像から推定することは、最近のディープラーニングによるブレークスルーによって人気を集めている。 本稿では,与えられた視点からの可視情報を統合することで,視点変化の再構築に頼ることを提案する。 提案手法を検証するために,相対的なポーズ推定と3次元形状再構成の観点から,ShapeNet参照ベンチマークの総合評価を行った。
  論文  参考訳（メタデータ） (2020-11-17T09:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。