論文の概要: Topologically-Aware Deformation Fields for Single-View 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2205.06267v1
• Date: Thu, 12 May 2022 17:59:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 12:20:43.121289
• Title: Topologically-Aware Deformation Fields for Single-View 3D Reconstruction
• Title（参考訳）: 単視点3次元再構成のためのトポロジカルアウェアな変形場
• Authors: Shivam Duggal, Deepak Pathak
• Abstract要約: 本稿では,非整合なカテゴリ固有の画像収集から3次元オブジェクト形状と密接なオブジェクト対応を学習するための新しいフレームワークを提案する。 3次元形状は、カテゴリー固有符号距離場への変形として暗黙的に生成される。 TARSと呼ばれる我々の手法は、いくつかのデータセット上で最先端の再構築忠実性を実現する。
• 参考スコア（独自算出の注目度）: 30.738926104317514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new framework for learning 3D object shapes and dense cross-object 3D correspondences from just an unaligned category-specific image collection. The 3D shapes are generated implicitly as deformations to a category-specific signed distance field and are learned in an unsupervised manner solely from unaligned image collections without any 3D supervision. Generally, image collections on the internet contain several intra-category geometric and topological variations, for example, different chairs can have different topologies, which makes the task of joint shape and correspondence estimation much more challenging. Because of this, prior works either focus on learning each 3D object shape individually without modeling cross-instance correspondences or perform joint shape and correspondence estimation on categories with minimal intra-category topological variations. We overcome these restrictions by learning a topologically-aware implicit deformation field that maps a 3D point in the object space to a higher dimensional point in the category-specific canonical space. At inference time, given a single image, we reconstruct the underlying 3D shape by first implicitly deforming each 3D point in the object space to the learned category-specific canonical space using the topologically-aware deformation field and then reconstructing the 3D shape as a canonical signed distance field. Both canonical shape and deformation field are learned end-to-end in an inverse-graphics fashion using a learned recurrent ray marcher (SRN) as a differentiable rendering module. Our approach, dubbed TARS, achieves state-of-the-art reconstruction fidelity on several datasets: ShapeNet, Pascal3D+, CUB, and Pix3D chairs. Result videos and code at https://shivamduggal4.github.io/tars-3D/
• Abstract（参考訳）: 本稿では,非整合なカテゴリ固有の画像収集から3次元オブジェクト形状と密接なオブジェクト対応を学習するための新しいフレームワークを提案する。 3D形状は、カテゴリ固有の符号付き距離場の変形として暗黙的に生成され、3Dの監督なしに、非整列画像コレクションからのみ教師なしの方法で学習される。 一般に、インターネット上の画像収集にはいくつかのカテゴリ内幾何学的およびトポロジー的なバリエーションが含まれており、異なる椅子は異なるトポロジーを持つことができるため、ジョイント形状と対応推定の作業はより困難になる。 このため、先行研究は、クロスインスタンス対応をモデル化することなく、各3次元オブジェクト形状を個別に学習することに集中するか、最小限のカテゴリー内トポロジ的変動を持つカテゴリで関節形状と対応性の推定を行う。 対象空間の3次元点を圏固有の標準空間の高次元点にマッピングするトポロジカルな暗黙変形場を学習することで、これらの制約を克服する。 まず, 対象空間内の各3次元点を, トポロジ的に認識された変形場を用いて学習したカテゴリ固有の標準空間に暗黙的に変形させ, そして, 標準符号距離場として3次元形状を再構成することにより, 基礎となる3次元形状を再構成する。 標準形状と変形場の両方を、学習されたリカレントレイマーチ(SRN)を微分可能なレンダリングモジュールとして、逆グラフィック方式で学習する。 TARSと呼ばれる我々のアプローチは、ShapeNet、Pascal3D+、CUB、Pix3Dといったいくつかのデータセット上で、最先端の再構築フィリティを実現する。 結果ビデオとコード: https://shivamduggal4.github.io/tars-3d/

関連論文リスト

• NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
  3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。 既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。 本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T04:09:34Z)
• 3D Surface Reconstruction in the Wild by Deforming Shape Priors from Synthetic Data [24.97027425606138]
  1枚の画像から被写体の3次元表面を再構築することは難しい問題である。 本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。 提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
  論文  参考訳（メタデータ） (2023-02-24T20:37:27Z)
• ConDor: Self-Supervised Canonicalization of 3D Pose for Partial Shapes [55.689763519293464]
  ConDorは、完全および部分的な3次元点雲の3次元配向と位置を正準化することを学ぶ自己教師型手法である。 推測中,本手法は任意のポーズで完全あるいは部分的な3次元点の雲を抽出し,同変正則のポーズを出力する。
  論文  参考訳（メタデータ） (2022-01-19T18:57:21Z)
• Multi-Category Mesh Reconstruction From Image Collections [90.24365811344987]
  本稿では, 一連の変形可能な3次元モデルとインスタンス固有の変形, ポーズ, テクスチャのセットを組み合わせた, オブジェクトのテクスチャメッシュを推定する手法を提案する。 本手法は,前景マスクと粗いカメラポーズのみを監督として,複数の対象カテゴリの画像を用いて訓練する。 実験により,提案フレームワークは異なる対象カテゴリを区別し,教師なしの方法でカテゴリ固有の形状を学習できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-21T16:32:31Z)
• Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
  本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。 我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。 深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
  論文  参考訳（メタデータ） (2021-08-10T12:19:34Z)
• Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction [79.98689027127855]
  独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。 提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。 顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
  論文  参考訳（メタデータ） (2020-08-28T15:44:05Z)
• Fine-Grained 3D Shape Classification with Hierarchical Part-View Attentions [70.0171362989609]
  本稿では,FG3D-Netと呼ばれる新しい3次元形状分類手法を提案する。 詳細な3次元形状データセットに基づく結果から,本手法が他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-26T06:53:19Z)
• 3D Shape Segmentation with Geometric Deep Learning [2.512827436728378]
  本稿では,部分分割問題としてセグメント化全体を解くために,3次元形状の3次元拡張ビューを生成するニューラルネットワークベースのアプローチを提案する。 提案手法は,公開データセットの3次元形状と,フォトグラム法を用いて再構成した実物体を用いて検証する。
  論文  参考訳（メタデータ） (2020-02-02T14:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。