論文の概要: Monocular 3D Object Reconstruction with GAN Inversion

• arxiv url: http://arxiv.org/abs/2207.10061v1
• Date: Wed, 20 Jul 2022 17:47:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 13:54:20.882458
• Title: Monocular 3D Object Reconstruction with GAN Inversion
• Title（参考訳）: GANインバージョンを用いた単眼3次元物体再構成
• Authors: Junzhe Zhang, Daxuan Ren, Zhongang Cai, Chai Kiat Yeo, Bo Dai, Chen Change Loy
• Abstract要約: MeshInversionはテクスチャ化された3Dメッシュの再構築を改善するための新しいフレームワークである。 これは、3Dテクスチャメッシュ合成のために事前訓練された3D GANの生成前を利用する。 本フレームワークは,観察部と観察部の両方で一貫した形状とテクスチャを有する忠実な3次元再構成を実現する。
• 参考スコア（独自算出の注目度）: 122.96094885939146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recovering a textured 3D mesh from a monocular image is highly challenging, particularly for in-the-wild objects that lack 3D ground truths. In this work, we present MeshInversion, a novel framework to improve the reconstruction by exploiting the generative prior of a 3D GAN pre-trained for 3D textured mesh synthesis. Reconstruction is achieved by searching for a latent space in the 3D GAN that best resembles the target mesh in accordance with the single view observation. Since the pre-trained GAN encapsulates rich 3D semantics in terms of mesh geometry and texture, searching within the GAN manifold thus naturally regularizes the realness and fidelity of the reconstruction. Importantly, such regularization is directly applied in the 3D space, providing crucial guidance of mesh parts that are unobserved in the 2D space. Experiments on standard benchmarks show that our framework obtains faithful 3D reconstructions with consistent geometry and texture across both observed and unobserved parts. Moreover, it generalizes well to meshes that are less commonly seen, such as the extended articulation of deformable objects. Code is released at https://github.com/junzhezhang/mesh-inversion
• Abstract（参考訳）: モノクロ画像からテクスチャー化された3dメッシュを復元することは、特に3dの真実を欠いたwildオブジェクトの場合、非常に難しい。 本研究では,3次元テクスチャメッシュ合成のために事前訓練された3D GANの生成前を活用して,再構成を改善する新しいフレームワークであるMeshInversionを提案する。 リコンストラクションは、単一の視野観察に基づいて、ターゲットメッシュに最もよく似た3d gan内の潜在空間を探索することによって達成される。 事前学習されたGANはメッシュ幾何学やテクスチャの観点からリッチな3Dセマンティクスをカプセル化しているため、GAN多様体内の探索は自然に再構成の現実性と忠実さを規則化する。 重要なことに、そのような正規化は3d空間で直接適用され、2d空間で観察できないメッシュ部品の重要なガイダンスとなる。 標準ベンチマーク実験により,観測部と観測部の両方で一貫した形状とテクスチャを持つ忠実な3次元再構成が得られた。 さらに、変形可能なオブジェクトの拡張表現など、一般的には見られないメッシュによく一般化する。 コードはhttps://github.com/junzhezhang/mesh-inversionでリリース

関連論文リスト

• MOSE: Monocular Semantic Reconstruction Using NeRF-Lifted Noisy Priors [11.118490283303407]
  画像レベルの雑音を3次元に引き上げるニューラルネットワークセマンティック・リコンストラクション手法を提案する。 本手法は3次元空間と2次元空間の両方で正確な意味論と幾何学を生成する。
  論文  参考訳（メタデータ） (2024-09-21T05:12:13Z)
• Iterative Superquadric Recomposition of 3D Objects from Multiple Views [77.53142165205283]
  2次元ビューから直接3次元スーパークワッドリックを意味部品として用いたオブジェクトを再構成するフレームワークISCOを提案する。 我々のフレームワークは、再構成エラーが高い場合に、反復的に新しいスーパークワッドリックを追加します。 これは、野生の画像からでも、より正確な3D再構成を提供する。
  論文  参考訳（メタデータ） (2023-09-05T10:21:37Z)
• Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
  本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T08:45:26Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• Pruning-based Topology Refinement of 3D Mesh using a 2D Alpha Mask [6.103988053817792]
  本稿では,顔解析手法を用いて,任意の3次元メッシュのトポロジを洗練させる手法を提案する。 私たちのソリューションは、それぞれの顔を2次元のソフトマップとして描画する微分可能を利用しています。 我々のモジュールは3Dメッシュを生成するネットワークに非依存であるため、自己管理されたイメージベースの3D再構成パイプラインに簡単に接続することができる。
  論文  参考訳（メタデータ） (2022-10-17T14:51:38Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to the Third Dimension [71.71234436165255]
  DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。 3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。 我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
  論文  参考訳（メタデータ） (2021-08-31T18:33:55Z)
• Learning Unsupervised Hierarchical Part Decomposition of 3D Objects from a Single RGB Image [102.44347847154867]
  プリミティブの集合として3次元オブジェクトの幾何を共同で復元できる新しい定式化を提案する。 我々のモデルは、プリミティブのバイナリツリーの形で、様々なオブジェクトの高レベルな構造的分解を復元する。 ShapeNet と D-FAUST のデータセットを用いた実験により,部品の組織化を考慮すれば3次元形状の推論が容易になることが示された。
  論文  参考訳（メタデータ） (2020-04-02T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。