論文の概要: Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D Image GANs

• arxiv url: http://arxiv.org/abs/2011.00844v4
• Date: Fri, 12 Mar 2021 04:04:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 12:14:19.451409
• Title: Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D Image GANs
• Title（参考訳）: 2Dガンは3D形状を知っているか? 2次元画像GANによる教師なし3次元形状復元
• Authors: Xingang Pan, Bo Dai, Ziwei Liu, Chen Change Loy, Ping Luo
• Abstract要約: GANのような最先端の2D生成モデルは、自然像多様体のモデリングにおいて前例のない品質を示している。 本稿では,RGB画像のみをトレーニングした市販の2D GANから3次元幾何学的手がかりを直接マイニングする試みについて紹介する。
• 参考スコア（独自算出の注目度）: 156.1209884183522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural images are projections of 3D objects on a 2D image plane. While state-of-the-art 2D generative models like GANs show unprecedented quality in modeling the natural image manifold, it is unclear whether they implicitly capture the underlying 3D object structures. And if so, how could we exploit such knowledge to recover the 3D shapes of objects in the images? To answer these questions, in this work, we present the first attempt to directly mine 3D geometric cues from an off-the-shelf 2D GAN that is trained on RGB images only. Through our investigation, we found that such a pre-trained GAN indeed contains rich 3D knowledge and thus can be used to recover 3D shape from a single 2D image in an unsupervised manner. The core of our framework is an iterative strategy that explores and exploits diverse viewpoint and lighting variations in the GAN image manifold. The framework does not require 2D keypoint or 3D annotations, or strong assumptions on object shapes (e.g. shapes are symmetric), yet it successfully recovers 3D shapes with high precision for human faces, cats, cars, and buildings. The recovered 3D shapes immediately allow high-quality image editing like relighting and object rotation. We quantitatively demonstrate the effectiveness of our approach compared to previous methods in both 3D shape reconstruction and face rotation. Our code is available at https://github.com/XingangPan/GAN2Shape.
• Abstract（参考訳）: 自然画像は2d画像平面上の3dオブジェクトの投影である。 GANのような最先端の2D生成モデルは、自然像多様体のモデリングにおいて前例のない品質を示しているが、それらが基礎となる3Dオブジェクト構造を暗黙的に捉えているかどうかは不明である。 もしそうなら、どのようにして画像の中の物体の3d形状を回復させるのか? そこで本研究では,RGB画像のみをトレーニングした市販の2D GANから3次元幾何学的手がかりを直接抽出する試みについて述べる。 本研究により, 事前学習したGANには, リッチな3次元知識が含まれており, 単一の2次元画像から教師なしで3次元形状を復元することができることがわかった。 我々のフレームワークの中核は、GAN画像多様体における様々な視点と照明のバリエーションを探索し、活用する反復戦略である。 このフレームワークは2Dキーポイントや3Dアノテーションやオブジェクトの形状に関する強い仮定(例えば、形状は対称)を必要としないが、人間の顔、猫、車、建物に対して高い精度で3D形状を復元することに成功した。 復元された3D形状は、リライティングやオブジェクト回転のような高品質な画像編集を可能にする。 本手法の有効性を従来の3次元形状復元法と顔の回転法に比較して定量的に検証した。 私たちのコードはhttps://github.com/xingangpan/gan2shapeで利用可能です。

関連論文リスト

• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)
• Fully Understanding Generic Objects: Modeling, Segmentation, and Reconstruction [33.95791350070165]
  2D画像からジェネリックオブジェクトの3D構造を推定することは、コンピュータビジョンの長年の目標です。 半教師付き学習による代替アプローチを取る。 つまり、ジェネリックオブジェクトの2Dイメージでは、カテゴリ、形状、およびアルベドの潜在的な表現に分解します。 完全な形状とアルベドモデリングにより、モデリングとモデルフィッティングの両方で実際の2Dイメージを活用できることを示しています。
  論文  参考訳（メタデータ） (2021-04-02T02:39:29Z)
• Lifting 2D StyleGAN for 3D-Aware Face Generation [52.8152883980813]
  我々は,3次元顔生成のための事前学習済みのStyleGAN2を切断し,持ち上げるLiftedGANというフレームワークを提案する。 本モデルは,(1)StyleGAN2の潜伏空間をテクスチャ,形状,視点,照明に分解し,(2)合成画像のための3D成分を生成することができるという意味で「3D認識」である。
  論文  参考訳（メタデータ） (2020-11-26T05:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。