論文の概要: Disentangled3D: Learning a 3D Generative Model with Disentangled
Geometry and Appearance from Monocular Images
- arxiv url: http://arxiv.org/abs/2203.15926v1
- Date: Tue, 29 Mar 2022 22:03:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 04:23:34.225604
- Title: Disentangled3D: Learning a 3D Generative Model with Disentangled
Geometry and Appearance from Monocular Images
- Title（参考訳）: Disentangled3D: 単眼画像から形状と外観を持つ3次元生成モデルを学ぶ
- Authors: Ayush Tewari, Mallikarjun B R, Xingang Pan, Ohad Fried, Maneesh
Agrawala, Christian Theobalt
- Abstract要約: 最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。
本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
- 参考スコア（独自算出の注目度）: 94.49117671450531
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning 3D generative models from a dataset of monocular images enables
self-supervised 3D reasoning and controllable synthesis. State-of-the-art 3D
generative models are GANs which use neural 3D volumetric representations for
synthesis. Images are synthesized by rendering the volumes from a given camera.
These models can disentangle the 3D scene from the camera viewpoint in any
generated image. However, most models do not disentangle other factors of image
formation, such as geometry and appearance. In this paper, we design a 3D GAN
which can learn a disentangled model of objects, just from monocular
observations. Our model can disentangle the geometry and appearance variations
in the scene, i.e., we can independently sample from the geometry and
appearance spaces of the generative model. This is achieved using a novel
non-rigid deformable scene formulation. A 3D volume which represents an object
instance is computed as a non-rigidly deformed canonical 3D volume. Our method
learns the canonical volume, as well as its deformations, jointly during
training. This formulation also helps us improve the disentanglement between
the 3D scene and the camera viewpoints using a novel pose regularization loss
defined on the 3D deformation field. In addition, we further model the inverse
deformations, enabling the computation of dense correspondences between images
generated by our model. Finally, we design an approach to embed real images
into the latent space of our disentangled generative model, enabling editing of
real images.
- Abstract（参考訳）: 単眼画像のデータセットから3次元生成モデルを学習することで、自己教師付き3次元推論と制御可能な合成が可能になる。
最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。
画像は、所定のカメラからボリュームをレンダリングすることで合成される。
これらのモデルは、生成された画像のカメラ視点から3Dシーンを遠ざけることができる。
しかし、ほとんどのモデルは、幾何学や外観など、画像形成の他の要因を歪めない。
本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
私たちのモデルはシーンの幾何学と外観のバリエーションを分離することができ、つまり生成モデルの幾何学と外観空間から独立にサンプルすることができる。
これは、新しい非剛性変形可能なシーン定式化を用いて達成される。
オブジェクトインスタンスを表す3Dボリュームは、厳格に変形しない標準3Dボリュームとして計算される。
本手法は, 訓練中に協調して正準体積, 変形を学習する。
この定式化は, 3次元変形場で定義される新しいポーズ正規化損失を用いて, 3次元シーンとカメラ視点の絡み合いを改善するのにも有用である。
さらに, 逆変形をモデル化し, モデルが生成する画像間の密対応の計算を可能にする。
最後に,不連続生成モデルの潜在空間に実画像を埋め込む手法を考案し,実画像の編集を可能にした。
関連論文リスト
- CtrlNeRF: The Generative Neural Radiation Fields for the Controllable Synthesis of High-fidelity 3D-Aware Images [5.50550810374347]
生成神経放射場(GRAF)は、3Dの監督なしにランダムノイズzから画像を生成することができる。
実際には、形状と外観をそれぞれz_sとz_aでモデル化し、推論中に別々に操作する。
本稿では,複数のシーンを共有重みで表現するために,単一のネットワークを用いた制御可能な生成モデルを提案する。
論文 参考訳（メタデータ） (2024-12-01T10:19:24Z) - 3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis [49.352765055181436]
動的ビュー合成のための3次元幾何学的変形可能なガウススメッティング法を提案する。
提案手法は,動的ビュー合成と3次元動的再構成を改良した3次元形状認識変形モデリングを実現する。
論文 参考訳（メタデータ） (2024-04-09T12:47:30Z) - WildFusion: Learning 3D-Aware Latent Diffusion Models in View Space [77.92350895927922]
潜在拡散モデル(LDM)に基づく3次元画像合成の新しいアプローチであるWildFusionを提案する。
我々の3D対応LCMは、マルチビュー画像や3D幾何学を直接監督することなく訓練されている。
これにより、スケーラブルな3D認識画像合成と、Wild画像データから3Dコンテンツを作成するための有望な研究道が開かれる。
論文 参考訳（メタデータ） (2023-11-22T18:25:51Z) - 3inGAN: Learning a 3D Generative Model from Images of a Self-similar
Scene [34.2144933185175]
3inGANは、単一の自己相似3Dシーンの2D画像から訓練された無条件3D生成モデルである。
実地および合成源から得られた,様々なスケールと複雑さの半確率的な場面での結果を示す。
論文 参考訳（メタデータ） (2022-11-27T18:03:21Z) - Next3D: Generative Neural Texture Rasterization for 3D-Aware Head
Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。
最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。
本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-21T06:40:46Z) - Generative Deformable Radiance Fields for Disentangled Image Synthesis
of Topology-Varying Objects [52.46838926521572]
3D認識生成モデルは、モノクロ2D画像の集合から3Dニューラル放射場(NeRF)を生成するスーパーブパフォーマンスを実証した。
本研究では, トポロジー変化物体の放射場を非交絡形状と外観変化で合成する生成モデルを提案する。
論文 参考訳（メタデータ） (2022-09-09T08:44:06Z) - Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape
Laplacian [58.704089101826774]
形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。
点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。
実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
論文 参考訳（メタデータ） (2022-03-29T04:57:18Z) - Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。
我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。
深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
論文 参考訳（メタデータ） (2021-08-10T12:19:34Z) - Building 3D Morphable Models from a Single Scan [3.472931603805115]
本研究では,単一の3次元メッシュから3次元オブジェクトの生成モデルを構築する手法を提案する。
本手法はガウス過程で形状とアルベドを表す3次元形状モデルを生成する。
提案手法は, 単一の3次元スキャンのみを用いて顔認識を行うことができることを示す。
論文 参考訳（メタデータ） (2020-11-24T23:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。