論文の概要: Generative Deformable Radiance Fields for Disentangled Image Synthesis of Topology-Varying Objects

• arxiv url: http://arxiv.org/abs/2209.04183v1
• Date: Fri, 9 Sep 2022 08:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-12 12:45:45.025307
• Title: Generative Deformable Radiance Fields for Disentangled Image Synthesis of Topology-Varying Objects
• Title（参考訳）: 位相可変物体の遠交画像合成のための生成可能な変形可能放射場
• Authors: Ziyu Wang, Yu Deng, Jiaolong Yang, Jingyi Yu, Xin Tong
• Abstract要約: 3D認識生成モデルは、モノクロ2D画像の集合から3Dニューラル放射場(NeRF)を生成するスーパーブパフォーマンスを実証した。 本研究では, トポロジー変化物体の放射場を非交絡形状と外観変化で合成する生成モデルを提案する。
• 参考スコア（独自算出の注目度）: 52.46838926521572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D-aware generative models have demonstrated their superb performance to generate 3D neural radiance fields (NeRF) from a collection of monocular 2D images even for topology-varying object categories. However, these methods still lack the capability to separately control the shape and appearance of the objects in the generated radiance fields. In this paper, we propose a generative model for synthesizing radiance fields of topology-varying objects with disentangled shape and appearance variations. Our method generates deformable radiance fields, which builds the dense correspondence between the density fields of the objects and encodes their appearances in a shared template field. Our disentanglement is achieved in an unsupervised manner without introducing extra labels to previous 3D-aware GAN training. We also develop an effective image inversion scheme for reconstructing the radiance field of an object in a real monocular image and manipulating its shape and appearance. Experiments show that our method can successfully learn the generative model from unstructured monocular images and well disentangle the shape and appearance for objects (e.g., chairs) with large topological variance. The model trained on synthetic data can faithfully reconstruct the real object in a given single image and achieve high-quality texture and shape editing results.
• Abstract（参考訳）: 3D認識生成モデルは、トポロジに変化する対象カテゴリであっても、モノクロ2D画像の集合から3Dニューラル放射場(NeRF)を生成するために、そのスーパーブパフォーマンスを実証している。 しかし、これらの手法は生成した放射能場における物体の形状と外観を別々に制御する能力に欠ける。 本稿では, トポロジー変化物体の放射場を非交叉形状と外観変化で合成する生成モデルを提案する。 本手法は,オブジェクトの密度場間の密対応を構築し,その外観を共有テンプレートフィールドにエンコードする,変形可能な放射場を生成する。 従来の3D-Aware GANトレーニングに余分なラベルを導入することなく、教師なしの方法で不整合を実現する。 また,実モノクロ画像における物体の放射場を再構成し,その形状と外観を操作するための効果的な画像インバージョンスキームを開発した。 実験により,非構造単分子画像から生成モデルを学習し,物体の形状や外観(例えば椅子)を大きな位相差でうまく歪めることができることがわかった。 合成データに基づいて訓練されたモデルは、所定の画像内の実物体を忠実に再構成し、高品質なテクスチャおよび形状編集結果が得られる。

関連論文リスト

• Object-Centric Domain Randomization for 3D Shape Reconstruction in the Wild [22.82439286651921]
  ワンビュー3次元形状復元における最大の課題の1つは、現実世界の環境から得られる3次元形状2次元画像データの不足である。 ドメインランダム化による顕著な成果にインスパイアされたObjectDRは、オブジェクトの外観や背景の視覚的変化をランダムにシミュレーションすることで、そのようなペア化されたデータを合成する。
  論文  参考訳（メタデータ） (2024-03-21T16:40:10Z)
• SphereDiffusion: Spherical Geometry-Aware Distortion Resilient Diffusion Model [63.685132323224124]
  制御可能な球状パノラマ画像生成は、様々な領域でかなりの応用可能性を持っている。 本稿では,これらの課題に対処するために,SphereDiffusionの新しいフレームワークを提案する。 Structured3Dデータセットの実験では、SphereDiffusionは制御可能な球面画像生成の品質を大幅に改善し、平均して約35%のFIDを相対的に削減している。
  論文  参考訳（メタデータ） (2024-03-15T06:26:46Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Disentangled3D: Learning a 3D Generative Model with Disentangled Geometry and Appearance from Monocular Images [94.49117671450531]
  最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。 本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
  論文  参考訳（メタデータ） (2022-03-29T22:03:18Z)
• LOLNeRF: Learn from One Look [22.771493686755544]
  本稿では,ニューラルレイディアンス場に基づく生成3次元モデル学習手法を提案する。 既存の手法とは異なり、この目標を達成するためにマルチビューデータを必要としないことを示す。
  論文  参考訳（メタデータ） (2021-11-19T01:20:01Z)
• Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
  本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。 我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。 深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
  論文  参考訳（メタデータ） (2021-08-10T12:19:34Z)
• FiG-NeRF: Figure-Ground Neural Radiance Fields for 3D Object Category Modelling [11.432178728985956]
  我々はNeural Radiance Fields (NeRF) を用いて、入力画像のコレクションから高品質な3Dオブジェクトカテゴリモデルを学習する。 本手法は,測光とカジュアルキャプチャによる画像のみを用いて,高精度な3dオブジェクトカテゴリモデルを学習できることを示す。
  論文  参考訳（メタデータ） (2021-04-17T01:38:54Z)
• ShaRF: Shape-conditioned Radiance Fields from a Single View [54.39347002226309]
  本稿では,単一の画像のみのオブジェクトの神経シーン表現を推定する手法を提案する。 この手法の核心は,対象物の幾何学的足場の推定である。 合成画像と実画像の両方において,提案手法の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2021-02-17T16:40:28Z)
• GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis [43.4859484191223]
  近年,単一シーンの新規なビュー合成に成功している放射場生成モデルを提案する。 マルチスケールのパッチベース判別器を導入し,非姿勢の2次元画像からモデルを訓練しながら高解像度画像の合成を実演する。
  論文  参考訳（メタデータ） (2020-07-05T20:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。