論文の概要: Learning Detailed Radiance Manifolds for High-Fidelity and 3D-Consistent
Portrait Synthesis from Monocular Image
- arxiv url: http://arxiv.org/abs/2211.13901v1
- Date: Fri, 25 Nov 2022 05:20:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 17:05:32.233949
- Title: Learning Detailed Radiance Manifolds for High-Fidelity and 3D-Consistent
Portrait Synthesis from Monocular Image
- Title(参考訳): 単眼画像からの高忠実・3次元連続画像合成のための詳細なレーダマンフォールドの学習
- Authors: Yu Deng, Baoyuan Wang, Heung-Yeung Shum
- Abstract要約: 単眼のポートレート画像の新規なビュー合成における重要な課題は、連続的なポーズ変動の下での3次元の一貫性である。
提案する3D-Aware GANに基づく単眼画像に対する3D一貫性のある新規ビュー合成手法を提案する。
- 参考スコア(独自算出の注目度): 17.742602375370407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A key challenge for novel view synthesis of monocular portrait images is 3D
consistency under continuous pose variations. Most existing methods rely on 2D
generative models which often leads to obvious 3D inconsistency artifacts. We
present a 3D-consistent novel view synthesis approach for monocular portrait
images based on a recent proposed 3D-aware GAN, namely Generative Radiance
Manifolds (GRAM), which has shown strong 3D consistency at multiview image
generation of virtual subjects via the radiance manifolds representation.
However, simply learning an encoder to map a real image into the latent space
of GRAM can only reconstruct coarse radiance manifolds without faithful fine
details, while improving the reconstruction fidelity via instance-specific
optimization is time-consuming. We introduce a novel detail manifolds
reconstructor to learn 3D-consistent fine details on the radiance manifolds
from monocular images, and combine them with the coarse radiance manifolds for
high-fidelity reconstruction. The 3D priors derived from the coarse radiance
manifolds are used to regulate the learned details to ensure reasonable
synthesized results at novel views. Trained on in-the-wild 2D images, our
method achieves high-fidelity and 3D-consistent portrait synthesis largely
outperforming the prior art.
- Abstract(参考訳): 単眼ポートレート画像の新しいビュー合成における鍵となる課題は、連続的なポーズ変動下での3次元一貫性である。
既存の手法のほとんどは2D生成モデルに依存しており、しばしば3Dの不整合が明らかになる。
本稿では,最近提案された3次元認識gan,すなわち,放射多様体表現による仮想被写体の多視点画像生成において強い3次元一貫性を示す生成的放射多様体(gram)に基づく,単眼的ポートレート画像に対する3次元一貫性を有する新しいビュー合成手法を提案する。
しかし、実画像をグラムの潜在空間にマッピングするエンコーダを単に学習すれば、インスタンス固有の最適化による再構成忠実性の向上は時間がかかりながら、忠実な詳細を伴わずに粗い放射多様体を再構築できるだけである。
単分子画像から放射率多様体の3次元連続的な詳細を学習し、それらを粗な放射率多様体と組み合わせて高忠実度再構成を行う。
粗ラミアンス多様体に由来する3次元前駆体は、学習された詳細を制御し、新しい視点で合理的に合成された結果を保証するために用いられる。
In-the-wild 2D画像に基づいて,本手法は従来技術よりも高忠実で3D一貫性のポートレート合成を実現する。
関連論文リスト
- Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。
まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。
第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-05T19:00:45Z) - WildFusion: Learning 3D-Aware Latent Diffusion Models in View Space [82.56898294603785]
潜在拡散モデル(LDM)に基づく3次元画像合成の新しいアプローチであるWildFusionを提案する。
我々の3D対応LCMは、マルチビュー画像や3D幾何学を直接監督することなく訓練されている。
これにより、スケーラブルな3D認識画像合成と、Wild画像データから3Dコンテンツを作成するための有望な研究道が開かれる。
論文 参考訳(メタデータ) (2023-11-22T18:25:51Z) - Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。
提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。
新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
論文 参考訳(メタデータ) (2023-04-05T17:15:47Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - GRAM-HD: 3D-Consistent Image Generation at High Resolution with
Generative Radiance Manifolds [28.660893916203747]
本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。
私たちのモチベーションは、3Dの一貫性を維持するために、3D空間で直接超解像度を達成することです。
FFHQおよびAFHQv2データセットを用いた実験により,本手法は高品質な3D一貫性のある結果が得られることが示された。
論文 参考訳(メタデータ) (2022-06-15T02:35:51Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳(メタデータ) (2021-10-29T10:53:12Z) - pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware
Image Synthesis [45.51447644809714]
高品質な3D画像合成のための新しい生成モデルである周期的インプリシット生成適応ネットワーク(pi$-GAN または pi-GAN)を提案する。
提案手法は,複数の実・合成データセットを用いた3次元認識画像合成のための最先端結果を得る。
論文 参考訳(メタデータ) (2020-12-02T01:57:46Z) - Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。
VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
論文 参考訳(メタデータ) (2020-07-14T14:45:00Z) - GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis [43.4859484191223]
近年,単一シーンの新規なビュー合成に成功している放射場生成モデルを提案する。
マルチスケールのパッチベース判別器を導入し,非姿勢の2次元画像からモデルを訓練しながら高解像度画像の合成を実演する。
論文 参考訳(メタデータ) (2020-07-05T20:37:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。