論文の概要: GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis

• arxiv url: http://arxiv.org/abs/2007.02442v4
• Date: Tue, 30 Mar 2021 11:33:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 08:20:15.563905
• Title: GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis
• Title（参考訳）: GRAF:3次元画像合成のための生成放射場
• Authors: Katja Schwarz, Yiyi Liao, Michael Niemeyer, Andreas Geiger
• Abstract要約: 近年,単一シーンの新規なビュー合成に成功している放射場生成モデルを提案する。 マルチスケールのパッチベース判別器を導入し,非姿勢の2次元画像からモデルを訓練しながら高解像度画像の合成を実演する。
• 参考スコア（独自算出の注目度）: 43.4859484191223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While 2D generative adversarial networks have enabled high-resolution image synthesis, they largely lack an understanding of the 3D world and the image formation process. Thus, they do not provide precise control over camera viewpoint or object pose. To address this problem, several recent approaches leverage intermediate voxel-based representations in combination with differentiable rendering. However, existing methods either produce low image resolution or fall short in disentangling camera and scene properties, e.g., the object identity may vary with the viewpoint. In this paper, we propose a generative model for radiance fields which have recently proven successful for novel view synthesis of a single scene. In contrast to voxel-based representations, radiance fields are not confined to a coarse discretization of the 3D space, yet allow for disentangling camera and scene properties while degrading gracefully in the presence of reconstruction ambiguity. By introducing a multi-scale patch-based discriminator, we demonstrate synthesis of high-resolution images while training our model from unposed 2D images alone. We systematically analyze our approach on several challenging synthetic and real-world datasets. Our experiments reveal that radiance fields are a powerful representation for generative image synthesis, leading to 3D consistent models that render with high fidelity.
• Abstract（参考訳）: 2次元生成逆数ネットワークは高分解能な画像合成を実現しているが、3次元世界と画像形成過程の理解がほとんどない。 したがって、カメラの視点やオブジェクトのポーズを正確に制御することはできない。 この問題に対処するために、最近のいくつかのアプローチでは、中間ボクセルベースの表現と微分可能なレンダリングを併用している。 しかし、既存の方法では、カメラとシーンの特性が混ざり合っている場合、例えば、オブジェクトの同一性は視点によって異なる可能性がある。 本稿では,1つのシーンの新規な視点合成に最近成功している放射場生成モデルを提案する。 ボクセルをベースとした表現とは対照的に、放射場は3次元空間の粗い離散化に制限されず、カメラとシーンの特性を分解し、再構成の曖昧さを優雅に劣化させる。 マルチスケールのパッチベース判別器を導入し,非姿勢の2次元画像からモデルを訓練しながら高解像度画像の合成を実演する。 我々は、いくつかの挑戦的な合成および実世界のデータセットに対するアプローチを体系的に分析する。 実験の結果,放射場は生成画像合成の強力な表現であり,高忠実度でレンダリングする3次元一貫したモデルが得られた。

関連論文リスト

• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
  単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。 提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。 新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
  論文  参考訳（メタデータ） (2023-04-05T17:15:47Z)
• DiffRF: Rendering-Guided 3D Radiance Field Diffusion [18.20324411024166]
  本稿では,拡散確率モデルに基づく3次元放射場合成の新しい手法であるDiffRFを紹介する。 2次元拡散モデルとは対照的に、我々のモデルは多視点一貫した先行情報を学習し、自由視点合成と正確な形状生成を可能にする。
  論文  参考訳（メタデータ） (2022-12-02T14:37:20Z)
• Learning Detailed Radiance Manifolds for High-Fidelity and 3D-Consistent Portrait Synthesis from Monocular Image [17.742602375370407]
  単眼のポートレート画像の新規なビュー合成における重要な課題は、連続的なポーズ変動の下での3次元の一貫性である。 提案する3D-Aware GANに基づく単眼画像に対する3D一貫性のある新規ビュー合成手法を提案する。
  論文  参考訳（メタデータ） (2022-11-25T05:20:04Z)
• Generative Deformable Radiance Fields for Disentangled Image Synthesis of Topology-Varying Objects [52.46838926521572]
  3D認識生成モデルは、モノクロ2D画像の集合から3Dニューラル放射場(NeRF)を生成するスーパーブパフォーマンスを実証した。 本研究では, トポロジー変化物体の放射場を非交絡形状と外観変化で合成する生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-09-09T08:44:06Z)
• 3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
  生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。 近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。 本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
  論文  参考訳（メタデータ） (2021-12-20T18:59:40Z)
• StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis [92.25145204543904]
  StyleNeRFは高解像度画像合成のための3次元認識型生成モデルである。 ニューラル放射場(NeRF)をスタイルベースジェネレータに統合する。 高品質な3D一貫性を維持しながら、対話的な速度で高解像度画像を合成することができる。
  論文  参考訳（メタデータ） (2021-10-18T02:37:01Z)
• Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
  本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。 VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
  論文  参考訳（メタデータ） (2020-07-14T14:45:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。