論文の概要: StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis

• arxiv url: http://arxiv.org/abs/2110.08985v1
• Date: Mon, 18 Oct 2021 02:37:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 13:59:28.957634
• Title: StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis
• Title（参考訳）: StyleNeRF:高解像度画像合成のためのスタイルベース3Dアウェアジェネレータ
• Authors: Jiatao Gu, Lingjie Liu, Peng Wang and Christian Theobalt
• Abstract要約: StyleNeRFは高解像度画像合成のための3次元認識型生成モデルである。 ニューラル放射場(NeRF)をスタイルベースジェネレータに統合する。 高品質な3D一貫性を維持しながら、対話的な速度で高解像度画像を合成することができる。
• 参考スコア（独自算出の注目度）: 92.25145204543904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose StyleNeRF, a 3D-aware generative model for photo-realistic high-resolution image synthesis with high multi-view consistency, which can be trained on unstructured 2D images. Existing approaches either cannot synthesize high-resolution images with fine details or yield noticeable 3D-inconsistent artifacts. In addition, many of them lack control over style attributes and explicit 3D camera poses. StyleNeRF integrates the neural radiance field (NeRF) into a style-based generator to tackle the aforementioned challenges, i.e., improving rendering efficiency and 3D consistency for high-resolution image generation. We perform volume rendering only to produce a low-resolution feature map and progressively apply upsampling in 2D to address the first issue. To mitigate the inconsistencies caused by 2D upsampling, we propose multiple designs, including a better upsampler and a new regularization loss. With these designs, StyleNeRF can synthesize high-resolution images at interactive rates while preserving 3D consistency at high quality. StyleNeRF also enables control of camera poses and different levels of styles, which can generalize to unseen views. It also supports challenging tasks, including zoom-in and-out, style mixing, inversion, and semantic editing.
• Abstract（参考訳）: 本研究では,非構造化2次元画像で訓練可能な高画質画像合成のための3次元認識生成モデルであるstylenerfを提案する。 既存のアプローチでは、細部で高精細な画像を合成できないか、3D非一貫性のアーティファクトを生成できない。 さらに、スタイル属性や明示的な3Dカメラのポーズをコントロールできないものも多い。 StyleNeRFは、前述の課題、すなわち高解像度画像生成のためのレンダリング効率の改善と3D整合性に取り組むために、ニューラルネットワーク(NeRF)をスタイルベースのジェネレータに統合する。 ボリュームレンダリングを行い、低解像度の特徴マップを作成し、2次元のアップサンプリングを段階的に適用し、最初の問題に対処する。 2次元アップサンプリングによる不整合を軽減するため,より優れたアップサンプリングと新たな正規化損失を含む複数の設計を提案する。 これらの設計により、StyleNeRFは高解像度画像をインタラクティブレートで合成でき、高品質な3D一貫性を保っている。 StyleNeRFはまた、カメラのポーズと異なるレベルのスタイルのコントロールを可能にし、見えないビューに一般化することができる。 ズームイン・アンド・アウト、スタイルミキシング、インバージョン、セマンティック編集など、困難なタスクもサポートする。

関連論文リスト

• SyncNoise: Geometrically Consistent Noise Prediction for Text-based 3D Scene Editing [58.22339174221563]
  高忠実度3Dシーン編集のための新しい幾何誘導型マルチビュー一貫したノイズ編集手法SyncNoiseを提案する。 SyncNoiseは2次元拡散モデルで複数のビューを同期的に編集し、幾何的に一貫した多視点ノイズ予測を行う。 本手法は,特に複雑なテクスチャを持つシーンにおいて,テキストの指示に配慮した高品質な3D編集結果を実現する。
  論文  参考訳（メタデータ） (2024-06-25T09:17:35Z)
• Omni-Recon: Harnessing Image-based Rendering for General-Purpose Neural Radiance Fields [29.573344213110172]
  Omni-Reconと呼ばれるフレームワークは、(1)一般化可能な3D再構成とゼロショットマルチタスクシーン理解、(2)リアルタイムレンダリングやシーン編集といった様々な下流3Dアプリケーションへの適応性を実現する。 具体的には、Omni-Reconは2つの分離枝を持つ画像ベースレンダリングを用いた汎用NeRFモデルを備えている。 この設計は、ゼロショットマルチタスクシーン理解のために、様々なタスクで再利用可能なブレンディングウェイトを用いて、最先端(SOTA)の一般化可能な3次元表面再構成品質を実現する。
  論文  参考訳（メタデータ） (2024-03-17T07:47:26Z)
• What You See is What You GAN: Rendering Every Pixel for High-Fidelity Geometry in 3D GANs [82.3936309001633]
  3D-aware Generative Adversarial Networks (GANs) は,マルチビュー一貫性画像と3Dジオメトリを生成する学習において,顕著な進歩を見せている。 しかし、ボリュームレンダリングにおける高密度サンプリングの大幅なメモリと計算コストにより、3D GANはパッチベースのトレーニングを採用するか、後処理の2Dスーパーレゾリューションで低解像度レンダリングを採用することを余儀なくされた。 ニューラルボリュームレンダリングをネイティブ2次元画像の高解像度化に拡張する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:50:38Z)
• HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN [3.479254848034425]
  我々は、ハイパーネットワークのパラダイムを用いて、NeRFで表現された3Dオブジェクトを生成するHyperNeRFGANという生成モデルを提案する。 アーキテクチャは2D画像を生成するが、3D対応のNeRF表現を使用し、モデルに正しい3Dオブジェクトを生成するように強制する。
  論文  参考訳（メタデータ） (2023-01-27T10:21:18Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• GRAM-HD: 3D-Consistent Image Generation at High Resolution with Generative Radiance Manifolds [28.660893916203747]
  本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。 私たちのモチベーションは、3Dの一貫性を維持するために、3D空間で直接超解像度を達成することです。 FFHQおよびAFHQv2データセットを用いた実験により,本手法は高品質な3D一貫性のある結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-06-15T02:35:51Z)
• 3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
  生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。 近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。 本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
  論文  参考訳（メタデータ） (2021-12-20T18:59:40Z)
• Efficient Geometry-aware 3D Generative Adversarial Networks [50.68436093869381]
  既存の3D GANは計算集約的であるか、3D一貫性のない近似を行う。 本研究では、3D GANの計算効率と画質をこれらの近似に頼らずに改善する。 本稿では,高解像度のマルチビュー一貫性画像だけでなく,高品質な3次元形状をリアルタイムに合成する,表現型ハイブリッド・明示型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-15T08:01:43Z)
• Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
  本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。 VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
  論文  参考訳（メタデータ） (2020-07-14T14:45:00Z)
• GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis [43.4859484191223]
  近年,単一シーンの新規なビュー合成に成功している放射場生成モデルを提案する。 マルチスケールのパッチベース判別器を導入し,非姿勢の2次元画像からモデルを訓練しながら高解像度画像の合成を実演する。
  論文  参考訳（メタデータ） (2020-07-05T20:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。