論文の概要: BallGAN: 3D-aware Image Synthesis with a Spherical Background

• arxiv url: http://arxiv.org/abs/2301.09091v1
• Date: Sun, 22 Jan 2023 10:17:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 14:54:54.749551
• Title: BallGAN: 3D-aware Image Synthesis with a Spherical Background
• Title（参考訳）: BallGAN:球面背景を持つ3次元画像合成
• Authors: Minjung Shin, Yunji Seo, Jeongmin Bae, Young Sun Choi, Hyunsu Kim, Hyeran Byun, Youngjung Uh
• Abstract要約: 3D対応のGANは、任意の視点でレンダリングして画像を生成できるように、リアルな3Dシーンを合成することを目的としている。 従来の方法は現実的な画像を生成するが、不安定なトレーニングや3次元幾何学が不自然な解に悩まされている。 本研究では,背景を球面として近似し,背景を球面と細い球面に配置した前景の結合体として表現することを提案する。
• 参考スコア（独自算出の注目度）: 17.533147581481156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D-aware GANs aim to synthesize realistic 3D scenes such that they can be rendered in arbitrary perspectives to produce images. Although previous methods produce realistic images, they suffer from unstable training or degenerate solutions where the 3D geometry is unnatural. We hypothesize that the 3D geometry is underdetermined due to the insufficient constraint, i.e., being classified as real image to the discriminator is not enough. To solve this problem, we propose to approximate the background as a spherical surface and represent a scene as a union of the foreground placed in the sphere and the thin spherical background. It reduces the degree of freedom in the background field. Accordingly, we modify the volume rendering equation and incorporate dedicated constraints to design a novel 3D-aware GAN framework named BallGAN. BallGAN has multiple advantages as follows. 1) It produces more reasonable 3D geometry; the images of a scene across different viewpoints have better photometric consistency and fidelity than the state-of-the-art methods. 2) The training becomes much more stable. 3) The foreground can be separately rendered on top of different arbitrary backgrounds.
• Abstract（参考訳）: 3D対応のGANは、任意の視点でレンダリングして画像を生成できるように、リアルな3Dシーンを合成することを目指している。 従来の手法は現実的な画像を生成するが、3次元幾何学が不自然な不安定な訓練や退化解に苦しむ。 3次元幾何学は十分でない制約、すなわち、判別器に実像として分類されるだけでは不十分であると仮定する。 この問題を解決するために,背景を球面として近似し,前景を球面と細い球面の背景の結合として表現することを提案する。 バックグラウンドフィールドにおける自由度を低下させる。 そこで我々はボリュームレンダリングの方程式を変更し,BallGANという新しい3D対応GANフレームワークを設計するための専用制約を組み込んだ。 BallGANには次のような利点がある。 1)異なる視点にまたがるシーンのイメージは、最先端の手法よりもフォトメトリックの一貫性と忠実性が向上する。 2) トレーニングはより安定する。 3) 前景は異なる任意の背景の上に別々に描画することができる。

関連論文リスト

• Neural 3D Scene Reconstruction from Multiple 2D Images without 3D Supervision [41.20504333318276]
  平面制約下でのスパース深度を用いてシーンを3次元の監督なしに再構成する新しいニューラル再構成法を提案する。 シーンを表すために,符号付き距離関数場,色場,確率場を導入する。 我々は、これらのフィールドを最適化し、2D画像で識別可能な光線マーキングを監督することでシーンを再構築する。
  論文  参考訳（メタデータ） (2023-06-30T13:30:48Z)
• 3D GAN Inversion with Facial Symmetry Prior [42.22071135018402]
  3D GANとGANの反転法を関連付けて、実際の画像をジェネレータの潜伏空間に投影することは自然である。 顔の対称性を事前に導入することで3D GANのインバージョンを促進する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T11:57:45Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Disentangled3D: Learning a 3D Generative Model with Disentangled Geometry and Appearance from Monocular Images [94.49117671450531]
  最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。 本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
  論文  参考訳（メタデータ） (2022-03-29T22:03:18Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D Image GANs [156.1209884183522]
  GANのような最先端の2D生成モデルは、自然像多様体のモデリングにおいて前例のない品質を示している。 本稿では,RGB画像のみをトレーニングした市販の2D GANから3次元幾何学的手がかりを直接マイニングする試みについて紹介する。
  論文  参考訳（メタデータ） (2020-11-02T09:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。