論文の概要: SDF-3DGAN: A 3D Object Generative Method Based on Implicit Signed
Distance Function
- arxiv url: http://arxiv.org/abs/2303.06821v1
- Date: Mon, 13 Mar 2023 02:48:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 16:40:49.125098
- Title: SDF-3DGAN: A 3D Object Generative Method Based on Implicit Signed
Distance Function
- Title(参考訳): SDF-3DGAN: 入出力符号距離関数に基づく3次元オブジェクト生成法
- Authors: Lutao Jiang, Ruyi Ji, Libo Zhang
- Abstract要約: 我々は3次元オブジェクト生成と3次元認識画像タスクのための新しい手法 SDF-3DGAN を開発した。
宇宙空間における3次元物体の高画質表現にSDFを適用し,高効率かつ高精度な新しいSDFニューラルを設計する。
- 参考スコア(独自算出の注目度): 10.199463450025391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we develop a new method, termed SDF-3DGAN, for 3D object
generation and 3D-Aware image synthesis tasks, which introduce implicit Signed
Distance Function (SDF) as the 3D object representation method in the
generative field. We apply SDF for higher quality representation of 3D object
in space and design a new SDF neural renderer, which has higher efficiency and
higher accuracy. To train only on 2D images, we first generate the objects,
which are represented by SDF, from Gaussian distribution. Then we render them
to 2D images and use them to apply GAN training method together with 2D images
in the dataset. In the new rendering method, we relieve all the potential of
SDF mathematical property to alleviate computation pressure in the previous SDF
neural renderer. In specific, our new SDF neural renderer can solve the problem
of sampling ambiguity when the number of sampling point is not enough, \ie use
the less points to finish higher quality sampling task in the rendering
pipeline. And in this rendering pipeline, we can locate the surface easily.
Therefore, we apply normal loss on it to control the smoothness of generated
object surface, which can make our method enjoy the much higher generation
quality. Quantitative and qualitative experiments conducted on public
benchmarks demonstrate favorable performance against the state-of-the-art
methods in 3D object generation task and 3D-Aware image synthesis task. Our
codes will be released at https://github.com/lutao2021/SDF-3DGAN.
- Abstract(参考訳): 本稿では,3次元オブジェクト生成のためのSDF-3DGANと呼ばれる新しい手法を開発し,生成領域における3次元オブジェクト表現法として暗黙の符号付き距離関数(SDF)を導入する。
空間における3次元物体の高画質表現にSDFを適用し,高効率かつ高精度な新しいSDFニューラルレンダラーを設計する。
2次元画像のみをトレーニングするために、まずガウス分布からSDFで表現されたオブジェクトを生成する。
そして、それらを2D画像にレンダリングし、データセット内の2D画像とともにGANトレーニング手法を適用する。
新しいレンダリング法では,従来のSDFニューラルレンダラの計算圧力を軽減するために,SDFの数学的特性のポテンシャルをすべて緩和する。
具体的には、新しいSDFニューラルレンダラーは、サンプリングポイント数が不十分な場合に、サンプリングのあいまいさを解消し、より少ないポイントを使用してレンダリングパイプラインで高品質なサンプリングタスクを完了する。
このレンダリングパイプラインでは、表面を容易に見つけることができます。
したがって, 生成した物体表面の平滑性を制御するために, 正常な損失を適用することで, 従来よりも優れた品質を享受できる。
3Dオブジェクト生成タスクと3D-Aware画像合成タスクにおける最先端手法に対する定量的および定性的な評価実験を行った。
私たちのコードはhttps://github.com/lutao2021/SDF-3DGANで公開されます。
関連論文リスト
- What You See is What You GAN: Rendering Every Pixel for High-Fidelity
Geometry in 3D GANs [82.3936309001633]
3D-aware Generative Adversarial Networks (GANs) は,マルチビュー一貫性画像と3Dジオメトリを生成する学習において,顕著な進歩を見せている。
しかし、ボリュームレンダリングにおける高密度サンプリングの大幅なメモリと計算コストにより、3D GANはパッチベースのトレーニングを採用するか、後処理の2Dスーパーレゾリューションで低解像度レンダリングを採用することを余儀なくされた。
ニューラルボリュームレンダリングをネイティブ2次元画像の高解像度化に拡張する手法を提案する。
論文 参考訳(メタデータ) (2024-01-04T18:50:38Z) - Text-to-3D Generation with Bidirectional Diffusion using both 2D and 3D
priors [16.93758384693786]
双方向拡散(Bidirectional Diffusion、BiDiff)は、3次元と2次元の拡散プロセスの両方を組み込んだ統合フレームワークである。
我々のモデルは高品質で多種多様でスケーラブルな3D生成を実現する。
論文 参考訳(メタデータ) (2023-12-07T10:00:04Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z) - GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。
3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。
実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
論文 参考訳(メタデータ) (2022-06-18T16:58:49Z) - GRAM-HD: 3D-Consistent Image Generation at High Resolution with
Generative Radiance Manifolds [28.660893916203747]
本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。
私たちのモチベーションは、3Dの一貫性を維持するために、3D空間で直接超解像度を達成することです。
FFHQおよびAFHQv2データセットを用いた実験により,本手法は高品質な3D一貫性のある結果が得られることが示された。
論文 参考訳(メタデータ) (2022-06-15T02:35:51Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - StyleSDF: High-Resolution 3D-Consistent Image and Geometry Generation [34.01352591390208]
本稿では,高分解能3次元画像と形状生成技術を導入し,StyleSDFと呼ぶ。
本手法は, 単視点RGBデータのみをトレーニングし, 画像生成のためのStyleGAN2の肩の上に立つ。
論文 参考訳(メタデータ) (2021-12-21T18:45:45Z) - Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D
Shapes [77.6741486264257]
本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。
我々の表現は、以前の作品に比べてレンダリング速度の点で2~3桁の効率であることを示す。
論文 参考訳(メタデータ) (2021-01-26T18:50:22Z) - Improved Modeling of 3D Shapes with Multi-view Depth Maps [48.8309897766904]
CNNを用いて3次元形状をモデル化するための汎用フレームワークを提案する。
オブジェクトの1つの深度画像だけで、3Dオブジェクトの高密度な多視点深度マップ表現を出力できる。
論文 参考訳(メタデータ) (2020-09-07T17:58:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。