論文の概要: VeRi3D: Generative Vertex-based Radiance Fields for 3D Controllable
Human Image Synthesis
- arxiv url: http://arxiv.org/abs/2309.04800v1
- Date: Sat, 9 Sep 2023 13:53:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 16:17:40.131313
- Title: VeRi3D: Generative Vertex-based Radiance Fields for 3D Controllable
Human Image Synthesis
- Title(参考訳): VeRi3D:3次元制御可能な人体画像合成のための生成頂点ベース放射場
- Authors: Xinya Chen, Jiaxin Huang, Yanrui Bin, Lu Yu, and Yiyi Liao
- Abstract要約: 本研究では,パラメトリックな人体テンプレートSMPLの頂点によってパラメータ化される人体放射野であるVeRi3Dを提案する。
我々の単純なアプローチは、カメラポーズ、人間のポーズ、形状を自由に制御できるフォトリアリスティックな人間の画像を生成するだけでなく、部分レベルの編集を可能にすることを実証している。
- 参考スコア(独自算出の注目度): 27.81573705217842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised learning of 3D-aware generative adversarial networks has lately
made much progress. Some recent work demonstrates promising results of learning
human generative models using neural articulated radiance fields, yet their
generalization ability and controllability lag behind parametric human models,
i.e., they do not perform well when generalizing to novel pose/shape and are
not part controllable. To solve these problems, we propose VeRi3D, a generative
human vertex-based radiance field parameterized by vertices of the parametric
human template, SMPL. We map each 3D point to the local coordinate system
defined on its neighboring vertices, and use the corresponding vertex feature
and local coordinates for mapping it to color and density values. We
demonstrate that our simple approach allows for generating photorealistic human
images with free control over camera pose, human pose, shape, as well as
enabling part-level editing.
- Abstract(参考訳): 近年,3次元認識型生成敵ネットワークの教師なし学習が進展している。
最近の研究は、ニューラルネットワークによる放射能場を用いた人間の生成モデル学習の有望な結果を示しているが、その一般化能力と、パラメトリックな人間のモデルの背後にある制御可能性の遅れは、新しいポーズ/形状への一般化ではうまく機能せず、部分制御不能である。
これらの問題を解決するために,パラメトリックな人体テンプレートSMPLの頂点によってパラメータ化された生成ヒト頂点系放射界であるVeRi3Dを提案する。
各3次元点を隣接する頂点上で定義された局所座標系にマッピングし、対応する頂点特徴と局所座標を用いて色と密度の値にマッピングする。
提案手法は, カメラのポーズ, 人間のポーズ, 形状を自由に制御し, 部分レベルの編集を可能にするとともに, フォトリアリスティックな人間像を生成できることを実証する。
関連論文リスト
- TriHuman : A Real-time and Controllable Tri-plane Representation for
Detailed Human Geometry and Appearance Synthesis [76.73338151115253]
TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。
我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。
このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
論文 参考訳(メタデータ) (2023-12-08T16:40:38Z) - Text2Control3D: Controllable 3D Avatar Generation in Neural Radiance
Fields using Geometry-Guided Text-to-Image Diffusion Model [39.64952340472541]
本稿では,表情を制御可能な制御可能なテキスト・ツー・3Dアバター生成手法を提案する。
我々の主な戦略は、制御された視点認識画像のセットに最適化されたニューラルラジアンスフィールド(NeRF)における3Dアバターを構築することである。
実験結果を実証し,本手法の有効性について考察する。
論文 参考訳(メタデータ) (2023-09-07T08:14:46Z) - Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。
評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
論文 参考訳(メタデータ) (2023-04-19T08:45:26Z) - Learning Visibility for Robust Dense Human Body Estimation [78.37389398573882]
2D画像から3Dのポーズと形状を推定することは、非常に難しい課題だ。
部分的な観察に頑健な高密度な人体推定を学習する。
我々は、高密度UV通信から可視性ラベルの擬似基底構造を取得し、3次元座標とともに可視性を予測するニューラルネットワークを訓練する。
論文 参考訳(メタデータ) (2022-08-23T00:01:05Z) - Neural Capture of Animatable 3D Human from Monocular Video [38.974181971541846]
本稿では,モノクラービデオ入力からアニマタブルな3次元人間の表現を構築するための新しいパラダイムを提案する。
本手法は,メッシュをベースとしたパラメトリックな3次元人体モデルを用いた動的ニューラルレージアンス場(NeRF)に基づく。
論文 参考訳(メタデータ) (2022-08-18T09:20:48Z) - VoxGRAF: Fast 3D-Aware Image Synthesis with Sparse Voxel Grids [42.74658047803192]
最先端の3D認識生成モデルは座標に基づくパラメータ化3Dラディアンス場に依存している。
既存のアプローチでは、しばしば解像度の低い特徴写像をレンダリングし、それをアップサンプリングネットワークで処理して最終的な画像を得る。
既存の手法とは対照的に,本手法では完全な3Dシーンを生成するために,単一の前方通過しか必要としない。
論文 参考訳(メタデータ) (2022-06-15T17:44:22Z) - Disentangled3D: Learning a 3D Generative Model with Disentangled
Geometry and Appearance from Monocular Images [94.49117671450531]
最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。
本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
論文 参考訳(メタデータ) (2022-03-29T22:03:18Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。
我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。
我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
論文 参考訳(メタデータ) (2020-08-16T10:22:00Z) - Combining Implicit Function Learning and Parametric Models for 3D Human
Reconstruction [123.62341095156611]
深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。
このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。
詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
論文 参考訳(メタデータ) (2020-07-22T13:46:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。