論文の概要: DINAR: Diffusion Inpainting of Neural Textures for One-Shot Human
Avatars
- arxiv url: http://arxiv.org/abs/2303.09375v4
- Date: Sun, 10 Dec 2023 11:09:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 03:10:27.627993
- Title: DINAR: Diffusion Inpainting of Neural Textures for One-Shot Human
Avatars
- Title(参考訳): dinar: 一発ヒトアバターの神経テクスチャの拡散インパインティング
- Authors: David Svitov, Dmitrii Gudkov, Renat Bashirov, Victor Lempitsky
- Abstract要約: 本稿では,1枚のRGB画像からリアルなフルボディアバターを作成するためのアプローチを提案する。
本手法は, SMPL-Xボディーモデルと組み合わせた神経テクスチャを用いて, アバターのフォトリアリスティックな品質を実現する。
実験では、最新のレンダリング品質と、新しいポーズや視点への優れた一般化を実現する。
- 参考スコア(独自算出の注目度): 7.777410338143783
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present DINAR, an approach for creating realistic rigged fullbody avatars
from single RGB images. Similarly to previous works, our method uses neural
textures combined with the SMPL-X body model to achieve photo-realistic quality
of avatars while keeping them easy to animate and fast to infer. To restore the
texture, we use a latent diffusion model and show how such model can be trained
in the neural texture space. The use of the diffusion model allows us to
realistically reconstruct large unseen regions such as the back of a person
given the frontal view. The models in our pipeline are trained using 2D images
and videos only. In the experiments, our approach achieves state-of-the-art
rendering quality and good generalization to new poses and viewpoints. In
particular, the approach improves state-of-the-art on the SnapshotPeople public
benchmark.
- Abstract(参考訳): DINARは、1枚のRGB画像から現実的なフルボディアバターを作成するためのアプローチである。
従来の研究と同様に, SMPL-Xボディーモデルと組み合わせた神経テクスチャを用いて, アバターのフォトリアリスティックな品質を実現し, アニメーションや高速な推論を実現している。
テクスチャを復元するために、潜伏拡散モデルを使用し、そのようなモデルを神経テクスチャ空間でどのようにトレーニングするかを示す。
拡散モデルを用いることで、正面から見ると人物の背中のような大きな目立たない領域を現実的に再構築することができる。
パイプライン内のモデルは、2D画像とビデオのみを使用してトレーニングされています。
実験では,最先端のレンダリング品質と,新たなポーズや視点への優れた一般化を実現する。
特に、このアプローチはSnapshotPeople公開ベンチマークの最先端を改善している。
関連論文リスト
- Relightable Neural Actor with Intrinsic Decomposition and Pose Control [85.89305777719495]
Relightable Neural Actorは、リライト可能なニューラルヒューマンモデルを学習するための、最初のビデオベース手法である。
我々は、ポーズ依存の衣服の変形をモデル化する乾燥密度場を持つアクターの幾何学を表現する。
我々は、新しい人間のポーズに対する最先端のリライティング結果を実証する。
論文 参考訳(メタデータ) (2023-12-18T14:30:13Z) - Human Gaussian Splatting: Real-time Rendering of Animatable Avatars [6.629151211202684]
この研究は、マルチビュービデオから得られたフォトリアリスティックな人体アバターのリアルタイムレンダリングの問題に対処する。
3次元ガウススプラッティングに基づく最初のアニマタブルな人体モデルを提案する。
本手法は, THuman4データセットの最先端技術よりもPSNR 1.5dbBが優れていることを示す。
論文 参考訳(メタデータ) (2023-11-28T12:05:41Z) - SiTH: Single-view Textured Human Reconstruction with Image-Conditioned
Diffusion [40.16197757961096]
SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。
入力画像から背面の外観を幻覚させるために,強力な生成拡散モデルを用いる。
インプットおよびバックビュー画像から全身のテクスチャメッシュを復元するために,スキン付きボディーメッシュをガイダンスとして活用する。
論文 参考訳(メタデータ) (2023-11-27T14:22:07Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳(メタデータ) (2023-05-04T17:58:40Z) - Neural Image-based Avatars: Generalizable Radiance Fields for Human
Avatar Modeling [28.242591786838936]
スパースな多視点画像から、任意の人間のパフォーマーの斬新なビューと新しいポーズを可能にする手法を提案する。
提案手法の重要な要素は,暗示体NeRF表現と画像ベースレンダリングの利点を組み合わせたハイブリッド外観ブレンディングモジュールである。
論文 参考訳(メタデータ) (2023-04-10T23:53:28Z) - RANA: Relightable Articulated Neural Avatars [83.60081895984634]
本稿では,ヒトの光合成のための光合成アバターであるRANAを提案する。
モノクラーRGBビデオの幾何学、テクスチャ、照明環境を両立させながら、人間をモデル化する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2022-12-06T18:59:31Z) - MetaAvatar: Learning Animatable Clothed Human Models from Few Depth
Images [60.56518548286836]
新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。
本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
論文 参考訳(メタデータ) (2021-06-22T17:30:12Z) - Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。
私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
論文 参考訳(メタデータ) (2021-01-11T18:53:47Z) - SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。
我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。
我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
論文 参考訳(メタデータ) (2020-08-16T10:22:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。