論文の概要: SMPLitex: A Generative Model and Dataset for 3D Human Texture Estimation
from Single Image
- arxiv url: http://arxiv.org/abs/2309.01855v2
- Date: Thu, 7 Sep 2023 20:44:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 17:15:54.256424
- Title: SMPLitex: A Generative Model and Dataset for 3D Human Texture Estimation
from Single Image
- Title(参考訳): SMPLitex: 単一画像からの3次元テクスチャ推定のための生成モデルとデータセット
- Authors: Dan Casas, Marc Comino-Trinidad
- Abstract要約: SMPLitexは、単一の画像から捉えた人間の完全な3D外観を推定し、操作する方法である。
まず3次元人間の外観を再現するための生成モデルをトレーニングし,その生成モデルを被験者の可視部位に調和させることで入力画像に適合させる。
- 参考スコア(独自算出の注目度): 9.175023122753785
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose SMPLitex, a method for estimating and manipulating the complete 3D
appearance of humans captured from a single image. SMPLitex builds upon the
recently proposed generative models for 2D images, and extends their use to the
3D domain through pixel-to-surface correspondences computed on the input image.
To this end, we first train a generative model for complete 3D human
appearance, and then fit it into the input image by conditioning the generative
model to the visible parts of the subject. Furthermore, we propose a new
dataset of high-quality human textures built by sampling SMPLitex conditioned
on subject descriptions and images. We quantitatively and qualitatively
evaluate our method in 3 publicly available datasets, demonstrating that
SMPLitex significantly outperforms existing methods for human texture
estimation while allowing for a wider variety of tasks such as editing,
synthesis, and manipulation
- Abstract(参考訳): SMPLitexは,1枚の画像から得られた人間の3D外観を推定し,操作する手法である。
SMPLitexは、最近提案された2次元画像の生成モデルの上に構築され、入力画像上で計算されたピクセル間対応によって3次元領域に拡張される。
この目的のために,まず3次元人間の外観を再現するための生成モデルを訓練し,その生成モデルを被写体の可視部位に条件付けして入力画像に適合させる。
さらに,主観的記述や画像に条件付きSMPLitexをサンプリングして構築した高品質な人文テクスチャのデータセットを提案する。
SMPLitex が既存のヒトのテクスチャ推定法よりも優れており,編集,合成,操作など幅広いタスクが可能であることを実証し,これらの手法を3つの公開データセットで定量的に質的に評価した。
関連論文リスト
- ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [13.551691697814908]
実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。
我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
論文 参考訳(メタデータ) (2024-03-04T07:57:05Z) - MVHuman: Tailoring 2D Diffusion with Multi-view Sampling For Realistic
3D Human Generation [45.88714821939144]
テキスト誘導から人間の放射界を生成するためのMVHumanという代替スキームを提案する。
我々のコアは、一貫したマルチビュー画像を生成するための事前学習されたネットワークのデノイングプロセスを調整するためのマルチビューサンプリング戦略である。
論文 参考訳(メタデータ) (2023-12-15T11:56:26Z) - HumanRef: Single Image to 3D Human Generation via Reference-Guided
Diffusion [53.1558345421646]
単一ビュー入力から3次元のヒューマン生成フレームワークであるHumanRefを提案する。
生成した3Dモデルが入力画像と光写実的に整合していることを保証するため、HumanRefは参照誘導スコア蒸留サンプリングと呼ばれる新しい手法を導入した。
実験結果から,HumanRefは3D衣服を製作する上で,最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2023-11-28T17:06:28Z) - ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis [49.28239918969784]
テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
論文 参考訳(メタデータ) (2023-11-28T13:55:53Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳(メタデータ) (2023-08-18T17:55:47Z) - Neural Volumetric Object Selection [126.04480613166194]
マルチプレーン画像(MPI)やニューラルレイディアンスフィールド(NeRF)のような,神経体積の3次元表現における物体の選択手法を提案する。
提案手法では,前景と背景の2次元ユーザを1つの視点で記述し,対象物の3次元セグメンテーションを自動的に推定する。
論文 参考訳(メタデータ) (2022-05-30T08:55:20Z) - Building 3D Generative Models from Minimal Data [3.472931603805115]
一つの3Dテンプレート(1人1人ではなく1人1人)で顔の認識が可能であることを示す。
我々は,1つの3次元テンプレートと少数の2次元画像を用いて,3次元顔の分布の学習を可能にする,予備的な教師なし学習フレームワークにモデルを拡張した。
論文 参考訳(メタデータ) (2022-03-04T20:10:50Z) - 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。
DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
論文 参考訳(メタデータ) (2021-12-02T17:10:53Z) - 3D Human Texture Estimation from a Single Image with Transformers [106.6320286821364]
単一画像からの3次元人間のテクスチャ推定のためのトランスフォーマーベースのフレームワークを提案する。
また,RGBモデルとテクスチャフローモデルを組み合わせたマスク融合方式を提案する。
論文 参考訳(メタデータ) (2021-09-06T16:00:20Z) - Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
テクスチャ化された3Dメッシュの最初の生成モデルを示す。
我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。
レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
論文 参考訳(メタデータ) (2020-04-08T18:00:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。