論文の概要: SiTH: Single-view Textured Human Reconstruction with Image-Conditioned
Diffusion
- arxiv url: http://arxiv.org/abs/2311.15855v1
- Date: Mon, 27 Nov 2023 14:22:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 15:08:12.691694
- Title: SiTH: Single-view Textured Human Reconstruction with Image-Conditioned
Diffusion
- Title(参考訳): SiTH:画像共有拡散を用いた単視点テクスチャ再構築
- Authors: Hsuan-I Ho, Jie Song, Otmar Hilliges
- Abstract要約: SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。
入力画像から背面の外観を幻覚させるために,強力な生成拡散モデルを用いる。
インプットおよびバックビュー画像から全身のテクスチャメッシュを復元するために,スキン付きボディーメッシュをガイダンスとして活用する。
- 参考スコア(独自算出の注目度): 40.16197757961096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A long-standing goal of 3D human reconstruction is to create lifelike and
fully detailed 3D humans from single images. The main challenge lies in
inferring unknown human shapes, clothing, and texture information in areas not
visible in the images. To address this, we propose SiTH, a novel pipeline that
uniquely integrates an image-conditioned diffusion model into a 3D mesh
reconstruction workflow. At the core of our method lies the decomposition of
the ill-posed single-view reconstruction problem into hallucination and
reconstruction subproblems. For the former, we employ a powerful generative
diffusion model to hallucinate back appearances from the input images. For the
latter, we leverage skinned body meshes as guidance to recover full-body
texture meshes from the input and back-view images. Our designs enable training
of the pipeline with only about 500 3D human scans while maintaining its
generality and robustness. Extensive experiments and user studies on two 3D
reconstruction benchmarks demonstrated the efficacy of our method in generating
realistic, fully textured 3D humans from a diverse range of unseen images.
- Abstract(参考訳): 3d人間再建の長年の目標は、単一の画像から生命のような詳細な3d人間を作ることだ。
主な課題は、画像に見えない領域で、未知の人間の形、衣服、テクスチャ情報を推測することである。
そこで本研究では,画像条件拡散モデルを3次元メッシュ再構成ワークフローに一意に統合する新しいパイプライン sith を提案する。
提案手法の核心は,不正な単一視点再構成問題を幻覚・再構成サブプロブレムに分解することである。
前者には強力な生成拡散モデルを用いて,入力画像から後方の外観を幻覚させる。
後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。
われわれの設計では、その汎用性と堅牢性を保ちながら、約500人の人間のスキャンでパイプラインを訓練できる。
2つの3次元再構成ベンチマークに関する広範囲な実験とユーザ研究により、様々な非知覚画像からリアルで完全なテクスチャの3d人間を生成できることが実証された。
関連論文リスト
- HumanRef: Single Image to 3D Human Generation via Reference-Guided
Diffusion [53.1558345421646]
単一ビュー入力から3次元のヒューマン生成フレームワークであるHumanRefを提案する。
生成した3Dモデルが入力画像と光写実的に整合していることを保証するため、HumanRefは参照誘導スコア蒸留サンプリングと呼ばれる新しい手法を導入した。
実験結果から,HumanRefは3D衣服を製作する上で,最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2023-11-28T17:06:28Z) - Single-Image 3D Human Digitization with Shape-Guided Diffusion [31.99621159464388]
NeRFとその変種は通常、異なる視点からのビデオや画像を必要とする。
単一入力画像から一貫した高解像度の外観を持つ人物の360度映像を生成する手法を提案する。
論文 参考訳(メタデータ) (2023-11-15T18:59:56Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳(メタデータ) (2023-04-03T12:11:51Z) - ReFu: Refine and Fuse the Unobserved View for Detail-Preserving
Single-Image 3D Human Reconstruction [31.782985891629448]
シングルイメージの3次元再構成は,1枚の画像から人体の3次元テクスチャ面を再構築することを目的としている。
提案するReFuは、投影された背景像を精細化し、その精細な画像を融合して最終人体を予測するための粗大なアプローチである。
論文 参考訳(メタデータ) (2022-11-09T09:14:11Z) - NeuralReshaper: Single-image Human-body Retouching with Deep Neural
Networks [50.40798258968408]
本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。
われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。
ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
論文 参考訳(メタデータ) (2022-03-20T09:02:13Z) - Deep3DPose: Realtime Reconstruction of Arbitrarily Posed Human Bodies
from Single RGB Images [5.775625085664381]
本研究では,3次元人間のポーズを正確に再構築し,単一画像から詳細な3次元フルボディ幾何モデルをリアルタイムに構築する手法を提案する。
このアプローチの鍵となるアイデアは、単一のイメージを使用して5つの出力を同時に予測する、新しいエンドツーエンドのマルチタスクディープラーニングフレームワークである。
本研究では,3次元人体フロンティアを進化させ,定量的評価と最先端手法との比較により,単一画像からの再構築を図っている。
論文 参考訳(メタデータ) (2021-06-22T04:26:11Z) - Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face
Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。
3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文 参考訳(メタデータ) (2021-05-16T16:35:44Z) - RIN: Textured Human Model Recovery and Imitation with a Single Image [4.87676530016726]
本稿では,1枚の画像からテクスチャ化された3Dモデルを構築するための新しいボリュームベースフレームワークを提案する。
具体的には、人間のテクスチャのほとんどを推定するために、U-Netのようなフロントエンド翻訳ネットワークを提案する。
実験の結果,人間の模倣には容積モデルが適切であることが示され,バックビューはネットワークを用いて確実に推定できることがわかった。
論文 参考訳(メタデータ) (2020-11-24T11:04:35Z) - Multi-View Consistency Loss for Improved Single-Image 3D Reconstruction
of Clothed People [36.30755368202957]
本稿では,1枚の画像から3次元人物形状復元の精度を向上させるための新しい手法を提案する。
衣服、髪、体の大きさ、ポーズ、カメラの視点などによる形状の変化が大きいため、衣服の復元の正確さと完全性は限られている。
論文 参考訳(メタデータ) (2020-09-29T17:18:00Z) - AvatarMe: Realistically Renderable 3D Facial Reconstruction
"in-the-wild" [105.28776215113352]
AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。
6K解像度の3D画像を1枚の低解像度画像から再現する。
論文 参考訳(メタデータ) (2020-03-30T22:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。