論文の概要: Single-Image 3D Human Digitization with Shape-Guided Diffusion
- arxiv url: http://arxiv.org/abs/2311.09221v1
- Date: Wed, 15 Nov 2023 18:59:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 14:31:19.645279
- Title: Single-Image 3D Human Digitization with Shape-Guided Diffusion
- Title(参考訳): 形状誘導拡散を用いた1画像3次元デジタル化
- Authors: Badour AlBahar, Shunsuke Saito, Hung-Yu Tseng, Changil Kim, Johannes
Kopf, Jia-Bin Huang
- Abstract要約: NeRFとその変種は通常、異なる視点からのビデオや画像を必要とする。
単一入力画像から一貫した高解像度の外観を持つ人物の360度映像を生成する手法を提案する。
- 参考スコア(独自算出の注目度): 31.99621159464388
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present an approach to generate a 360-degree view of a person with a
consistent, high-resolution appearance from a single input image. NeRF and its
variants typically require videos or images from different viewpoints. Most
existing approaches taking monocular input either rely on ground-truth 3D scans
for supervision or lack 3D consistency. While recent 3D generative models show
promise of 3D consistent human digitization, these approaches do not generalize
well to diverse clothing appearances, and the results lack photorealism. Unlike
existing work, we utilize high-capacity 2D diffusion models pretrained for
general image synthesis tasks as an appearance prior of clothed humans. To
achieve better 3D consistency while retaining the input identity, we
progressively synthesize multiple views of the human in the input image by
inpainting missing regions with shape-guided diffusion conditioned on
silhouette and surface normal. We then fuse these synthesized multi-view images
via inverse rendering to obtain a fully textured high-resolution 3D mesh of the
given person. Experiments show that our approach outperforms prior methods and
achieves photorealistic 360-degree synthesis of a wide range of clothed humans
with complex textures from a single image.
- Abstract(参考訳): 単一入力画像から一貫した高解像度の外観を持つ人物の360度映像を生成する手法を提案する。
NeRFとその変種は通常、異なる視点からのビデオや画像を必要とする。
モノクルインプットを取り入れる既存のアプローチは、監督のために地上の3Dスキャンに依存するか、3D一貫性が欠如している。
近年の3次元生成モデルでは3次元一貫したデジタル化が期待できるが、これらの手法は多様な衣服の外観に適せず、フォトリアリズムが欠如している。
既存の研究と異なり,一般画像合成タスクに事前訓練された高容量2次元拡散モデルを用いて,被衣人間に先行して出現する。
入力アイデンティティを保ちつつ、より優れた3次元一貫性を実現するために、シルエットおよび表面正常に形状誘導拡散条件を付与した欠落領域を入力画像中の人間の複数のビューを段階的に合成する。
次に、合成されたマルチビュー画像を逆レンダリングで融合し、その人物の完全なテクスチャ化された高解像度3dメッシュを得る。
実験により,本手法は従来手法よりも優れており,単一の画像から複雑なテクスチャを持つ多種多様な衣服の360度合成を実現する。
関連論文リスト
- En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D
Synthetic Data [36.51674664590734]
本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。
従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
論文 参考訳(メタデータ) (2024-01-02T12:06:31Z) - R2Human: Real-Time 3D Human Appearance Rendering from a Single Image [46.691972209370704]
R$2$Humanは、1つの画像から3D人間の外見をリアルタイムに推測およびレンダリングするための最初のアプローチである。
本稿では、可視領域の高忠実な色再現を行い、隠蔽領域に対して信頼性の高い色推定を行うエンド・ツー・エンド・ネットワークを提案する。
論文 参考訳(メタデータ) (2023-12-10T08:59:43Z) - HumanRef: Single Image to 3D Human Generation via Reference-Guided
Diffusion [53.1558345421646]
単一ビュー入力から3次元のヒューマン生成フレームワークであるHumanRefを提案する。
生成した3Dモデルが入力画像と光写実的に整合していることを保証するため、HumanRefは参照誘導スコア蒸留サンプリングと呼ばれる新しい手法を導入した。
実験結果から,HumanRefは3D衣服を製作する上で,最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2023-11-28T17:06:28Z) - SiTH: Single-view Textured Human Reconstruction with Image-Conditioned
Diffusion [40.16197757961096]
SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。
入力画像から背面の外観を幻覚させるために,強力な生成拡散モデルを用いる。
インプットおよびバックビュー画像から全身のテクスチャメッシュを復元するために,スキン付きボディーメッシュをガイダンスとして活用する。
論文 参考訳(メタデータ) (2023-11-27T14:22:07Z) - GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。
アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
論文 参考訳(メタデータ) (2023-10-04T10:30:24Z) - SHERF: Generalizable Human NeRF from a Single Image [59.10589479808622]
SHERFは、単一の入力画像からアニマタブルな3D人間を復元するための、最初の一般化可能なヒトNeRFモデルである。
本稿では,情報符号化を容易にするために,グローバル,ポイントレベル,ピクセルアライン機能など3D対応の階層的特徴バンクを提案する。
論文 参考訳(メタデータ) (2023-03-22T17:59:12Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。
DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
論文 参考訳(メタデータ) (2021-12-02T17:10:53Z) - SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。
我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。
我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
論文 参考訳(メタデータ) (2020-08-16T10:22:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。