論文の概要: TeCH: Text-guided Reconstruction of Lifelike Clothed Humans
- arxiv url: http://arxiv.org/abs/2308.08545v2
- Date: Sat, 19 Aug 2023 20:08:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 20:18:36.659446
- Title: TeCH: Text-guided Reconstruction of Lifelike Clothed Humans
- Title（参考訳）: TeCH: テキスト誘導による生活着衣の復元
- Authors: Yangyi Huang, Hongwei Yi, Yuliang Xiu, Tingting Liao, Jiaxiang Tang,
Deng Cai, Justus Thies
- Abstract要約: 既存の方法は、ぼやけたテクスチャで非常に滑らかな裏面を生成することが多い。
基礎モデルの力に触発されて、TeCHは記述的テキストプロンプトを利用して3D人間を再構築する。
そこで本研究では,DMTetをベースとした3次元ハイブリッド表現を提案する。
- 参考スコア（独自算出の注目度）: 35.68114652041377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite recent research advancements in reconstructing clothed humans from a
single image, accurately restoring the "unseen regions" with high-level details
remains an unsolved challenge that lacks attention. Existing methods often
generate overly smooth back-side surfaces with a blurry texture. But how to
effectively capture all visual attributes of an individual from a single image,
which are sufficient to reconstruct unseen areas (e.g., the back view)?
Motivated by the power of foundation models, TeCH reconstructs the 3D human by
leveraging 1) descriptive text prompts (e.g., garments, colors, hairstyles)
which are automatically generated via a garment parsing model and Visual
Question Answering (VQA), 2) a personalized fine-tuned Text-to-Image diffusion
model (T2I) which learns the "indescribable" appearance. To represent
high-resolution 3D clothed humans at an affordable cost, we propose a hybrid 3D
representation based on DMTet, which consists of an explicit body shape grid
and an implicit distance field. Guided by the descriptive prompts +
personalized T2I diffusion model, the geometry and texture of the 3D humans are
optimized through multi-view Score Distillation Sampling (SDS) and
reconstruction losses based on the original observation. TeCH produces
high-fidelity 3D clothed humans with consistent & delicate texture, and
detailed full-body geometry. Quantitative and qualitative experiments
demonstrate that TeCH outperforms the state-of-the-art methods in terms of
reconstruction accuracy and rendering quality. The code will be publicly
available for research purposes at https://huangyangyi.github.io/TeCH
- Abstract（参考訳）: 単一の画像から衣服を復元する研究の進歩にもかかわらず、「見えない領域」を高いレベルで正確に復元することは、注意を欠く未解決の課題である。
既存の方法は、ぼやけたテクスチャで非常に滑らかな裏面を生成することが多い。
しかし、個々の視覚属性を単一の画像から効果的に捉えるには、見えない領域(例えば、バックビュー)を再構築するのに十分か?
基礎モデルの力に触発され、TeCHは3D人間を再構築する
1) 記述的テキストプロンプト(例えば、衣服、色、髪型)は、衣服解析モデルと視覚質問回答(VQA)を介して自動的に生成される。
2)「説明不能」な外観を学習するパーソナライズされたテキスト・ツー・イメージ拡散モデル(t2i)。
高分解能な3d服を着た人間を安価に表現するために,dmtetに基づくハイブリッド3d表現を提案する。
記述的プロンプト+パーソナライズされたT2I拡散モデルによって導かれる3次元人間の形状とテクスチャは、マルチビュースコア蒸留サンプリング(SDS)と元の観測に基づく復元損失により最適化される。
TeCHは、一貫性と繊細なテクスチャと詳細なフルボディ形状を備えた高忠実な3D衣服を生産する。
定量的および定性的実験により、TeCHは再現精度とレンダリング品質の点で最先端の手法より優れていることが示された。
コードは https://huangyangyi.github.io/TeCH で公開されます。
関連論文リスト
- FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。
このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。
本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
論文 参考訳（メタデータ） (2024-10-13T01:25:05Z) - ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis [49.28239918969784]
テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
論文 参考訳（メタデータ） (2023-11-28T13:55:53Z) - SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion [35.73448283467723]
SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。
我々は、入力画像に基づいて、見えないバックビューの外観を幻覚させるために、強力な生成拡散モデルを用いる。
後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。
論文 参考訳（メタデータ） (2023-11-27T14:22:07Z) - PaintHuman: Towards High-fidelity Text-to-3D Human Texturing via
Denoised Score Distillation [89.09455618184239]
テキスト・ツー・3D世代における最近の進歩は画期的なものである。
そこで我々はPaintHumanというモデルを提案し,その課題を2つの側面から解決する。
奥行きマップを手引きとして,現実的なセマンティックなテクスチャの整合性を保証する。
論文 参考訳（メタデータ） (2023-10-14T00:37:16Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳（メタデータ） (2023-05-04T17:58:40Z) - Detailed Avatar Recovery from Single Image [50.82102098057822]
本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。
階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。
本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
論文 参考訳（メタデータ） (2021-08-06T03:51:26Z) - OSTeC: One-Shot Texture Completion [86.23018402732748]
ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。
提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。
完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
論文 参考訳（メタデータ） (2020-12-30T23:53:26Z) - Multi-View Consistency Loss for Improved Single-Image 3D Reconstruction
of Clothed People [36.30755368202957]
本稿では,1枚の画像から3次元人物形状復元の精度を向上させるための新しい手法を提案する。
衣服、髪、体の大きさ、ポーズ、カメラの視点などによる形状の変化が大きいため、衣服の復元の正確さと完全性は限られている。
論文 参考訳（メタデータ） (2020-09-29T17:18:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。