論文の概要: HumanLiff: Layer-wise 3D Human Generation with Diffusion Model

• arxiv url: http://arxiv.org/abs/2308.09712v1
• Date: Fri, 18 Aug 2023 17:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 12:08:49.473586
• Title: HumanLiff: Layer-wise 3D Human Generation with Diffusion Model
• Title（参考訳）: humanliff:拡散モデルを用いた階層型3次元人間生成
• Authors: Shoukang Hu, Fangzhou Hong, Tao Hu, Liang Pan, Haiyi Mei, Weiye Xiao, Lei Yang, Ziwei Liu
• Abstract要約: 既存の3D生成モデルは、主に1回のパスで、検出不能な3Dモデルとして、着物付き3D人間を生成する。 拡散過程を統一した第1層の3次元人間生成モデルであるHumanLiffを提案する。
• 参考スコア（独自算出の注目度）: 55.891036415316876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D human generation from 2D images has achieved remarkable progress through the synergistic utilization of neural rendering and generative models. Existing 3D human generative models mainly generate a clothed 3D human as an undetectable 3D model in a single pass, while rarely considering the layer-wise nature of a clothed human body, which often consists of the human body and various clothes such as underwear, outerwear, trousers, shoes, etc. In this work, we propose HumanLiff, the first layer-wise 3D human generative model with a unified diffusion process. Specifically, HumanLiff firstly generates minimal-clothed humans, represented by tri-plane features, in a canonical space, and then progressively generates clothes in a layer-wise manner. In this way, the 3D human generation is thus formulated as a sequence of diffusion-based 3D conditional generation. To reconstruct more fine-grained 3D humans with tri-plane representation, we propose a tri-plane shift operation that splits each tri-plane into three sub-planes and shifts these sub-planes to enable feature grid subdivision. To further enhance the controllability of 3D generation with 3D layered conditions, HumanLiff hierarchically fuses tri-plane features and 3D layered conditions to facilitate the 3D diffusion model learning. Extensive experiments on two layer-wise 3D human datasets, SynBody (synthetic) and TightCap (real-world), validate that HumanLiff significantly outperforms state-of-the-art methods in layer-wise 3D human generation. Our code will be available at https://skhu101.github.io/HumanLiff.
• Abstract（参考訳）: 2次元画像からの3次元人間の生成は、ニューラルネットワークのレンダリングと生成モデルの相乗的利用を通じて著しく進歩した。 既存の3D人造モデルでは、人体や下着、外着、ズボン、靴など各種の衣服からなりがちな、被着体の層回りの性質を考慮せずに、検出不能な3Dモデルとして1回のパスで、着物3D人間を主に生成する。 本研究では,統一拡散過程を持つ最初の階層的3次元生成モデルであるhumanliffを提案する。 具体的には、HumanLiffはまず、三面体の特徴で表される最小限の衣服を標準空間で生成し、その後、階層的に着物を徐々に生成する。 このようにして、3次元ヒト世代は拡散に基づく3次元条件生成の系列として定式化される。 より微細な3次元人体を3次元平面表現で再構成するために, 3次元平面を3次元平面に分割し, 特徴格子分割を可能にする3次元平面シフト演算を提案する。 3次元拡散モデル学習を容易にするために,HumanLiffは3次元平面の特徴と3次元層状条件を階層的に融合する。 SynBody(synthetic)とTightCap(real-world)の2つのレイヤワイドな人間のデータセットに対する大規模な実験は、HumanLiffがレイヤーワイドな人間の世代における最先端の手法を大幅に上回っていることを証明した。 私たちのコードはhttps://skhu101.github.io/humanliffで利用可能です。

関連論文リスト

• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• StructLDM: Structured Latent Diffusion for 3D Human Generation [45.51684124904457]
  StructLDMは2次元画像から学習した拡散に基づく非条件の人間の生成モデルである。 ポーズ/ビュー/シェイプコントロールや、合成世代、部品認識の衣服編集、3Dバーチャルトライオンなどのハイレベルなタスクなど、さまざまなレベルのコントロール可能な3Dヒューマン生成と編集を可能にする。
  論文  参考訳（メタデータ） (2024-04-01T17:00:18Z)
• Progress and Prospects in 3D Generative AI: A Technical Overview including 3D human [51.58094069317723]
  本稿は,2023年後半に主に刊行された関連論文の概要と概要を概説することを目的とする。 最初は、AIが生成したオブジェクトモデルを3Dで議論し、続いて生成された3Dの人間モデル、そして最後に生成された3Dの人間の動きを、決定的な要約と未来へのビジョンで結論付ける。
  論文  参考訳（メタデータ） (2024-01-05T03:41:38Z)
• HumanNorm: Learning Normal Diffusion Model for High-quality and Realistic 3D Human Generation [41.82589219009301]
  我々は,高品質でリアルな3Dヒューマンジェネレーションのための新しいアプローチであるHumanNormを提案する。 モデルの主な考え方は、正規適応拡散モデルと正規整合拡散モデルを学ぶことによって、3次元幾何学の2次元知覚を強化することである。 HumanNormは、テクスチャとテクスチャの質の両方において、既存のテキストから3Dメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-10-02T17:59:17Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using Pixel-aligned Reconstruction Priors [56.192682114114724]
  Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。 我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
  論文  参考訳（メタデータ） (2023-02-02T15:37:46Z)
• 3DHumanGAN: 3D-Aware Human Image Generation with 3D Pose Mapping [37.14866512377012]
  3DHumanGAN(3DHumanGAN)は、全身の人間の写実的な画像を合成する3D対応の対向ネットワークである。 本稿では,3次元ポーズマッピングネットワークによって2次元畳み込みバックボーンを変調する新しいジェネレータアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-12-14T17:59:03Z)
• 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
  本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。 DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-02T17:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。