論文の概要: GeneMAN: Generalizable Single-Image 3D Human Reconstruction from Multi-Source Human Data

• arxiv url: http://arxiv.org/abs/2411.18624v1
• Date: Wed, 27 Nov 2024 18:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:26:15.690370
• Title: GeneMAN: Generalizable Single-Image 3D Human Reconstruction from Multi-Source Human Data
• Title（参考訳）: GeneMAN: マルチソースヒューマンデータから汎用的な1次元画像の再構築
• Authors: Wentao Wang, Hang Ye, Fangzhou Hong, Xue Yang, Jianfu Zhang, Yizhou Wang, Ziwei Liu, Liang Pan,
• Abstract要約: 高忠実度3Dモデルを構築するのが難しい課題です。 GeneMANは高品質な人間のデータを総合的に収集する。 GeneMANは、単一の画像入力から高品質な3Dモデルを生成することができ、最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 61.05815629606135
• License:
• Abstract: Given a single in-the-wild human photo, it remains a challenging task to reconstruct a high-fidelity 3D human model. Existing methods face difficulties including a) the varying body proportions captured by in-the-wild human images; b) diverse personal belongings within the shot; and c) ambiguities in human postures and inconsistency in human textures. In addition, the scarcity of high-quality human data intensifies the challenge. To address these problems, we propose a Generalizable image-to-3D huMAN reconstruction framework, dubbed GeneMAN, building upon a comprehensive multi-source collection of high-quality human data, including 3D scans, multi-view videos, single photos, and our generated synthetic human data. GeneMAN encompasses three key modules. 1) Without relying on parametric human models (e.g., SMPL), GeneMAN first trains a human-specific text-to-image diffusion model and a view-conditioned diffusion model, serving as GeneMAN 2D human prior and 3D human prior for reconstruction, respectively. 2) With the help of the pretrained human prior models, the Geometry Initialization-&-Sculpting pipeline is leveraged to recover high-quality 3D human geometry given a single image. 3) To achieve high-fidelity 3D human textures, GeneMAN employs the Multi-Space Texture Refinement pipeline, consecutively refining textures in the latent and the pixel spaces. Extensive experimental results demonstrate that GeneMAN could generate high-quality 3D human models from a single image input, outperforming prior state-of-the-art methods. Notably, GeneMAN could reveal much better generalizability in dealing with in-the-wild images, often yielding high-quality 3D human models in natural poses with common items, regardless of the body proportions in the input images.
• Abstract（参考訳）: 高忠実度3Dモデルを構築するのが難しい課題です。 既存の方法が困難に直面している場合 a) 被写体画像で捉えた身体比の変動 b) ショット内の多様な個人所有物,及び c) ヒトの姿勢の曖昧性及びヒトのテクスチャの不整合 さらに、高品質な人間のデータの不足は、その課題を強化する。 これらの問題に対処するために,GeneMANと呼ばれる汎用画像から3DのhuMAN再構成フレームワークを提案する。 GeneMANは3つの重要なモジュールを含んでいる。 1) パラメトリックな人体モデル(SMPLなど)に頼らず、GeneMANはまず、人間固有のテキスト・画像拡散モデルとビューコンディショニング拡散モデルを訓練し、それぞれ、再建に先立って、GeneMAN 2Dと3D人間として機能する。 2) 事前訓練された人体モデルの助けを借り, 幾何初期化・探索パイプラインを利用して1枚の画像から高品質な3次元人体形状を復元する。 3) 高忠実度3Dテクスチャを実現するため,GeneMANはマルチスペーステクスチャリファインメントパイプラインを使用し,潜時空間と画素空間のテクスチャを連続的に精製する。 大規模な実験結果から、GeneMANは1つの画像入力から高品質な3Dモデルを生成することができ、従来の最先端の手法よりも優れていることが示された。 特に、GeneMANは、入力画像の体比に関わらず、自然のポーズで高品質な3Dモデルを生成することができる。

関連論文リスト

• HumanGif: Single-View Human Diffusion with Generative Prior [25.516544735593087]
  HumanGif/strong>は,2次元キャラクタアニメーションの成功に動機づけられた1視点のヒト拡散モデルである。 単一ビューに基づく3次元人間の新しいビューを定式化し、単一ビュー条件のヒト拡散過程として合成する。
  論文  参考訳（メタデータ） (2025-02-17T17:55:27Z)
• Single Image, Any Face: Generalisable 3D Face Generation [59.9369171926757]
  我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。 私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
  論文  参考訳（メタデータ） (2024-09-25T14:56:37Z)
• PSHuman: Photorealistic Single-view Human Reconstruction using Cross-Scale Diffusion [43.850899288337025]
  PSHumanは、マルチビュー拡散モデルから事前情報を利用した人間のメッシュを明示的に再構築する新しいフレームワークである。 単視点の人間の画像に直接多視点拡散を適用すると、厳密な幾何学的歪みが生じることが判明した。 そこで我々は, SMPL-Xのようなパラメトリックモデルを用いて, 人間のポーズの断面形状の整合性を高めるために, 生成モデルを定式化した。
  論文  参考訳（メタデータ） (2024-09-16T10:13:06Z)
• HumanSplat: Generalizable Single-Image Human Gaussian Splatting with Structure Priors [47.62426718293504]
  HumanSplatは、単一の入力画像から、任意の人間の3次元ガウススプティング特性を予測する。 HumanSplatは、フォトリアリスティックなノベルビュー合成を実現するために、既存の最先端の手法を超越している。
  論文  参考訳（メタデータ） (2024-06-18T10:05:33Z)
• HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion [114.15397904945185]
  本稿では,高リアリズムと多彩なレイアウトの人体画像を生成する統一的なフレームワークHyperHumanを提案する。 本モデルは,統合ネットワークにおける画像の外観,空間的関係,幾何学の連成学習を強制する。 我々のフレームワークは最先端の性能を生み出し、多様なシナリオ下で超現実的な人間の画像を生成する。
  論文  参考訳（メタデータ） (2023-10-12T17:59:34Z)
• HumanNorm: Learning Normal Diffusion Model for High-quality and Realistic 3D Human Generation [41.82589219009301]
  我々は,高品質でリアルな3Dヒューマンジェネレーションのための新しいアプローチであるHumanNormを提案する。 モデルの主な考え方は、正規適応拡散モデルと正規整合拡散モデルを学ぶことによって、3次元幾何学の2次元知覚を強化することである。 HumanNormは、テクスチャとテクスチャの質の両方において、既存のテキストから3Dメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-10-02T17:59:17Z)
• HumanLiff: Layer-wise 3D Human Generation with Diffusion Model [55.891036415316876]
  既存の3D生成モデルは、主に1回のパスで、検出不能な3Dモデルとして、着物付き3D人間を生成する。 拡散過程を統一した第1層の3次元人間生成モデルであるHumanLiffを提案する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:04Z)
• Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using Pixel-aligned Reconstruction Priors [56.192682114114724]
  Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。 我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
  論文  参考訳（メタデータ） (2023-02-02T15:37:46Z)
• THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
  THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。 完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。 野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
  論文  参考訳（メタデータ） (2021-06-17T09:09:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。