論文の概要: Semantic Human Mesh Reconstruction with Textures

• arxiv url: http://arxiv.org/abs/2403.02561v1
• Date: Tue, 5 Mar 2024 00:34:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 16:39:07.293656
• Title: Semantic Human Mesh Reconstruction with Textures
• Title（参考訳）: テクスチャを用いたセマンティックヒューマンメッシュ再構築
• Authors: Xiaoyu Zhan, Jianxin Yang, Yuanqi Li, Jie Guo, Yanwen Guo, Wenping Wang
• Abstract要約: SHERTは、セマンティックなヒューマンメッシュをテクスチャと高精度で再構築する、新しいパイプラインである。 再構成メッシュには、安定した紫外線アンラッピング、高品質なトライアングルメッシュ、一貫性のあるセマンティック情報がある。
• 参考スコア（独自算出の注目度）: 43.03509017865438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of 3D detailed human mesh reconstruction has made significant progress in recent years. However, current methods still face challenges when used in industrial applications due to unstable results, low-quality meshes, and a lack of UV unwrapping and skinning weights. In this paper, we present SHERT, a novel pipeline that can reconstruct semantic human meshes with textures and high-precision details. SHERT applies semantic- and normal-based sampling between the detailed surface (eg mesh and SDF) and the corresponding SMPL-X model to obtain a partially sampled semantic mesh and then generates the complete semantic mesh by our specifically designed self-supervised completion and refinement networks. Using the complete semantic mesh as a basis, we employ a texture diffusion model to create human textures that are driven by both images and texts. Our reconstructed meshes have stable UV unwrapping, high-quality triangle meshes, and consistent semantic information. The given SMPL-X model provides semantic information and shape priors, allowing SHERT to perform well even with incorrect and incomplete inputs. The semantic information also makes it easy to substitute and animate different body parts such as the face, body, and hands. Quantitative and qualitative experiments demonstrate that SHERT is capable of producing high-fidelity and robust semantic meshes that outperform state-of-the-art methods.
• Abstract（参考訳）: 近年,3次元メッシュ再構築の分野は大きな進歩を遂げている。 しかしながら、現在の手法は、不安定な結果、低品質メッシュ、UVアンラッピングとスキンウェイトが欠如しているため、産業用途での使用において依然として課題に直面している。 本稿では,セマンティック・ヒューマンメッシュをテクスチャと高精度で再構築可能な新しいパイプラインであるSHERTを提案する。 shertは、詳細な表面(例えばメッシュとsdf)と対応するsmpl-xモデルの間にセマンティックおよび正規のサンプリングを適用し、部分サンプリングされたセマンティックメッシュを取得し、特別に設計された自己教師付き補完および精細化ネットワークによって完全なセマンティックメッシュを生成する。 完全なセマンティックメッシュをベースとして、画像とテキストの両方によって駆動される人間のテクスチャを作成するためにテクスチャ拡散モデルを用いる。 再構成メッシュには、安定した紫外線アンラッピング、高品質なトライアングルメッシュ、一貫性のあるセマンティック情報がある。 与えられたsmpl-xモデルは意味情報と形状事前情報を提供し、shertは不正確な入力でもうまく機能する。 また、セマンティック情報により、顔、体、手などの異なる身体部位の置き換えやアニメーションも容易になる。 定量的および定性的実験により、SHERTは最先端の手法より優れた高忠実で堅牢なセマンティックメッシュを生成することができることを示した。

関連論文リスト

• DreamPolish: Domain Score Distillation With Progressive Geometry Generation [66.94803919328815]
  本稿では,高精細な幾何学と高品質なテクスチャの創出に優れたテキスト・ツー・3D生成モデルであるDreamPolishを紹介する。 幾何構成フェーズでは, 合成過程の安定性を高めるために, 複数のニューラル表現を利用する。 テクスチャ生成フェーズでは、そのような領域に向けて神経表現を導くために、新しいスコア蒸留、すなわちドメインスコア蒸留(DSD)を導入する。
  論文  参考訳（メタデータ） (2024-11-03T15:15:01Z)
• Fine-Grained Multi-View Hand Reconstruction Using Inverse Rendering [11.228453237603834]
  本稿では,逆レンダリングを利用して手ポーズを復元し,詳細を複雑化する多視点ハンドメッシュ再構成手法を提案する。 また、ハンドメッシュとテクスチャの両方を洗練させるために、新しいハンドアルベドとメッシュ(HAM)最適化モジュールも導入した。 提案手法は,再現精度とレンダリング品質の両面において,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-08T07:28:24Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• Single Mesh Diffusion Models with Field Latents for Texture Generation [18.78126579775479]
  本稿では,3次元形状の表面に直接作用する固有潜在拡散モデルを提案する。 私たちは、メッシュ上の特定のテクスチャのバリエーションを生成するために、モデルがトレーニングされる、単一テクスチャ・メシュのパラダイムを考えています。 我々のモデルは、インペイントやラベル誘導生成などのユーザ制御編集タスクにも適応できる。
  論文  参考訳（メタデータ） (2023-12-14T18:59:36Z)
• PaintHuman: Towards High-fidelity Text-to-3D Human Texturing via Denoised Score Distillation [89.09455618184239]
  テキスト・ツー・3D世代における最近の進歩は画期的なものである。 そこで我々はPaintHumanというモデルを提案し,その課題を2つの側面から解決する。 奥行きマップを手引きとして,現実的なセマンティックなテクスチャの整合性を保証する。
  論文  参考訳（メタデータ） (2023-10-14T00:37:16Z)
• HiFiHR: Enhancing 3D Hand Reconstruction from a Single Image via High-Fidelity Texture [40.012406098563204]
  一つの画像から学習フレームワークのレンダリング・アンド・コンパレンスを利用する高忠実手再構成手法であるHiFiHRを提案する。 FreiHAND や HO-3D などの公開ベンチマークによる実験結果から, テクスチャ再構築における手作り工法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-08-25T18:48:40Z)
• Mesh Draping: Parametrization-Free Neural Mesh Transfer [92.55503085245304]
  Mesh Drapingは、既存のメッシュ構造をある形状から別の形状に転送するニューラルネットワークである。 我々は、徐々に増加する周波数を活用して、ニューラルネットワークの最適化を導くことにより、安定かつ高品質なメッシュ転送を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-11T17:24:52Z)
• Topologically Consistent Multi-View Face Inference Using Volumetric Sampling [25.001398662643986]
  ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。 新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。 これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
  論文  参考訳（メタデータ） (2021-10-06T17:55:08Z)
• Shape My Face: Registering 3D Face Scans by Surface-to-Surface Translation [75.59415852802958]
  Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。 私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
  論文  参考訳（メタデータ） (2020-12-16T20:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。