論文の概要: An Embeddable Implicit IUVD Representation for Part-based 3D Human Surface Reconstruction

• arxiv url: http://arxiv.org/abs/2401.16810v1
• Date: Tue, 30 Jan 2024 08:14:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 15:42:11.346630
• Title: An Embeddable Implicit IUVD Representation for Part-based 3D Human Surface Reconstruction
• Title（参考訳）: 三次元表面再構成のための埋め込み型インシシットIUVD表現法
• Authors: Baoxing Li, Yong Deng, Yehui Yang, Xu Zhao
• Abstract要約: 一つの画像から3次元の人体表面を再構築するには、人間のポーズ、形状、衣服の詳細を同時に考えることが重要である。 本稿では,IUVD占有関数とフィードバッククエリアルゴリズムを組み合わせた新しいIUVD-Feedback表現を提案する。 THuman2.0データセットの実験では、提案したIUVD-Feedback表現が結果の堅牢性を向上し、3倍の高速化を実現している。
• 参考スコア（独自算出の注目度）: 24.415385444769953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To reconstruct a 3D human surface from a single image, it is important to consider human pose, shape and clothing details simultaneously. In recent years, a combination of parametric body models (such as SMPL) that capture body pose and shape prior, and neural implicit functions that learn flexible clothing details, has been used to integrate the advantages of both approaches. However, the combined representation introduces additional computation, e.g. signed distance calculation, in 3D body feature extraction, which exacerbates the redundancy of the implicit query-and-infer process and fails to preserve the underlying body shape prior. To address these issues, we propose a novel IUVD-Feedback representation, which consists of an IUVD occupancy function and a feedback query algorithm. With this representation, the time-consuming signed distance calculation is replaced by a simple linear transformation in the IUVD space, leveraging the SMPL UV maps. Additionally, the redundant query points in the query-and-infer process are reduced through a feedback mechanism. This leads to more reasonable 3D body features and more effective query points, successfully preserving the parametric body prior. Moreover, the IUVD-Feedback representation can be embedded into any existing implicit human reconstruction pipelines without modifying the trained neural networks. Experiments on THuman2.0 dataset demonstrate that the proposed IUVD-Feedback representation improves result robustness and achieves three times faster acceleration in the query-and-infer process. Furthermore, this representation has the potential to be used in generative applications by leveraging its inherited semantic information from the parametric body model.
• Abstract（参考訳）: 一つの画像から3次元の人体表面を再構築するには、人間のポーズ、形状、衣服の詳細を同時に考えることが重要である。 近年では、身体のポーズや形状を捉えるパラメトリックボディモデル(SMPLなど)と、柔軟な衣服の詳細を学習する神経暗黙の関数の組み合わせが、両方のアプローチの利点を統合するために使用されている。 しかし、結合表現は、3dボディ特徴抽出において符号付き距離計算のような追加の計算を導入し、暗黙のクエリ・アンド・推論プロセスの冗長性を悪化させ、基礎となるボディ形状を事前に保持できない。 これらの問題に対処するために、IUVD占有関数とフィードバッククエリアルゴリズムからなる新しいIUVD-Feedback表現を提案する。 この表現により、時間を要する符号付き距離計算は、SMPL UVマップを利用して、IUVD空間における単純な線形変換に置き換えられる。 さらに、クエリ・アンド・推論プロセスの冗長なクエリポイントは、フィードバック機構によって削減される。 これはより合理的な3Dボディ特徴とより効果的なクエリポイントをもたらし、パラメトリックボディを事前に保存することに成功した。 さらに、IUVD-Feedback表現は、トレーニングされたニューラルネットワークを変更することなく、既存の暗黙の人間の再構築パイプラインに組み込むことができる。 THuman2.0データセットの実験では、提案したIUVD-Feedback表現が結果の堅牢性を改善し、クエリ・アンド・インファー・プロセスの3倍の高速化を実現している。 さらに、この表現は、パラメトリックボディモデルから継承されたセマンティック情報を活用することによって、生成的応用に使用される可能性がある。

関連論文リスト

• StackFLOW: Monocular Human-Object Reconstruction by Stacked Normalizing Flow with Offset [56.71580976007712]
  本研究では,人間のメッシュと物体メッシュの表面から密にサンプリングされたアンカー間の人物体オフセットを用いて,人物体空間関係を表現することを提案する。 この表現に基づいて、画像から人・物間の空間関係の後方分布を推定するスタック正規化フロー(StackFLOW)を提案する。 最適化段階では、サンプルの可能性を最大化することにより、人体ポーズと物体6Dポーズを微調整する。
  論文  参考訳（メタデータ） (2024-07-30T04:57:21Z)
• VQ-HPS: Human Pose and Shape Estimation in a Vector-Quantized Latent Space [43.368963897752664]
  この研究は、ヒューマン・ポースと形状推定の問題に対処する新しいパラダイムを導入している。 身体モデルパラメータを予測する代わりに、提案した離散潜在表現を予測することに重点を置いている。 提案モデルであるVQ-HPSはメッシュの離散潜在表現を予測する。
  論文  参考訳（メタデータ） (2023-12-13T17:08:38Z)
• Neural Refinement for Absolute Pose Regression with Feature Synthesis [33.2608395824548]
  APR(Absolute Pose Regression)メソッドは、ディープニューラルネットワークを使用して、RGBイメージからカメラのポーズを直接回帰する。 本研究では,暗黙的幾何制約を利用するテスト時間改善パイプラインを提案する。 また、トレーニング中に3次元幾何学的特徴を符号化し、テスト時に高密度な新しいビュー特徴を直接レンダリングしてAPR法を洗練させるニューラル・フィーチャー・シンセサイザー(NeFeS)モデルも導入する。
  論文  参考訳（メタデータ） (2023-03-17T16:10:50Z)
• Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
  画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。 われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。 LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
  論文  参考訳（メタデータ） (2022-05-12T17:55:51Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。