Fugu-MT 論文翻訳(概要): An Embeddable Implicit IUVD Representation for Part-based 3D Human Surface Reconstruction

論文の概要: An Embeddable Implicit IUVD Representation for Part-based 3D Human Surface Reconstruction

arxiv url: http://arxiv.org/abs/2401.16810v2
Date: Mon, 15 Jul 2024 04:46:03 GMT
ステータス: 処理完了
システム内更新日: 2024-07-17 02:14:47.287545
Title: An Embeddable Implicit IUVD Representation for Part-based 3D Human Surface Reconstruction
Title（参考訳）: 部品ベース3次元表面再構成のための埋め込み型インシシットIUVD表現法
Authors: Baoxing Li, Yong Deng, Yehui Yang, Xu Zhao,
Abstract要約: 単一の画像から3次元の人体表面を再構築するには、人間のポーズ、形状、衣服の詳細を同時に検討することが重要である。最近のアプローチでは、身体のポーズと形状をキャプチャするパラメトリックボディモデル(SMPLなど)が組み合わされている。本稿では,IUVD占有関数とフィードバッククエリアルゴリズムからなる新しいIUVD-Feedback表現を提案する。
参考スコア（独自算出の注目度）: 22.349648542401805
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: To reconstruct a 3D human surface from a single image, it is crucial to simultaneously consider human pose, shape, and clothing details. Recent approaches have combined parametric body models (such as SMPL), which capture body pose and shape priors, with neural implicit functions that flexibly learn clothing details. However, this combined representation introduces additional computation, e.g. signed distance calculation in 3D body feature extraction, leading to redundancy in the implicit query-and-infer process and failing to preserve the underlying body shape prior. To address these issues, we propose a novel IUVD-Feedback representation, consisting of an IUVD occupancy function and a feedback query algorithm. This representation replaces the time-consuming signed distance calculation with a simple linear transformation in the IUVD space, leveraging the SMPL UV maps. Additionally, it reduces redundant query points through a feedback mechanism, leading to more reasonable 3D body features and more effective query points, thereby preserving the parametric body prior. Moreover, the IUVD-Feedback representation can be embedded into any existing implicit human reconstruction pipeline without requiring modifications to the trained neural networks. Experiments on the THuman2.0 dataset demonstrate that the proposed IUVD-Feedback representation improves the robustness of results and achieves three times faster acceleration in the query-and-infer process. Furthermore, this representation holds potential for generative applications by leveraging its inherent semantic information from the parametric body model.
Abstract（参考訳）: 単一の画像から3次元の人体表面を再構築するには、人間のポーズ、形状、衣服の詳細を同時に検討することが重要である。近年のアプローチでは、身体のポーズや形状を捉えるパラメトリックボディモデル(SMPLなど)と、衣服の詳細を柔軟に学習する神経暗黙の機能を組み合わせている。しかし、この組み合わせ表現は、例えば3次元体の特徴抽出におけるg符号距離の計算を導入し、暗黙のクエリ・アンド・インファープロセスにおける冗長性をもたらし、基礎となる体形を事前に保存しない。これらの問題に対処するために、IUVD占有関数とフィードバッククエリアルゴリズムからなる新しいIUVD-Feedback表現を提案する。この表現は、SMPL UVマップを利用して、IUVD空間における単純な線形変換に時間を要する符号距離計算を置き換える。さらに、フィードバックメカニズムを通じて冗長なクエリポイントを削減し、より合理的な3Dボディ特徴とより効果的なクエリポイントをもたらし、パラメトリックボディを事前に保存する。さらに、IUVD-Feedback表現は、トレーニングされたニューラルネットワークの変更を必要とせずに、既存の暗黙の人間の再構築パイプラインに組み込むことができる。 THuman2.0データセットの実験では、提案したIUVD-Feedback表現が結果のロバスト性を改善し、クエリ・アンド・インファーの3倍の高速化を実現している。さらに、この表現は、パラメトリックボディモデルから固有の意味情報を活用することによって、生成的応用の可能性を秘めている。

関連論文リスト

StackFLOW: Monocular Human-Object Reconstruction by Stacked Normalizing Flow with Offset [56.71580976007712]
本研究では,人間のメッシュと物体メッシュの表面から密にサンプリングされたアンカー間の人物体オフセットを用いて,人物体空間関係を表現することを提案する。この表現に基づいて、画像から人・物間の空間関係の後方分布を推定するスタック正規化フロー(StackFLOW)を提案する。最適化段階では、サンプルの可能性を最大化することにより、人体ポーズと物体6Dポーズを微調整する。
論文参考訳（メタデータ） (2024-07-30T04:57:21Z)
VQ-HPS: Human Pose and Shape Estimation in a Vector-Quantized Latent Space [43.368963897752664]
この研究は、ヒューマン・ポースと形状推定の問題に対処する新しいパラダイムを導入している。身体モデルパラメータを予測する代わりに、提案した離散潜在表現を予測することに重点を置いている。提案モデルであるVQ-HPSはメッシュの離散潜在表現を予測する。
論文参考訳（メタデータ） (2023-12-13T17:08:38Z)
Neural Refinement for Absolute Pose Regression with Feature Synthesis [33.2608395824548]
APR(Absolute Pose Regression)メソッドは、ディープニューラルネットワークを使用して、RGBイメージからカメラのポーズを直接回帰する。本研究では,暗黙的幾何制約を利用するテスト時間改善パイプラインを提案する。また、トレーニング中に3次元幾何学的特徴を符号化し、テスト時に高密度な新しいビュー特徴を直接レンダリングしてAPR法を洗練させるニューラル・フィーチャー・シンセサイザー(NeFeS)モデルも導入する。
論文参考訳（メタデータ） (2023-03-17T16:10:50Z)
Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。 LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
論文参考訳（メタデータ） (2022-05-12T17:55:51Z)
LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文参考訳（メタデータ） (2021-11-30T04:10:57Z)
Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文参考訳（メタデータ） (2020-08-16T13:38:41Z)
PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
論文参考訳（メタデータ） (2020-07-08T02:26:19Z)
Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。本稿では,ボディセグメンテーションを重要な監視対象として紹介する。部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
論文参考訳（メタデータ） (2020-03-24T14:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。