論文の概要: HiLo: Detailed and Robust 3D Clothed Human Reconstruction with High-and Low-Frequency Information of Parametric Models

• arxiv url: http://arxiv.org/abs/2404.04876v1
• Date: Sun, 7 Apr 2024 08:46:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 19:11:06.291620
• Title: HiLo: Detailed and Robust 3D Clothed Human Reconstruction with High-and Low-Frequency Information of Parametric Models
• Title（参考訳）: HiLo: パラメトリックモデルの高次・低周波情報を用いた細部・ロバストな3次元再構成
• Authors: Yifan Yang, Dong Liu, Shuhai Zhang, Zeshuai Deng, Zixiong Huang, Mingkui Tan,
• Abstract要約: パラメトリックモデルからの高周波(HF)および低周波(LF)情報は、幾何学的詳細を強化し、ノイズに対する堅牢性を向上させる可能性がある。 2つのコンポーネントを含む高周波数情報と低周波情報を用いたHiLoを提案する。 実験の結果、HiLoはシャンファー距離で10.43%、9.54%、最先端の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 38.308167761439165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing 3D clothed human involves creating a detailed geometry of individuals in clothing, with applications ranging from virtual try-on, movies, to games. To enable practical and widespread applications, recent advances propose to generate a clothed human from an RGB image. However, they struggle to reconstruct detailed and robust avatars simultaneously. We empirically find that the high-frequency (HF) and low-frequency (LF) information from a parametric model has the potential to enhance geometry details and improve robustness to noise, respectively. Based on this, we propose HiLo, namely clothed human reconstruction with high- and low-frequency information, which contains two components. 1) To recover detailed geometry using HF information, we propose a progressive HF Signed Distance Function to enhance the detailed 3D geometry of a clothed human. We analyze that our progressive learning manner alleviates large gradients that hinder model convergence. 2) To achieve robust reconstruction against inaccurate estimation of the parametric model by using LF information, we propose a spatial interaction implicit function. This function effectively exploits the complementary spatial information from a low-resolution voxel grid of the parametric model. Experimental results demonstrate that HiLo outperforms the state-of-the-art methods by 10.43% and 9.54% in terms of Chamfer distance on the Thuman2.0 and CAPE datasets, respectively. Additionally, HiLo demonstrates robustness to noise from the parametric model, challenging poses, and various clothing styles.
• Abstract（参考訳）: 3Dの服を着た人間の再構築には、仮想試着、映画、ゲームなどを含む、衣服の個体の詳細な幾何学が関与する。 実用的で広範な応用を実現するため、近年の進歩として、RGB画像から布を被った人間を生成する方法が提案されている。 しかし、彼らは細部と頑丈なアバターを同時に再建するのに苦労した。 実験により、パラメトリックモデルからの高周波(HF)と低周波(LF)の情報は、それぞれ、幾何学的詳細性を高め、ノイズに対する堅牢性を向上させる可能性があることがわかった。 そこで本研究では,2つのコンポーネントを含む高周波数情報と低周波情報を用いたHiLoを提案する。 1)HF情報を用いて詳細な形状を復元するために,衣服の詳細な3次元形状を向上するプログレッシブなHF符号距離関数を提案する。 モデル収束を阻害する大きな勾配を緩和する進行学習法を解析する。 2) LF情報を用いたパラメトリックモデルの不正確な推定に対する頑健な再構成を実現するために,空間的相互作用暗黙関数を提案する。 この関数はパラメトリックモデルの低分解能ボクセル格子からの補空間情報を効果的に活用する。 実験の結果、HiLoはT Human2.0データセットとCAPEデータセットのチャムファー距離において、最先端の手法を10.43%、9.54%上回ることがわかった。 さらに、HiLoはパラメトリックモデル、挑戦的なポーズ、さまざまな服装スタイルからのノイズに対する堅牢性を示している。

関連論文リスト

• DRiVE: Diffusion-based Rigging Empowers Generation of Versatile and Expressive Characters [15.626704323367983]
  DRiVEは複雑な構造を持つ3Dヒューマンキャラクタの生成とリグのための新しいフレームワークである。 コードとデータセットは受理後、学術的利用のために公開される。
  論文  参考訳（メタデータ） (2024-11-26T13:30:41Z)
• DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors [4.697267141773321]
  人-物体相互作用(HOI)のゼロショット合成法であるDreamHOIを提案する。 我々は、何十億もの画像キャプチャーペアで訓練されたテキストと画像の拡散モデルを利用して、リアルなHOIを生成する。 提案手法は広範囲な実験を通じて検証し,現実的なHOIを生成する上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-12T17:59:49Z)
• HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and Dynamic Details [66.74088288846491]
  HiFaceは、動的かつ静的なディテールで高忠実な3D顔再構成を目指している。 我々は、いくつかの損失関数を利用して、粗い形状と、合成データセットと実世界のデータセットの両方で詳細を共同で学習する。
  論文  参考訳（メタデータ） (2023-03-20T16:07:02Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• UltraPose: Synthesizing Dense Pose with 1 Billion Points by Human-body Decoupling 3D Model [58.70130563417079]
  我々は,身体の発生を自由に制御できる,一連の分離されたパラメータを持つ新しい3次元人体モデルを導入する。 既存の手動注釈付きDensePose-COCOデータセットと比較して、合成されたUltraPoseは、アノテーションのコストと誤差を伴わずに、超高密度な画像-地上対応を持つ。
  論文  参考訳（メタデータ） (2021-10-28T16:24:55Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。