論文の概要: Total Scale: Face-to-Body Detail Reconstruction from Sparse RGBD Sensors
- arxiv url: http://arxiv.org/abs/2112.02082v1
- Date: Fri, 3 Dec 2021 18:46:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-06 15:48:49.076900
- Title: Total Scale: Face-to-Body Detail Reconstruction from Sparse RGBD Sensors
- Title（参考訳）: sparse rgbdセンサーによる顔と身体のディテールの再構築
- Authors: Zheng Dong, Ke Xu, Ziheng Duan, Hujun Bao, Weiwei Xu, Rynson W.H. Lau
- Abstract要約: PIFuをベースとした再建術では, 顔面の平坦化が頻発する。
再建した顔のディテールの質を高めるために,2段階のPIFu表現を提案する。
顔の鮮明な細部と身体形状の変形におけるアプローチの有効性を実験的に検証した。
- 参考スコア（独自算出の注目度）: 52.38220261632204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While the 3D human reconstruction methods using Pixel-aligned implicit
function (PIFu) develop fast, we observe that the quality of reconstructed
details is still not satisfactory. Flat facial surfaces frequently occur in the
PIFu-based reconstruction results. To this end, we propose a two-scale PIFu
representation to enhance the quality of the reconstructed facial details.
Specifically, we utilize two MLPs to separately represent the PIFus for the
face and human body. An MLP dedicated to the reconstruction of 3D faces can
increase the network capacity and reduce the difficulty of the reconstruction
of facial details as in the previous one-scale PIFu representation. To remedy
the topology error, we leverage 3 RGBD sensors to capture multiview RGBD data
as the input to the network, a sparse, lightweight capture setting. Since the
depth noise severely influences the reconstruction results, we design a depth
refinement module to reduce the noise of the raw depths under the guidance of
the input RGB images. We also propose an adaptive fusion scheme to fuse the
predicted occupancy field of the body and face to eliminate the discontinuity
artifact at their boundaries. Experiments demonstrate the effectiveness of our
approach in reconstructing vivid facial details and deforming body shapes, and
verify its superiority over state-of-the-art methods.
- Abstract（参考訳）: Pixel-aligned implicit function (PIFu) を用いた3次元人体再構成法は急速に進展するが, 再建された細部の品質はまだ不十分である。
平滑な顔表面は、pifuベースの再構築結果に頻繁に発生する。
そこで本研究では,再建した顔のディテールの質を高めるために,2段階のPIFu表現を提案する。
具体的には2つのMLPを用いて顔と人体のPIFusを別々に表現する。
3次元顔の再構成専用のMLPは、ネットワーク容量を増大させ、以前の1スケールPIFu表現のように顔の詳細の再構築の困難さを軽減することができる。
トポロジーエラーを改善するために、3つのrgbdセンサーを利用して、ネットワークへの入力としてマルチビューのrgbdデータをキャプチャします。
深度ノイズが復元結果に大きく影響するため,入力RGB画像の誘導下での生深度ノイズを低減するために,深度改善モジュールを設計する。
また, 予測された身体と顔の占有領域を融合し, その境界における不連続アーティファクトを排除する適応的融合スキームを提案する。
実験では, 顔の鮮明な細部を再構築し, 身体形状を変形させる手法の有効性を実証し, 最先端法よりもその優越性を検証する。
関連論文リスト
- ANIM: Accurate Neural Implicit Model for Human Reconstruction from a single RGB-D image [40.03212588672639]
ANIMは単視点RGB-D画像から任意の3次元形状を前例のない精度で再構成する新しい手法である。
我々のモデルは、深度情報を活用するためにピクセル整列とボクセル整列の両方の機能から幾何学的詳細を学習する。
実験によると、ANIMはRGB、表面正規、ポイントクラウド、RGB-Dデータを入力として使用する最先端の作業よりも優れている。
論文 参考訳（メタデータ） (2024-03-15T14:45:38Z) - UniSDF: Unifying Neural Representations for High-Fidelity 3D
Reconstruction of Complex Scenes with Reflections [92.38975002642455]
大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。
提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築することができる。
論文 参考訳（メタデータ） (2023-12-20T18:59:42Z) - NeuSD: Surface Completion with Multi-View Text-to-Image Diffusion [56.98287481620215]
本稿では,対象物の一部のみを捉えた複数の画像から3次元表面再構成を行う手法を提案する。
提案手法は, 表面の可視部分の再構成に神経放射場を用いた表面再構成法と, SDS (Score Distillation Sampling) 方式で事前学習した2次元拡散モデルを用いて, 可観測領域の形状を再現する手法である。
論文 参考訳（メタデータ） (2023-12-07T19:30:55Z) - Pyramid Deep Fusion Network for Two-Hand Reconstruction from RGB-D Images [11.100398985633754]
両手で高密度メッシュを復元するためのエンドツーエンドフレームワークを提案する。
我々のフレームワークはResNet50とPointNet++を使って、RGBとpoint cloudから機能を派生しています。
また,異なるスケールで特徴を集約する新しいピラミッド深層核融合ネットワーク (PDFNet) も導入した。
論文 参考訳（メタデータ） (2023-07-12T09:33:21Z) - Improving 2D face recognition via fine-level facial depth generation and
RGB-D complementary feature learning [0.8223798883838329]
顔深度生成ネットワークと改良されたマルチモーダル補完特徴学習ネットワークを提案する。
Lock3DFaceデータセットとIIIT-Dデータセットの実験は、提案したFFDGNetとI MCFLNetがRGB-D顔認識の精度を向上させることを示した。
論文 参考訳（メタデータ） (2023-05-08T02:33:59Z) - A Hierarchical Representation Network for Accurate and Detailed Face
Reconstruction from In-The-Wild Images [15.40230841242637]
本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。
我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。
本手法は,再現精度と視覚効果の両方において既存手法より優れる。
論文 参考訳（メタデータ） (2023-02-28T09:24:36Z) - ReFu: Refine and Fuse the Unobserved View for Detail-Preserving
Single-Image 3D Human Reconstruction [31.782985891629448]
シングルイメージの3次元再構成は,1枚の画像から人体の3次元テクスチャ面を再構築することを目的としている。
提案するReFuは、投影された背景像を精細化し、その精細な画像を融合して最終人体を予測するための粗大なアプローチである。
論文 参考訳（メタデータ） (2022-11-09T09:14:11Z) - AvatarMe++: Facial Shape and BRDF Inference with Photorealistic
Rendering-Aware GANs [119.23922747230193]
そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。
本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
論文 参考訳（メタデータ） (2021-12-11T11:36:30Z) - Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face
Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。
3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文 参考訳（メタデータ） (2021-05-16T16:35:44Z) - 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial
Learning [54.24887282693925]
本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。
既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。
実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
論文 参考訳（メタデータ） (2020-09-30T17:12:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。