論文の概要: JIFF: Jointly-aligned Implicit Face Function for High Quality Single View Clothed Human Reconstruction

• arxiv url: http://arxiv.org/abs/2204.10549v1
• Date: Fri, 22 Apr 2022 07:43:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-25 13:47:30.007627
• Title: JIFF: Jointly-aligned Implicit Face Function for High Quality Single View Clothed Human Reconstruction
• Title（参考訳）: jiff:ハイクオリティ・シングルビュー・クロージング・ヒューマン・リコンストラクションのための協調型暗黙的顔機能
• Authors: Yukang Cao, Guanying Chen, Kai Han, Wenqi Yang, Kwan-Yee K. Wong
• Abstract要約: 最近の暗黙的機能に基づく手法は印象的な結果を示したが、再建時に顔の細部を復元することはできなかった。 これにより、3Dテレプレゼンスのようなアプリケーションにおけるユーザエクスペリエンスは大きく低下する。 本稿では,暗黙的関数に基づくアプローチとモデルに基づくアプローチの利点を組み合わせた,統合整合型インプリシット・フェイス・ファンクション(JIFF)を提案する。
• 参考スコア（独自算出の注目度）: 24.11991929558466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the problem of single view 3D human reconstruction. Recent implicit function based methods have shown impressive results, but they fail to recover fine face details in their reconstructions. This largely degrades user experience in applications like 3D telepresence. In this paper, we focus on improving the quality of face in the reconstruction and propose a novel Jointly-aligned Implicit Face Function (JIFF) that combines the merits of the implicit function based approach and model based approach. We employ a 3D morphable face model as our shape prior and compute space-aligned 3D features that capture detailed face geometry information. Such space-aligned 3D features are combined with pixel-aligned 2D features to jointly predict an implicit face function for high quality face reconstruction. We further extend our pipeline and introduce a coarse-to-fine architecture to predict high quality texture for our detailed face model. Extensive evaluations have been carried out on public datasets and our proposed JIFF has demonstrates superior performance (both quantitatively and qualitatively) over existing state-of-the-arts.
• Abstract（参考訳）: 本稿では, 単一視点3次元人体再構成の問題点について述べる。 近年の暗黙的機能ベース手法では印象的な結果が得られたが,再建時の詳細な顔詳細は得られていない。 これにより、3Dテレプレゼンスのようなアプリケーションにおけるユーザエクスペリエンスは大きく低下する。 本稿では,再建における顔の質向上に焦点をあて,暗黙的機能に基づくアプローチとモデルに基づくアプローチのメリットを組み合わせた新しい統合型暗黙的顔機能(jiff)を提案する。 形状は3d morphable face modelを用い,詳細な顔形状情報をキャプチャする空間対応型3d特徴量を計算する。 このような空間整列3D特徴と画素整列2D特徴とを組み合わせて、高品質な顔再構成のための暗黙の顔関数を共同で予測する。 私たちはさらにパイプラインを拡張し、詳細な顔モデルの高品質なテクスチャを予測するための粗いto-fineアーキテクチャを導入しました。 公開データセット上で広範な評価が行われ,提案するjiffは,既存の最先端技術よりも優れた(定量的かつ質的に)性能を示している。

関連論文リスト

• SIFU: Side-view Conditioned Implicit Function for Real-world Usable Clothed Human Reconstruction [33.03705631101124]
  本稿では,Side-view Decoupling Transformerと3D Consistent Texture Refinementパイプラインを組み合わせた新しいアプローチであるSIFUを紹介する。 SMPL-X正規化をクエリとして使用して、2D機能を3Dにマッピングするプロセスにおいて、サイドビュー機能を効果的に分離する。 われわれのアプローチは、3Dプリンティングやシーンビルディングといった実用的応用にまで拡張され、現実世界のシナリオでその幅広い実用性を実証している。
  論文  参考訳（メタデータ） (2023-12-10T11:45:45Z)
• HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and Dynamic Details [66.74088288846491]
  HiFaceは、動的かつ静的なディテールで高忠実な3D顔再構成を目指している。 我々は、いくつかの損失関数を利用して、粗い形状と、合成データセットと実世界のデータセットの両方で詳細を共同で学習する。
  論文  参考訳（メタデータ） (2023-03-20T16:07:02Z)
• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• ReFu: Refine and Fuse the Unobserved View for Detail-Preserving Single-Image 3D Human Reconstruction [31.782985891629448]
  シングルイメージの3次元再構成は,1枚の画像から人体の3次元テクスチャ面を再構築することを目的としている。 提案するReFuは、投影された背景像を精細化し、その精細な画像を融合して最終人体を予測するための粗大なアプローチである。
  論文  参考訳（メタデータ） (2022-11-09T09:14:11Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
  マルチビューRGB画像から新しい3次元顔再構成法を提案する。 従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。 いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-12-05T07:02:53Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
  1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。 ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。 提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
  論文  参考訳（メタデータ） (2020-08-18T06:33:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。