論文の概要: HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and Dynamic Details

• arxiv url: http://arxiv.org/abs/2303.11225v2
• Date: Wed, 23 Aug 2023 11:46:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 18:19:04.773500
• Title: HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and Dynamic Details
• Title（参考訳）: hiface: 静的および動的詳細学習による高忠実度3d顔再構成
• Authors: Zenghao Chai, Tianke Zhang, Tianyu He, Xu Tan, Tadas Baltru\v{s}aitis, HsiangTao Wu, Runnan Li, Sheng Zhao, Chun Yuan, Jiang Bian
• Abstract要約: HiFaceは、動的かつ静的なディテールで高忠実な3D顔再構成を目指している。 我々は、いくつかの損失関数を利用して、粗い形状と、合成データセットと実世界のデータセットの両方で詳細を共同で学習する。
• 参考スコア（独自算出の注目度）: 66.74088288846491
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Morphable Models (3DMMs) demonstrate great potential for reconstructing faithful and animatable 3D facial surfaces from a single image. The facial surface is influenced by the coarse shape, as well as the static detail (e,g., person-specific appearance) and dynamic detail (e.g., expression-driven wrinkles). Previous work struggles to decouple the static and dynamic details through image-level supervision, leading to reconstructions that are not realistic. In this paper, we aim at high-fidelity 3D face reconstruction and propose HiFace to explicitly model the static and dynamic details. Specifically, the static detail is modeled as the linear combination of a displacement basis, while the dynamic detail is modeled as the linear interpolation of two displacement maps with polarized expressions. We exploit several loss functions to jointly learn the coarse shape and fine details with both synthetic and real-world datasets, which enable HiFace to reconstruct high-fidelity 3D shapes with animatable details. Extensive quantitative and qualitative experiments demonstrate that HiFace presents state-of-the-art reconstruction quality and faithfully recovers both the static and dynamic details. Our project page can be found at https://project-hiface.github.io.
• Abstract（参考訳）: 3Dモーフィブルモデル(3DMM)は、1つの画像から忠実でアニマタブルな3D顔表面を再構築する大きな可能性を示している。 顔の表面は粗い形状や静的なディテール(人特有の外観など)、ダイナミックなディテール(表情駆動のしわなど)の影響を受けている。 以前の作業は、イメージレベルの監督を通じて静的および動的詳細を分離することに苦労し、現実的でない再構築につながります。 本稿では,高忠実度3次元顔の再構成を目標とし,静的および動的詳細を明示的にモデル化するhifaceを提案する。 具体的には、静的細部を変位基底の線形結合としてモデル化し、動的細部を偏極式を持つ2つの変位写像の線形補間としてモデル化する。 複数の損失関数を利用して、合成データと実世界のデータセットの両方で粗い形状と細部を共同学習し、hifaceがアニメーション可能な詳細で高忠実な3d形状を再構築できるようにする。 大規模な定量的および定性的実験により、HiFaceは最先端の再構築品質を示し、静的および動的詳細の両方を忠実に回復することを示した。 プロジェクトのページはhttps://project-hiface.github.ioで閲覧できます。

関連論文リスト

• Single-view 3D Scene Reconstruction with High-fidelity Shape and Texture [47.44029968307207]
  本研究では,物体の形状とテクスチャを同時に高忠実度に再現する新しい枠組みを提案する。 提案手法は,SSR(Single-view Neural implicit Shape and Radiance Field)表現を用いて,明示的な3次元形状制御とボリュームレンダリングの両方を活用する。 我々のフレームワークの特徴は、単一のビュー3D再構成モデルにレンダリング機能をシームレスに統合しながら、きめ細かいテクスチャメッシュを生成する能力である。
  論文  参考訳（メタデータ） (2023-11-01T11:46:15Z)
• Ghost on the Shell: An Expressive Representation of General 3D Shapes [97.76840585617907]
  リアルな素材と照明で高速な物理ベースのレンダリングを可能にするので、メッシュは魅力的だ。 近年の3次元形状の再構成と統計的モデリングの研究は、メッシュをトポロジカルに非フレキシブルであると批判している。 我々は水密面上の多様体符号距離場を定義することにより開曲面をパラメータ化する。 G-Shellは、非水密メッシュ再構築および生成タスクにおける最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-10-23T17:59:52Z)
• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• JIFF: Jointly-aligned Implicit Face Function for High Quality Single View Clothed Human Reconstruction [24.11991929558466]
  最近の暗黙的機能に基づく手法は印象的な結果を示したが、再建時に顔の細部を復元することはできなかった。 これにより、3Dテレプレゼンスのようなアプリケーションにおけるユーザエクスペリエンスは大きく低下する。 本稿では,暗黙的関数に基づくアプローチとモデルに基づくアプローチの利点を組み合わせた,統合整合型インプリシット・フェイス・ファンクション(JIFF)を提案する。
  論文  参考訳（メタデータ） (2022-04-22T07:43:45Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)
• Real-time Deep Dynamic Characters [95.5592405831368]
  本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。 我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。 本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
  論文  参考訳（メタデータ） (2021-05-04T23:28:55Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。