論文の概要: 3DFlowRenderer: One-shot Face Re-enactment via Dense 3D Facial Flow Estimation

• arxiv url: http://arxiv.org/abs/2404.14667v1
• Date: Tue, 23 Apr 2024 01:51:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 15:41:14.894415
• Title: 3DFlowRenderer: One-shot Face Re-enactment via Dense 3D Facial Flow Estimation
• Title（参考訳）: 3DFlowRenderer:Dense 3D Facial Flow Estimationによるワンショット顔再現
• Authors: Siddharth Nijhawan, Takuya Yashima, Tamaki Kojima,
• Abstract要約: 本研究では、2次元法と3次元法の両方の利点を融合して、頑健な顔再現を実現する新しいワープ技術を提案する。 特徴空間に高密度な3次元顔の流れ場を生成し、深度情報のないターゲット表現に基づいて入力画像をワープする。 これにより、不整合元とターゲットの顔を再実行するための3次元幾何制御が可能となる。
• 参考スコア（独自算出の注目度）: 2.048226951354646
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Performing facial expression transfer under one-shot setting has been increasing in popularity among research community with a focus on precise control of expressions. Existing techniques showcase compelling results in perceiving expressions, but they lack robustness with extreme head poses. They also struggle to accurately reconstruct background details, thus hindering the realism. In this paper, we propose a novel warping technology which integrates the advantages of both 2D and 3D methods to achieve robust face re-enactment. We generate dense 3D facial flow fields in feature space to warp an input image based on target expressions without depth information. This enables explicit 3D geometric control for re-enacting misaligned source and target faces. We regularize the motion estimation capability of the 3D flow prediction network through proposed "Cyclic warp loss" by converting warped 3D features back into 2D RGB space. To ensure the generation of finer facial region with natural-background, our framework only renders the facial foreground region first and learns to inpaint the blank area which needs to be filled due to source face translation, thus reconstructing the detailed background without any unwanted pixel motion. Extensive evaluation reveals that our method outperforms state-of-the-art techniques in rendering artifact-free facial images.
• Abstract（参考訳）: ワンショット環境での表情伝達は,表情の正確な制御に焦点をあてた研究コミュニティで人気が高まっている。 既存のテクニックは、表現を知覚する上で魅力的な結果を示すが、極端な頭ポーズで頑丈さを欠いている。 また、背景の詳細を正確に再構築することは困難であり、現実主義を妨げている。 本稿では,2次元法と3次元法の両方の利点を活かして,頑健な顔再現を実現する新しいワープ技術を提案する。 特徴空間に高密度な3次元顔の流れ場を生成し、深度情報のないターゲット表現に基づいて入力画像をワープする。 これにより、不整合元とターゲットの顔を再実行するための3次元幾何制御が可能となる。 我々は,3次元特徴を2次元RGB空間に変換することで,提案した「円筒ワープ損失」により3次元フロー予測ネットワークの運動推定能力を正規化する。 自然裏面によるよりきめ細かい顔領域の生成を保証するため,我々のフレームワークはまず顔前景領域を描画し,原顔の翻訳によって満たされる必要のある空白領域を塗布することを学び,不必要な画素の動きを伴わずに詳細な背景を再構築する。 本手法は, 人工顔画像のレンダリングにおいて, 最先端技術よりも優れていた。

関連論文リスト

• 3D Face Tracking from 2D Video through Iterative Dense UV to Image Flow [15.479024531161476]
  本稿では,頂点ごとの高密度アライメントのための2次元アライメントネットワークを革新的に導入する新しいフェイストラッカーであるFlowFaceを提案する。 以前の作業とは異なり、FlowFaceは、弱い監視や合成データではなく、高品質な3Dスキャンアノテーションでトレーニングされている。 本手法は,カスタムベンチマークと公開ベンチマークの両方において,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T14:20:07Z)
• O$^2$-Recon: Completing 3D Reconstruction of Occluded Objects in the Scene with a Pre-trained 2D Diffusion Model [28.372289119872764]
  咬合は、RGB-Dビデオからの3D再構成において一般的な問題であり、しばしばオブジェクトの完全な再構成をブロックする。 本研究では,物体の隠れた部分の完全な表面を再構築する2次元拡散に基づくインペインティングモデルを用いて,新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:38:31Z)
• DaGAN++: Depth-Aware Generative Adversarial Network for Talking Head Video Generation [18.511092587156657]
  顔画像から高密度な3次元顔形状を学習するための新しい自己教師手法を提案する。 また,画素レベルの不確実性を学習し,幾何学習のためのより信頼性の高い剛体移動画素を知覚する戦略を提案する。 我々は,3D対応のクロスモーダル(e,外見,深度)アテンション機構を開発し,粗い方法で顔のジオメトリーを捉える。
  論文  参考訳（メタデータ） (2023-05-10T14:58:33Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
  シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
  論文  参考訳（メタデータ） (2020-07-18T15:26:07Z)
• DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
  DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。 私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。 登録された画像に対して,60fpsで3次元フローマップを生成する。
  論文  参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。