論文の概要: One-Shot Face Reenactment on Megapixels

• arxiv url: http://arxiv.org/abs/2205.13368v1
• Date: Thu, 26 May 2022 13:52:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 21:06:25.471565
• Title: One-Shot Face Reenactment on Megapixels
• Title（参考訳）: メガピクセルのワンショット顔再現
• Authors: Wonjun Kang, Geonsu Lee, Hyung Il Koo, Nam Ik Cho
• Abstract要約: 本稿では,MegaFRと呼ばれる一発・高解像度顔再現法を提案する。 3DMMベースのレンダリング画像を用いて、StyleGANを活用し、高品質なビデオデータセットの欠如を克服する。 フェースフロンダリゼーション,アイインペイント,トーキングヘッド生成など,様々な応用にMegaFRを適用した。
• 参考スコア（独自算出の注目度）: 10.93616643559957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of face reenactment is to transfer a target expression and head pose to a source face while preserving the source identity. With the popularity of face-related applications, there has been much research on this topic. However, the results of existing methods are still limited to low-resolution and lack photorealism. In this work, we present a one-shot and high-resolution face reenactment method called MegaFR. To be precise, we leverage StyleGAN by using 3DMM-based rendering images and overcome the lack of high-quality video datasets by designing a loss function that works without high-quality videos. Also, we apply iterative refinement to deal with extreme poses and/or expressions. Since the proposed method controls source images through 3DMM parameters, we can explicitly manipulate source images. We apply MegaFR to various applications such as face frontalization, eye in-painting, and talking head generation. Experimental results show that our method successfully disentangles identity from expression and head pose, and outperforms conventional methods.
• Abstract（参考訳）: Face Reenactmentの目標は、ターゲット表現とヘッドをソースIDを保持しながらソース顔に転送することである。 顔関連アプリケーションの人気により、この話題について多くの研究がなされている。 しかし、既存の方法の結果はまだ低解像度に留まり、フォトリアリズムを欠いている。 そこで本研究では,MegaFRと呼ばれる一発・高解像度顔再現法を提案する。 正確には、3dmmベースのレンダリング画像を使用することでstyleganを活用し、高品質なビデオなしで機能するロス関数を設計し、高品質なビデオデータセットの欠如を克服する。 また、極端なポーズや表現を扱うために反復精製を適用する。 提案手法は3dmmパラメータを介してソースイメージを制御するので,ソースイメージを明示的に操作できる。 フェースフロンダリゼーション,アイインペイント,トーキングヘッド生成など,様々な応用にMegaFRを適用した。 実験結果から,本手法は表現と頭部のポーズから同一性を取り除き,従来の手法よりも優れていた。

関連論文リスト

• 3DFlowRenderer: One-shot Face Re-enactment via Dense 3D Facial Flow Estimation [2.048226951354646]
  本研究では、2次元法と3次元法の両方の利点を融合して、頑健な顔再現を実現する新しいワープ技術を提案する。 特徴空間に高密度な3次元顔の流れ場を生成し、深度情報のないターゲット表現に基づいて入力画像をワープする。 これにより、不整合元とターゲットの顔を再実行するための3次元幾何制御が可能となる。
  論文  参考訳（メタデータ） (2024-04-23T01:51:58Z)
• HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces [47.27033282706179]
  提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。 提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。 我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
  論文  参考訳（メタデータ） (2023-07-20T11:59:42Z)
• Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation [100.60938767993088]
  ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。 本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
  論文  参考訳（メタデータ） (2022-11-23T03:02:34Z)
• Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
  本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。 提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-06-27T06:48:15Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• One Shot Face Swapping on Megapixels [65.47443090320955]
  本稿では,顔面スワッピング(略してMegaFS)における最初のメガピクセルレベル法を提案する。 本手法の成功に対する3つの新しい貢献は,顔の完全な表現,安定したトレーニング,限られたメモリ使用量である。
  論文  参考訳（メタデータ） (2021-05-11T10:41:47Z)
• HeadGAN: One-shot Neural Head Synthesis and Editing [70.30831163311296]
  HeadGANは、3D顔表現を合成し、任意の参照画像の顔形状に適応するシステムです。 3D顔表現により、圧縮と再構築の効率的な方法、表現とポーズ編集のツールとしてさらに使用できるようになります。
  論文  参考訳（メタデータ） (2020-12-15T12:51:32Z)
• Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
  我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。 駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。 我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
  論文  参考訳（メタデータ） (2020-06-17T23:38:37Z)
• FaR-GAN for One-Shot Face Reenactment [20.894596219099164]
  本稿では,任意の音源の顔画像とターゲット表現のみを入力として用いた一発顔再現モデルFaR-GANを提案する。 提案手法は,音源の同一性,表情,頭部ポーズ,さらには画像背景についても仮定しない。
  論文  参考訳（メタデータ） (2020-05-13T16:15:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。