論文の概要: FACEGAN: Facial Attribute Controllable rEenactment GAN

• arxiv url: http://arxiv.org/abs/2011.04439v1
• Date: Mon, 9 Nov 2020 14:04:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 01:26:53.048652
• Title: FACEGAN: Facial Attribute Controllable rEenactment GAN
• Title（参考訳）: FACEGAN: Facial Attribute Controllable rEenactment GAN
• Authors: Soumya Tripathy, Juho Kannala and Esa Rahtu
• Abstract要約: 顔の再現は、運転画像から人物の身元と顔の動きを抽出する一般的なアニメーション手法である。 近年の研究では、顔のランドマークに基づく動き表現と、生成的対向ネットワークを組み合わせることで、高品質な結果が示されている。 本稿では,行動単位(AU)表現を介して運転顔から顔の動きを伝達するFACEGAN(Facial Attribute Controllable rEenactment GAN)を提案する。
• 参考スコア（独自算出の注目度）: 24.547319786399743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The face reenactment is a popular facial animation method where the person's identity is taken from the source image and the facial motion from the driving image. Recent works have demonstrated high quality results by combining the facial landmark based motion representations with the generative adversarial networks. These models perform best if the source and driving images depict the same person or if the facial structures are otherwise very similar. However, if the identity differs, the driving facial structures leak to the output distorting the reenactment result. We propose a novel Facial Attribute Controllable rEenactment GAN (FACEGAN), which transfers the facial motion from the driving face via the Action Unit (AU) representation. Unlike facial landmarks, the AUs are independent of the facial structure preventing the identity leak. Moreover, AUs provide a human interpretable way to control the reenactment. FACEGAN processes background and face regions separately for optimized output quality. The extensive quantitative and qualitative comparisons show a clear improvement over the state-of-the-art in a single source reenactment task. The results are best illustrated in the reenactment video provided in the supplementary material. The source code will be made available upon publication of the paper.
• Abstract（参考訳）: 顔再現法(face reenactment)は、人物の身元を音源画像から、顔の動きを駆動画像から取り出す一般的な顔アニメーション法である。 最近の研究は、顔のランドマークに基づく動き表現と生成的敵ネットワークを組み合わせることで、高品質な結果を示している。 これらのモデルは、ソースとドライブイメージが同一人物を描いたり、あるいは顔の構造が非常に似通っている場合に最もよく機能する。 しかし、同一性が異なっても、駆動する顔面構造は再現結果を歪ませる出力に漏れる。 本稿では,行動単位(AU)表現を介して運転顔から顔の動きを伝達するFACEGAN(Facial Attribute Controllable rEenactment GAN)を提案する。 顔のランドマークとは異なり、AUは顔の構造から独立しており、アイデンティティの漏洩を防ぐ。 さらに、AUは再現を制御するための人間の解釈可能な方法を提供する。 FACEGANは、最適化された出力品質のためにバックグラウンドとフェイス領域を別々に処理する。 大規模な量的および質的な比較は、単一のソース再実行タスクにおける最先端よりも明らかに改善されている。 その結果は補充材料に提供される再現ビデオで最もよく示されている。 ソースコードは、論文の公開時に公開される予定だ。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• FSRT: Facial Scene Representation Transformer for Face Reenactment from Factorized Appearance, Head-pose, and Facial Expression Features [17.531847357428454]
  顔再現の課題は、頭部の動きと表情を駆動ビデオからソース画像の外観に転送することである。 既存の手法の多くはCNNベースであり、ソース画像から現在の駆動フレームへの光の流れを推定する。 本稿では,ソースコードのセットラテント表現を演算するためのトランスフォーマーベースのエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-04-15T12:37:26Z)
• DiffusionAct: Controllable Diffusion Autoencoder for One-shot Face Reenactment [34.821255203019554]
  ビデオ駆動型ニューラルフェイスの再現は、元の顔のアイデンティティと外観をうまく保存する現実的な顔画像を合成することを目的としている。 拡散確率モデル(DPM)の最近の進歩は、高品質な現実画像の生成を可能にする。 本稿では,拡散モデルのフォトリアリスティック画像生成を利用して,ニューラルフェイスの再現を行う新しい手法であるDiffusionを提案する。
  論文  参考訳（メタデータ） (2024-03-25T21:46:53Z)
• HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces [47.27033282706179]
  提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。 提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。 我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
  論文  参考訳（メタデータ） (2023-07-20T11:59:42Z)
• Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
  Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。 本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
  論文  参考訳（メタデータ） (2023-04-05T15:51:44Z)
• Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation [100.60938767993088]
  ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。 本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
  論文  参考訳（メタデータ） (2022-11-23T03:02:34Z)
• StyleMask: Disentangling the Style Space of StyleGAN2 for Neural Face Reenactment [47.27033282706179]
  本研究では,顔の特徴をそのポーズから切り離すフレームワークを提案する。 提案手法は, 極端なポーズ変動であっても, 高品質な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-09-27T13:22:35Z)
• Graph-based Generative Face Anonymisation with Pose Preservation [49.18049578591058]
  AnonyGANは、顔の匿名化のためのGANベースのソリューションである。 ソースアイデンティティに対応する視覚情報を、任意の単一のイメージとして提供される条件IDに置き換える。
  論文  参考訳（メタデータ） (2021-12-10T12:58:17Z)
• Single Source One Shot Reenactment using Weighted motion From Paired Feature Points [26.210285908770377]
  自己教師付きセットアップで形状非依存な動作特徴を学習する新しい(顔)再現モデルを提案する。 モデルは、ソースidをそのまま保持しながら、駆動動作をソースに忠実に転送する。
  論文  参考訳（メタデータ） (2021-04-07T13:45:34Z)
• LI-Net: Large-Pose Identity-Preserving Face Reenactment Network [14.472453602392182]
  大規模ID保存顔再生ネットワークLI-Netを提案します。 特にランドマーク変換器は、走行するランドマーク画像を調整するために採用されている。 Face Rotation ModuleとExpression Enhancing Generatorは、変換されたランドマーク画像をポーズと式の特徴に分離し、それらの属性を別々に再現してアイデンティティ保護顔を生成する。
  論文  参考訳（メタデータ） (2021-04-07T01:41:21Z)
• FaR-GAN for One-Shot Face Reenactment [20.894596219099164]
  本稿では,任意の音源の顔画像とターゲット表現のみを入力として用いた一発顔再現モデルFaR-GANを提案する。 提案手法は,音源の同一性,表情,頭部ポーズ,さらには画像背景についても仮定しない。
  論文  参考訳（メタデータ） (2020-05-13T16:15:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。