論文の概要: One-Shot Identity-Preserving Portrait Reenactment

• arxiv url: http://arxiv.org/abs/2004.12452v1
• Date: Sun, 26 Apr 2020 18:30:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 13:47:07.838319
• Title: One-Shot Identity-Preserving Portrait Reenactment
• Title（参考訳）: ワンショットアイデンティティ保存ポートレート再現法
• Authors: Sitao Xiang, Yuming Gu, Pengda Xiang, Mingming He, Koki Nagano, Haiwei Chen, Hao Li
• Abstract要約: 本研究では,対象物(ワンショット)の1枚の画像と運転対象物の映像から,人物像を再現するための深層学習型フレームワークを提案する。 本研究の目的は,一枚の画像から人物の身元を復元するクロスオブジェクト・ポートレート・リダクティフィケーションにおけるアイデンティティの保存に対処することである。
• 参考スコア（独自算出の注目度）: 16.889479797252783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a deep learning-based framework for portrait reenactment from a single picture of a target (one-shot) and a video of a driving subject. Existing facial reenactment methods suffer from identity mismatch and produce inconsistent identities when a target and a driving subject are different (cross-subject), especially in one-shot settings. In this work, we aim to address identity preservation in cross-subject portrait reenactment from a single picture. We introduce a novel technique that can disentangle identity from expressions and poses, allowing identity preserving portrait reenactment even when the driver's identity is very different from that of the target. This is achieved by a novel landmark disentanglement network (LD-Net), which predicts personalized facial landmarks that combine the identity of the target with expressions and poses from a different subject. To handle portrait reenactment from unseen subjects, we also introduce a feature dictionary-based generative adversarial network (FD-GAN), which locally translates 2D landmarks into a personalized portrait, enabling one-shot portrait reenactment under large pose and expression variations. We validate the effectiveness of our identity disentangling capabilities via an extensive ablation study, and our method produces consistent identities for cross-subject portrait reenactment. Our comprehensive experiments show that our method significantly outperforms the state-of-the-art single-image facial reenactment methods. We will release our code and models for academic use.
• Abstract（参考訳）: 本研究では,対象物(ワンショット)の1枚の画像と運転対象物の映像から,人物像を再現するための深層学習型フレームワークを提案する。 既存の顔再現法は、識別ミスマッチに苦しみ、特にワンショット設定において、対象と運転対象が異なる場合(クロスサブジェクト)に一貫性のないアイデンティティを生成する。 本研究は,1枚の画像から同一性を保つことを目的としている。 本稿では,表情とポーズからアイデンティティを分離し,ドライバのアイデンティティがターゲットと大きく異なる場合でもポートレート再現を保存できる新しい手法を提案する。 これは、ターゲットのアイデンティティと異なる主題からの表情とポーズを組み合わせたパーソナライズされた顔のランドマークを予測する、新しいランドマーク異方性ネットワーク(ld-net)によって達成される。 また、2Dランドマークをパーソナライズされたポートレートに局所的に翻訳し、大きなポーズと表現のバリエーションでワンショットのポートレート再現を可能にする特徴辞書ベースの生成逆数ネットワーク(FD-GAN)を導入する。 我々は,広範囲にわたるアブレーション研究により,身元特定能力の有効性を検証し,クロスオブジェクト・ポートレート・リダクティメントのための一貫したアイデンティティを創出する。 以上の結果から,本手法は現状の顔再現法よりも優れていた。 学術利用のためのコードとモデルをリリースします。

関連論文リスト

• AniFaceDiff: High-Fidelity Face Reenactment via Facial Parametric Conditioned Diffusion Models [33.39336530229545]
  顔再現とは、ポーズと表情を、参照(運転)ビデオから静的な顔(ソース)画像に転送する過程を指す。 この領域における以前の研究は、顔を生成するために制御可能な深層生成モデルを訓練することで大きな進歩を遂げた。 本稿では,AniFaceDiffと呼ばれる安定拡散に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T07:08:48Z)
• PortraitBooth: A Versatile Portrait Model for Fast Identity-preserved Personalization [92.90392834835751]
  PortraitBoothは高効率、堅牢なID保存、表現編集可能な画像生成のために設計されている。 PortraitBoothは計算オーバーヘッドを排除し、アイデンティティの歪みを軽減する。 生成した画像の多様な表情に対する感情認識のクロスアテンション制御が組み込まれている。
  論文  参考訳（メタデータ） (2023-12-11T13:03:29Z)
• HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces [47.27033282706179]
  提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。 提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。 我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
  論文  参考訳（メタデータ） (2023-07-20T11:59:42Z)
• Facial Reenactment Through a Personalized Generator [47.02774886256621]
  パーソナライズされたジェネレータを用いた顔再現法を提案する。 我々は、慎重に設計された潜時最適化を用いて、パーソナライズされたジェネレータの潜時空間に所望のフレームを配置する。 我々の再現はセマンティック潜在空間で行われるので、セマンティックに編集し、後処理でスタイリングすることができる。
  論文  参考訳（メタデータ） (2023-07-12T17:09:18Z)
• StyleMask: Disentangling the Style Space of StyleGAN2 for Neural Face Reenactment [47.27033282706179]
  本研究では,顔の特徴をそのポーズから切り離すフレームワークを提案する。 提案手法は, 極端なポーズ変動であっても, 高品質な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-09-27T13:22:35Z)
• Graph-based Generative Face Anonymisation with Pose Preservation [49.18049578591058]
  AnonyGANは、顔の匿名化のためのGANベースのソリューションである。 ソースアイデンティティに対応する視覚情報を、任意の単一のイメージとして提供される条件IDに置き換える。
  論文  参考訳（メタデータ） (2021-12-10T12:58:17Z)
• LI-Net: Large-Pose Identity-Preserving Face Reenactment Network [14.472453602392182]
  大規模ID保存顔再生ネットワークLI-Netを提案します。 特にランドマーク変換器は、走行するランドマーク画像を調整するために採用されている。 Face Rotation ModuleとExpression Enhancing Generatorは、変換されたランドマーク画像をポーズと式の特徴に分離し、それらの属性を別々に再現してアイデンティティ保護顔を生成する。
  論文  参考訳（メタデータ） (2021-04-07T01:41:21Z)
• ActGAN: Flexible and Efficient One-shot Face Reenactment [1.8431600219151503]
  ActGANは、ワンショット顔再現のための新しいエンド・ツー・エンドな生成的敵ネットワーク(GAN)である。 我々は、ソースとターゲットの両方に任意の人が追加のトレーニングを受けることなく、"many-to-Many"アプローチを導入します。 また、深層顔認識領域における最先端のアプローチを採用することにより、合成された人物と対象人物の同一性を維持するためのソリューションも導入する。
  論文  参考訳（メタデータ） (2020-03-30T22:03:16Z)
• Towards Face Encryption by Generating Adversarial Identity Masks [53.82211571716117]
  敵の識別マスクを生成するためのターゲットID保護反復法(TIP-IM)を提案する。 TIP-IMは、様々な最先端の顔認識モデルに対して95%以上の保護成功率を提供する。
  論文  参考訳（メタデータ） (2020-03-15T12:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。