論文の概要: Facial Reenactment Through a Personalized Generator
- arxiv url: http://arxiv.org/abs/2307.06307v1
- Date: Wed, 12 Jul 2023 17:09:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 12:12:15.361937
- Title: Facial Reenactment Through a Personalized Generator
- Title（参考訳）: パーソナライズされたジェネレータによる顔の再現
- Authors: Ariel Elazary, Yotam Nitzan, Daniel Cohen-Or
- Abstract要約: パーソナライズされたジェネレータを用いた顔再現法を提案する。
我々は、慎重に設計された潜時最適化を用いて、パーソナライズされたジェネレータの潜時空間に所望のフレームを配置する。
我々の再現はセマンティック潜在空間で行われるので、セマンティックに編集し、後処理でスタイリングすることができる。
- 参考スコア（独自算出の注目度）: 47.02774886256621
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, the role of image generative models in facial reenactment
has been steadily increasing. Such models are usually subject-agnostic and
trained on domain-wide datasets. The appearance of the reenacted individual is
learned from a single image, and hence, the entire breadth of the individual's
appearance is not entirely captured, leading these methods to resort to
unfaithful hallucination. Thanks to recent advancements, it is now possible to
train a personalized generative model tailored specifically to a given
individual. In this paper, we propose a novel method for facial reenactment
using a personalized generator. We train the generator using frames from a
short, yet varied, self-scan video captured using a simple commodity camera.
Images synthesized by the personalized generator are guaranteed to preserve
identity. The premise of our work is that the task of reenactment is thus
reduced to accurately mimicking head poses and expressions. To this end, we
locate the desired frames in the latent space of the personalized generator
using carefully designed latent optimization. Through extensive evaluation, we
demonstrate state-of-the-art performance for facial reenactment. Furthermore,
we show that since our reenactment takes place in a semantic latent space, it
can be semantically edited and stylized in post-processing.
- Abstract（参考訳）: 近年,顔の再現における画像生成モデルの役割が着実に増大している。
このようなモデルは一般的に主題に依存しず、ドメインワイドデータセットに基づいて訓練される。
再現された個体の外観は単一の画像から学習されるため、個体の外観の広さは完全には捉えられず、これらの手法は不信な幻覚に頼っている。
近年の進歩により、特定の個人に特化したパーソナライズされた生成モデルを訓練することが可能になった。
本稿では,パーソナライズされたジェネレータを用いた顔再現法を提案する。
我々は、簡単なコモディティカメラで撮影した短いが多様な自己スキャンビデオからフレームを使って、ジェネレータを訓練する。
パーソナライズされたジェネレータによって合成された画像は、アイデンティティを保持するために保証される。
本研究の前提は, 頭部のポーズや表情を正確に模倣することで, 再現の作業を減らすことである。
この目的のために、注意深い設計による潜在最適化を用いて、パーソナライズされたジェネレータの潜在空間に所望のフレームを配置する。
広範囲な評価を通じて,顔の再現に対する最先端の性能を示す。
さらに, セマンティックな潜在空間で再演を行うため, 後処理においてセマンティックな編集やスタイル化が可能であることを示す。
関連論文リスト
- When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for
Personalized Image Generation [60.305112612629465]
テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。
本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。
提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
論文 参考訳（メタデータ） (2023-11-29T09:05:14Z) - HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and
Retarget Faces [47.27033282706179]
提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。
提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。
我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
論文 参考訳（メタデータ） (2023-07-20T11:59:42Z) - Identity-Preserving Talking Face Generation with Landmark and Appearance
Priors [106.79923577700345]
既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。
本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。
提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
論文 参考訳（メタデータ） (2023-05-15T01:31:32Z) - Attribute-preserving Face Dataset Anonymization via Latent Code
Optimization [64.4569739006591]
本稿では,事前学習したGANの潜時空間における画像の潜時表現を直接最適化するタスク非依存匿名化手法を提案する。
我々は一連の実験を通して、我々の手法が画像の同一性を匿名化できる一方で、顔の属性をより保存できることを実証した。
論文 参考訳（メタデータ） (2023-03-20T17:34:05Z) - StyleMask: Disentangling the Style Space of StyleGAN2 for Neural Face
Reenactment [47.27033282706179]
本研究では,顔の特徴をそのポーズから切り離すフレームワークを提案する。
提案手法は, 極端なポーズ変動であっても, 高品質な結果が得られることを示す。
論文 参考訳（メタデータ） (2022-09-27T13:22:35Z) - MyStyle: A Personalized Generative Prior [38.3436972491162]
MyStyleはパーソナライズされたディープジェネレーティブで、個人を数枚のショットで訓練する。
MyStyleは、特定の人の画像を再構成、拡張、編集することができる。
論文 参考訳（メタデータ） (2022-03-31T17:59:19Z) - One-Shot Identity-Preserving Portrait Reenactment [16.889479797252783]
本研究では,対象物(ワンショット)の1枚の画像と運転対象物の映像から,人物像を再現するための深層学習型フレームワークを提案する。
本研究の目的は,一枚の画像から人物の身元を復元するクロスオブジェクト・ポートレート・リダクティフィケーションにおけるアイデンティティの保存に対処することである。
論文 参考訳（メタデータ） (2020-04-26T18:30:33Z) - ActGAN: Flexible and Efficient One-shot Face Reenactment [1.8431600219151503]
ActGANは、ワンショット顔再現のための新しいエンド・ツー・エンドな生成的敵ネットワーク(GAN)である。
我々は、ソースとターゲットの両方に任意の人が追加のトレーニングを受けることなく、"many-to-Many"アプローチを導入します。
また、深層顔認識領域における最先端のアプローチを採用することにより、合成された人物と対象人物の同一性を維持するためのソリューションも導入する。
論文 参考訳（メタデータ） (2020-03-30T22:03:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。