論文の概要: Everything's Talkin': Pareidolia Face Reenactment

• arxiv url: http://arxiv.org/abs/2104.03061v1
• Date: Wed, 7 Apr 2021 11:19:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 12:50:10.208807
• Title: Everything's Talkin': Pareidolia Face Reenactment
• Title（参考訳）: すべて」:パレイドリアの顔の再現
• Authors: Linsen Song, Wayne Wu, Chaoyou Fu, Chen Qian, Chen Change Loy, Ran He
• Abstract要約: pareidolia face reenactmentは、ビデオ中の人間の顔とタンデムで動く静的なイラストリーフェイスのアニメーションと定義されている。 顔再現法と従来の顔再現法との差異が大きいため, 形状のばらつきとテクスチャのばらつきが導入された。 この2つの課題に取り組むために,新しいパラメトリック非教師なし再現アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 119.49707201178633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new application direction named Pareidolia Face Reenactment, which is defined as animating a static illusory face to move in tandem with a human face in the video. For the large differences between pareidolia face reenactment and traditional human face reenactment, two main challenges are introduced, i.e., shape variance and texture variance. In this work, we propose a novel Parametric Unsupervised Reenactment Algorithm to tackle these two challenges. Specifically, we propose to decompose the reenactment into three catenate processes: shape modeling, motion transfer and texture synthesis. With the decomposition, we introduce three crucial components, i.e., Parametric Shape Modeling, Expansionary Motion Transfer and Unsupervised Texture Synthesizer, to overcome the problems brought by the remarkably variances on pareidolia faces. Extensive experiments show the superior performance of our method both qualitatively and quantitatively. Code, model and data are available on our project page.
• Abstract（参考訳）: そこで本研究では,映像中の人間の顔と連動して動く静的なイラスト的顔のアニメーションとして定義した,pareidolia face reenactmentという新たな応用方向を提案する。 顔の再現法と従来の顔の再現法との差異が大きいため、形状のばらつきとテクスチャのばらつきという2つの主な課題が紹介されている。 そこで本研究では,この2つの課題に対処する新しいパラメトリック・アントラクサライズ・リエンタクメント・アルゴリズムを提案する。 具体的には, 形状モデリング, 運動伝達, テクスチャ合成の3つのプロセスに分割することを提案する。 この分解により, パラメトリック形状モデリング, 拡張運動伝達, 教師なしテクスチャシンセサイザーの3つの重要な要素を導入することにより, パレイドリア面の著しい分散に起因する問題を克服する。 広範な実験により,本手法は質的および定量的に優れた性能を示す。 コード、モデル、データはプロジェクトのページで利用可能です。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces [47.27033282706179]
  提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。 提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。 我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
  論文  参考訳（メタデータ） (2023-07-20T11:59:42Z)
• Parametric Implicit Face Representation for Audio-Driven Facial Reenactment [52.33618333954383]
  本稿では,制御可能かつ高品質な発話ヘッドを生成可能な,新しい音声駆動型顔再現フレームワークを提案する。 具体的には、パラメトリックな暗示表現は、3次元顔モデルの解釈可能なパラメータで暗示表現をパラメータ化する。 提案手法は,話者の身元や話し方に忠実な従来手法よりも現実的な結果が得られる。
  論文  参考訳（メタデータ） (2023-06-13T07:08:22Z)
• Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation [100.60938767993088]
  ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。 本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
  論文  参考訳（メタデータ） (2022-11-23T03:02:34Z)
• FSGANv2: Improved Subject Agnostic Face Swapping and Reenactment [28.83743270895698]
  顔交換と再現のためにFSGAN(Face Swapping GAN)を提案する。 従来とは違って,顔のトレーニングを必要とせず,顔のペアに適用可能な被験者交換方式を提案する。 顔の表情や表情の変化を調整し、単一の画像やビデオシーケンスに適用できる、新しい反復的深層学習に基づく顔の再現手法を導出する。 映像系列に対しては,再現性,デラウネー三角測量,バリ座標に基づく連続的な顔ビューの認識を導入し,顔領域をフェースコンプリートネットワークで処理する。
  論文  参考訳（メタデータ） (2022-02-25T21:04:39Z)
• Thinking the Fusion Strategy of Multi-reference Face Reenactment [4.1509697008011175]
  複数の参照画像を用いた単純な拡張は生成品質を著しく向上させることを示す。 本研究は,1)公開データセットの再構成作業,2)複数人の頭部運動映像シーケンスからなる元のデータセットの顔の動き伝達,3)新たに提案した評価指標を用いて,提案手法がより定量的な結果が得られることを検証した。
  論文  参考訳（メタデータ） (2022-02-22T09:17:26Z)
• Wish You Were Here: Context-Aware Human Generation [100.51309746913512]
  本稿では,既存の画像にオブジェクト,特に人間を挿入する新しい手法を提案する。 本手法では, 現場の他の人物のポーズを考慮し, まず, 新たな人物のセマンティックマップを生成する。 第2のネットワークは、複数の外観成分の仕様に基づいて、新規人物とそのブレンディングマスクの画素を描画する。 第3のネットワークは、対象者の顔と一致するように生成された顔を洗練する。
  論文  参考訳（メタデータ） (2020-05-21T14:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。