論文の概要: Thinking the Fusion Strategy of Multi-reference Face Reenactment
- arxiv url: http://arxiv.org/abs/2202.10758v1
- Date: Tue, 22 Feb 2022 09:17:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-23 23:37:23.887880
- Title: Thinking the Fusion Strategy of Multi-reference Face Reenactment
- Title(参考訳): マルチレファレンス顔再現の融合戦略を考える
- Authors: Takuya Yashima, Takuya Narihira, Tamaki Kojima
- Abstract要約: 複数の参照画像を用いた単純な拡張は生成品質を著しく向上させることを示す。
本研究は,1)公開データセットの再構成作業,2)複数人の頭部運動映像シーケンスからなる元のデータセットの顔の動き伝達,3)新たに提案した評価指標を用いて,提案手法がより定量的な結果が得られることを検証した。
- 参考スコア(独自算出の注目度): 4.1509697008011175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent advances of deep generative models, face reenactment -manipulating
and controlling human face, including their head movement-has drawn much
attention for its wide range of applicability. Despite its strong
expressiveness, it is inevitable that the models fail to reconstruct or
accurately generate unseen side of the face of a given single reference image.
Most of existing methods alleviate this problem by learning appearances of
human faces from large amount of data and generate realistic texture at
inference time. Rather than completely relying on what generative models learn,
we show that simple extension by using multiple reference images significantly
improves generation quality. We show this by 1) conducting the reconstruction
task on publicly available dataset, 2) conducting facial motion transfer on our
original dataset which consists of multi-person's head movement video
sequences, and 3) using a newly proposed evaluation metric to validate that our
method achieves better quantitative results.
- Abstract(参考訳): 近年の深層生成モデルでは、顔の再現(頭部の動きを含む人間の顔の操作と制御)が幅広い応用性に多くの注目を集めている。
その強い表現性にもかかわらず、モデルが与えられた単一の参照画像の顔の見えない側面を再構成または正確に生成できないことは避けられない。
既存の手法の多くは、大量のデータから人間の顔の外観を学習し、推論時に現実的なテクスチャを生成することでこの問題を軽減する。
生成モデルが何を学習するかに完全に依存するのではなく、複数の参照画像を用いて単純な拡張が生成品質を著しく向上させることを示す。
私たちはこれを示します
1) 公開データセットの復元作業を実施すること。
2) 複数人の頭部運動映像系列からなる元のデータセット上で顔の動き伝達を行い,
3)新たに提案した評価基準を用いて,提案手法がより定量的な結果が得られることを検証する。
関連論文リスト
- Active Generation for Image Classification [50.18107721267218]
本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。
能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
論文 参考訳(メタデータ) (2024-03-11T08:45:31Z) - FitDiff: Robust monocular 3D facial shape and reflectance estimation
using Diffusion Models [85.45528952520468]
拡散型3次元顔アバター生成モデルFitDiffを提案する。
この装置は、"in-the-the-wild" 2D顔画像から抽出されたアイデンティティ埋め込みを利用して、再生可能な顔アバターを生成する。
顔認識の埋め込みを前提とした最初のLCMであるFitDiffは、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
論文 参考訳(メタデータ) (2023-12-07T17:35:49Z) - Effective Adapter for Face Recognition in the Wild [77.09252386558362]
私たちは、画像が低品質で現実世界の歪みに悩まされる、野生の顔認識の課題に取り組みます。
従来のアプローチでは、劣化した画像や、顔の復元技術を使って強化された画像を直接訓練するが、効果がないことが証明された。
高品質な顔データセットで訓練された既存の顔認識モデルを強化するための効果的なアダプタを提案する。
論文 参考訳(メタデータ) (2023-12-04T08:55:46Z) - HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and
Retarget Faces [47.27033282706179]
提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。
提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。
我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
論文 参考訳(メタデータ) (2023-07-20T11:59:42Z) - A Hierarchical Representation Network for Accurate and Detailed Face
Reconstruction from In-The-Wild Images [15.40230841242637]
本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。
我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。
本手法は,再現精度と視覚効果の両方において既存手法より優れる。
論文 参考訳(メタデータ) (2023-02-28T09:24:36Z) - Semantic-aware One-shot Face Re-enactment with Dense Correspondence
Estimation [100.60938767993088]
ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。
本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
論文 参考訳(メタデータ) (2022-11-23T03:02:34Z) - Finding Directions in GAN's Latent Space for Neural Face Reenactment [45.67273942952348]
本論文は顔/頭部の再現において,対象顔の顔ポーズ(3D頭部の向きと表情)を元顔に転送することが目的である。
我々は、訓練済みの(微調整済みの)GANを使用することで、そのようなネットワークのトレーニングを回避し、異なるアプローチをとる。
GAN潜伏空間に実画像を埋め込むことで,実世界の顔の再現に有効であることを示す。
論文 参考訳(メタデータ) (2022-01-31T19:14:03Z) - Everything's Talkin': Pareidolia Face Reenactment [119.49707201178633]
pareidolia face reenactmentは、ビデオ中の人間の顔とタンデムで動く静的なイラストリーフェイスのアニメーションと定義されている。
顔再現法と従来の顔再現法との差異が大きいため, 形状のばらつきとテクスチャのばらつきが導入された。
この2つの課題に取り組むために,新しいパラメトリック非教師なし再現アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-04-07T11:19:13Z) - Weakly-Supervised Multi-Face 3D Reconstruction [45.864415499303405]
多面的3D再構築のための効果的なエンドツーエンドフレームワークを提案する。
各画像の再構成された顔に対して、同じグローバルカメラモデルを採用し、3dシーンにおける相対的な頭部位置と向きを復元することができる。
論文 参考訳(メタデータ) (2021-01-06T13:15:21Z) - Rotate-and-Render: Unsupervised Photorealistic Face Rotation from
Single-View Images [47.18219551855583]
そこで本研究では,フォトリアリスティックな回転面を合成可能な,教師なしのフレームワークを提案する。
私たちの重要な洞察は、3D空間の顔を前後に回転させ、2D平面に再レンダリングすることで、強力な自己スーパービジョンとして機能するということです。
我々の手法は、最先端の手法よりも優れた合成品質とアイデンティティの保存性を有する。
論文 参考訳(メタデータ) (2020-03-18T09:54:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。