論文の概要: Thinking the Fusion Strategy of Multi-reference Face Reenactment

• arxiv url: http://arxiv.org/abs/2202.10758v1
• Date: Tue, 22 Feb 2022 09:17:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 23:37:23.887880
• Title: Thinking the Fusion Strategy of Multi-reference Face Reenactment
• Title（参考訳）: マルチレファレンス顔再現の融合戦略を考える
• Authors: Takuya Yashima, Takuya Narihira, Tamaki Kojima
• Abstract要約: 複数の参照画像を用いた単純な拡張は生成品質を著しく向上させることを示す。 本研究は,1)公開データセットの再構成作業,2)複数人の頭部運動映像シーケンスからなる元のデータセットの顔の動き伝達,3)新たに提案した評価指標を用いて,提案手法がより定量的な結果が得られることを検証した。
• 参考スコア（独自算出の注目度）: 4.1509697008011175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent advances of deep generative models, face reenactment -manipulating and controlling human face, including their head movement-has drawn much attention for its wide range of applicability. Despite its strong expressiveness, it is inevitable that the models fail to reconstruct or accurately generate unseen side of the face of a given single reference image. Most of existing methods alleviate this problem by learning appearances of human faces from large amount of data and generate realistic texture at inference time. Rather than completely relying on what generative models learn, we show that simple extension by using multiple reference images significantly improves generation quality. We show this by 1) conducting the reconstruction task on publicly available dataset, 2) conducting facial motion transfer on our original dataset which consists of multi-person's head movement video sequences, and 3) using a newly proposed evaluation metric to validate that our method achieves better quantitative results.
• Abstract（参考訳）: 近年の深層生成モデルでは、顔の再現(頭部の動きを含む人間の顔の操作と制御)が幅広い応用性に多くの注目を集めている。 その強い表現性にもかかわらず、モデルが与えられた単一の参照画像の顔の見えない側面を再構成または正確に生成できないことは避けられない。 既存の手法の多くは、大量のデータから人間の顔の外観を学習し、推論時に現実的なテクスチャを生成することでこの問題を軽減する。 生成モデルが何を学習するかに完全に依存するのではなく、複数の参照画像を用いて単純な拡張が生成品質を著しく向上させることを示す。 私たちはこれを示します 1) 公開データセットの復元作業を実施すること。 2) 複数人の頭部運動映像系列からなる元のデータセット上で顔の動き伝達を行い, 3)新たに提案した評価基準を用いて,提案手法がより定量的な結果が得られることを検証する。

関連論文リスト

• Single Image, Any Face: Generalisable 3D Face Generation [59.9369171926757]
  我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。 私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
  論文  参考訳（メタデータ） (2024-09-25T14:56:37Z)
• SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
  現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。 本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
  論文  参考訳（メタデータ） (2024-09-12T12:30:04Z)
• Effective Adapter for Face Recognition in the Wild [72.75516495170199]
  私たちは、画像が低品質で現実世界の歪みに悩まされる、野生の顔認識の課題に取り組みます。 従来のアプローチでは、劣化した画像や、顔の復元技術を使って強化された画像を直接訓練するが、効果がないことが証明された。 高品質な顔データセットで訓練された既存の顔認識モデルを強化するための効果的なアダプタを提案する。
  論文  参考訳（メタデータ） (2023-12-04T08:55:46Z)
• HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces [47.27033282706179]
  提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。 提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。 我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
  論文  参考訳（メタデータ） (2023-07-20T11:59:42Z)
• A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images [15.40230841242637]
  本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。 我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。 本手法は,再現精度と視覚効果の両方において既存手法より優れる。
  論文  参考訳（メタデータ） (2023-02-28T09:24:36Z)
• Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation [100.60938767993088]
  ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。 本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
  論文  参考訳（メタデータ） (2022-11-23T03:02:34Z)
• Everything's Talkin': Pareidolia Face Reenactment [119.49707201178633]
  pareidolia face reenactmentは、ビデオ中の人間の顔とタンデムで動く静的なイラストリーフェイスのアニメーションと定義されている。 顔再現法と従来の顔再現法との差異が大きいため, 形状のばらつきとテクスチャのばらつきが導入された。 この2つの課題に取り組むために,新しいパラメトリック非教師なし再現アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-07T11:19:13Z)
• Weakly-Supervised Multi-Face 3D Reconstruction [45.864415499303405]
  多面的3D再構築のための効果的なエンドツーエンドフレームワークを提案する。 各画像の再構成された顔に対して、同じグローバルカメラモデルを採用し、3dシーンにおける相対的な頭部位置と向きを復元することができる。
  論文  参考訳（メタデータ） (2021-01-06T13:15:21Z)
• Learning Complete 3D Morphable Face Models from Images and Videos [88.34033810328201]
  本稿では,画像やビデオから顔形状,アルベド,表現の完全な3次元モデルを学ぶための最初のアプローチを提案する。 既存の手法よりも,学習モデルの方がより一般化し,高品質な画像ベース再構築につながることを示す。
  論文  参考訳（メタデータ） (2020-10-04T20:51:23Z)
• Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images [47.18219551855583]
  そこで本研究では,フォトリアリスティックな回転面を合成可能な,教師なしのフレームワークを提案する。 私たちの重要な洞察は、3D空間の顔を前後に回転させ、2D平面に再レンダリングすることで、強力な自己スーパービジョンとして機能するということです。 我々の手法は、最先端の手法よりも優れた合成品質とアイデンティティの保存性を有する。
  論文  参考訳（メタデータ） (2020-03-18T09:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。