論文の概要: HeadGAN: One-shot Neural Head Synthesis and Editing

• arxiv url: http://arxiv.org/abs/2012.08261v2
• Date: Mon, 29 Mar 2021 15:19:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 05:22:38.762609
• Title: HeadGAN: One-shot Neural Head Synthesis and Editing
• Title（参考訳）: HeadGAN: ワンショットニューラルヘッド合成と編集
• Authors: Michail Christos Doukas, Stefanos Zafeiriou, Viktoriia Sharmanska
• Abstract要約: HeadGANは、3D顔表現を合成し、任意の参照画像の顔形状に適応するシステムです。 3D顔表現により、圧縮と再構築の効率的な方法、表現とポーズ編集のツールとしてさらに使用できるようになります。
• 参考スコア（独自算出の注目度）: 70.30831163311296
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent attempts to solve the problem of head reenactment using a single reference image have shown promising results. However, most of them either perform poorly in terms of photo-realism, or fail to meet the identity preservation problem, or do not fully transfer the driving pose and expression. We propose HeadGAN, a novel system that conditions synthesis on 3D face representations, which can be extracted from any driving video and adapted to the facial geometry of any reference image, disentangling identity from expression. We further improve mouth movements, by utilising audio features as a complementary input. The 3D face representation enables HeadGAN to be further used as an efficient method for compression and reconstruction and a tool for expression and pose editing.
• Abstract（参考訳）: 単一参照画像を用いた頭部再現問題に対する最近の試みは有望な結果を示している。 しかし、それらの多くは写真リアリズムの面では不十分であるか、アイデンティティの保存問題を満たしていないか、あるいは駆動のポーズと表現を完全に転送していないかのいずれかである。 そこで本研究では,任意の駆動映像から抽出し,任意の参照画像の表情形状に適合する3次元顔表現の合成を条件とした新しいシステムであるheadganを提案する。 音声特徴を補足入力として活用し、口の動きをさらに改善する。 3D顔表現により、HeadGANは、圧縮と再構成の効率的な方法として、また、表現とポーズの編集のためのツールとして、さらに利用できる。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• VOODOO XP: Expressive One-Shot Head Reenactment for VR Telepresence [14.010324388059866]
  VOODOO XPは、入力ドライバビデオと1枚の2Dポートレートから高表現力の表情を生成することができる、3D対応のワンショットヘッド再現法である。 本稿では,モノクラー映像設定と双方向通信のためのエンドツーエンドVRテレプレゼンスシステムについて述べる。
  論文  参考訳（メタデータ） (2024-05-25T12:33:40Z)
• Parametric Implicit Face Representation for Audio-Driven Facial Reenactment [52.33618333954383]
  本稿では,制御可能かつ高品質な発話ヘッドを生成可能な,新しい音声駆動型顔再現フレームワークを提案する。 具体的には、パラメトリックな暗示表現は、3次元顔モデルの解釈可能なパラメータで暗示表現をパラメータ化する。 提案手法は,話者の身元や話し方に忠実な従来手法よりも現実的な結果が得られる。
  論文  参考訳（メタデータ） (2023-06-13T07:08:22Z)
• One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural Radiance Field [81.07651217942679]
  トーキングヘッド生成は、ソース画像の識別情報を保持し、駆動画像の動作を模倣する顔を生成することを目的としている。 我々は高忠実かつ自由視点の対話ヘッド合成を実現するHiDe-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-11T09:47:35Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• One-Shot Face Reenactment on Megapixels [10.93616643559957]
  本稿では,MegaFRと呼ばれる一発・高解像度顔再現法を提案する。 3DMMベースのレンダリング画像を用いて、StyleGANを活用し、高品質なビデオデータセットの欠如を克服する。 フェースフロンダリゼーション,アイインペイント,トーキングヘッド生成など,様々な応用にMegaFRを適用した。
  論文  参考訳（メタデータ） (2022-05-26T13:52:04Z)
• Head2HeadFS: Video-based Head Reenactment with Few-shot Learning [64.46913473391274]
  ヘッド再アクティベーションは、ヘッドポーズ全体をソースの人からターゲットに転送することを目的とした挑戦的なタスクです。 頭部再生のための新しい適応性パイプラインであるhead2headfsを提案する。 当社のビデオベースのレンダリングネットワークは、ほんの数サンプルを使用して、数ショットの学習戦略の下で微調整されます。
  論文  参考訳（メタデータ） (2021-03-30T10:19:41Z)
• Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
  我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。 駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。 我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
  論文  参考訳（メタデータ） (2020-06-17T23:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。