論文の概要: Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control

• arxiv url: http://arxiv.org/abs/2208.02210v1
• Date: Wed, 3 Aug 2022 16:46:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-04 13:52:29.844213
• Title: Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control
• Title（参考訳）: Free-HeadGAN:明示的な視線制御によるニューラルトーキングヘッド合成
• Authors: Michail Christos Doukas, Evangelos Ververas, Viktoriia Sharmanska, Stefanos Zafeiriou
• Abstract要約: Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
• 参考スコア（独自算出の注目度）: 54.079327030892244
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present Free-HeadGAN, a person-generic neural talking head synthesis system. We show that modeling faces with sparse 3D facial landmarks are sufficient for achieving state-of-the-art generative performance, without relying on strong statistical priors of the face, such as 3D Morphable Models. Apart from 3D pose and facial expressions, our method is capable of fully transferring the eye gaze, from a driving actor to a source identity. Our complete pipeline consists of three components: a canonical 3D key-point estimator that regresses 3D pose and expression-related deformations, a gaze estimation network and a generator that is built upon the architecture of HeadGAN. We further experiment with an extension of our generator to accommodate few-shot learning using an attention mechanism, in case more than one source images are available. Compared to the latest models for reenactment and motion transfer, our system achieves higher photo-realism combined with superior identity preservation, while offering explicit gaze control.
• Abstract（参考訳）: 本稿では,人型ニューラルトーキングヘッドシンセシスシステムfree-headganを提案する。 3d morphable モデルのような強力な統計前処理を頼らずに,3d 顔ランドマークの少ないモデリングが最先端の生成性能を実現するには十分であることを示す。 本手法は,3次元ポーズと表情の他に,運転者から発信者への視線を完全に伝達することができる。 完全パイプラインは,3次元ポーズと表現関連変形を回帰する標準3次元キーポイント推定器,視線推定ネットワーク,HeadGANアーキテクチャ上に構築されたジェネレータの3つのコンポーネントから構成される。 さらに,複数のソース画像が利用可能である場合,注意機構を用いて,少数ショット学習に対応するためのジェネレータの拡張についても実験を行った。 再現性や動きの伝達に関する最新のモデルと比較して,本システムはより優れたアイデンティティ保存と組み合わせた高次フォトリアリズムを実現するとともに,明確な視線制御を提供する。

関連論文リスト

• Head Pose Estimation and 3D Neural Surface Reconstruction via Monocular Camera in situ for Navigation and Safe Insertion into Natural Openings [4.592222359553848]
  我々は、ベースプラットフォームとして3Dスライダを選択し、センサーとしてモノクルカメラを使用しました。 神経放射場(NeRF)アルゴリズムを用いて頭部の3次元モデル再構成を行った。 個々の頭部ポーズは、シングルカメラビジョンによって取得され、リアルタイムで3Dスライダ内で生成されたシーンに送信される。
  論文  参考訳（メタデータ） (2024-06-18T20:42:09Z)
• VOODOO 3D: Volumetric Portrait Disentanglement for One-Shot 3D Head Reenactment [17.372274738231443]
  そこで本研究では,ソースの出現とドライバ表現のための,完全に神経の絡み合ったフレームワークをベースとした3D認識型ワンショットヘッド再現手法を提案する。 提案手法はリアルタイムであり,ホログラフィックディスプレイに基づく3次元遠隔会議システムに適した高忠実・高精細な出力を実現する。
  論文  参考訳（メタデータ） (2023-12-07T19:19:57Z)
• One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural Radiance Field [81.07651217942679]
  トーキングヘッド生成は、ソース画像の識別情報を保持し、駆動画像の動作を模倣する顔を生成することを目的としている。 我々は高忠実かつ自由視点の対話ヘッド合成を実現するHiDe-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-11T09:47:35Z)
• OmniAvatar: Geometry-Guided Controllable 3D Head Synthesis [81.70922087960271]
  我々は,非構造画像から学習した新しい幾何学誘導型3次元頭部合成モデルであるOmniAvatarを提案する。 我々のモデルは、最先端の手法と比較して、魅力的なダイナミックディテールで、より好ましいID保存された3Dヘッドを合成することができる。
  論文  参考訳（メタデータ） (2023-03-27T18:36:53Z)
• PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360$^{\circ}$ [17.355141949293852]
  3次元頭部合成のための既存の3次元生成対向ネットワーク(GAN)は、正面近傍のビューに限られるか、大きなビュー角で3次元の一貫性を維持するのが困難である。 パノヘッド(PanoHead)は、360ドル(約3万3000円)で高画質のフルヘッド画像合成を可能にする最初の3D認識生成モデルである。
  論文  参考訳（メタデータ） (2023-03-23T06:54:34Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
  3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。 本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-30T13:40:48Z)
• HeadGAN: One-shot Neural Head Synthesis and Editing [70.30831163311296]
  HeadGANは、3D顔表現を合成し、任意の参照画像の顔形状に適応するシステムです。 3D顔表現により、圧縮と再構築の効率的な方法、表現とポーズ編集のツールとしてさらに使用できるようになります。
  論文  参考訳（メタデータ） (2020-12-15T12:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。