論文の概要: F3A-GAN: Facial Flow for Face Animation with Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2205.06204v1
• Date: Thu, 12 May 2022 16:40:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 12:29:28.518287
• Title: F3A-GAN: Facial Flow for Face Animation with Generative Adversarial Networks
• Title（参考訳）: F3A-GAN:生成対向ネットワークを用いた顔アニメーションのための顔の流れ
• Authors: Xintian Wu, Qihang Zhang, Yiming Wu, Huanyu Wang, Songyuan Li, Lingyun Sun, and Xi Li
• Abstract要約: 本研究では,人間の顔の自然な動きを表現するために,顔の流れと呼ばれる3次元幾何学的流れに基づく新しい表現を提案する。 顔の編集に顔のフローを利用するために,条件付き顔のフローを連続的に生成するフレームワークを構築した。
• 参考スコア（独自算出の注目度）: 24.64246570503213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Formulated as a conditional generation problem, face animation aims at synthesizing continuous face images from a single source image driven by a set of conditional face motion. Previous works mainly model the face motion as conditions with 1D or 2D representation (e.g., action units, emotion codes, landmark), which often leads to low-quality results in some complicated scenarios such as continuous generation and largepose transformation. To tackle this problem, the conditions are supposed to meet two requirements, i.e., motion information preserving and geometric continuity. To this end, we propose a novel representation based on a 3D geometric flow, termed facial flow, to represent the natural motion of the human face at any pose. Compared with other previous conditions, the proposed facial flow well controls the continuous changes to the face. After that, in order to utilize the facial flow for face editing, we build a synthesis framework generating continuous images with conditional facial flows. To fully take advantage of the motion information of facial flows, a hierarchical conditional framework is designed to combine the extracted multi-scale appearance features from images and motion features from flows in a hierarchical manner. The framework then decodes multiple fused features back to images progressively. Experimental results demonstrate the effectiveness of our method compared to other state-of-the-art methods.
• Abstract（参考訳）: 条件生成問題として定式化された顔アニメーションは、条件付き顔の動きによって駆動される単一の音源画像から連続顔画像を合成することを目的としている。 以前の作品は、顔の動きを1dまたは2d表現(アクションユニット、感情コード、ランドマークなど)の条件としてモデル化しており、これはしばしば、連続生成や大規模変換のような複雑なシナリオで品質の低い結果をもたらす。 この問題に対処するために、条件は運動情報保存と幾何学的連続性という2つの要件を満たすことが求められる。 そこで本研究では,人間の顔の自然な動きを表現するために,顔の流れと呼ばれる3次元幾何学的流れに基づく新しい表現を提案する。 他の条件と比較して,提案手法では顔の連続的な変化を良好に制御できる。 その後、顔の編集に顔フローを利用するため、条件付き顔フローを伴う連続画像を生成する合成フレームワークを構築する。 顔フローの動作情報を完全に活用するために, 画像から抽出した複数スケールの外観特徴と, フローから抽出した動き特徴とを階層的に結合する階層的条件付き枠組みを考案した。 フレームワークは複数の融合した機能を徐々にイメージにデコードする。 実験の結果,本手法は他の最先端手法と比較して有効性が示された。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
  この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。 我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。 顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
  論文  参考訳（メタデータ） (2024-08-23T13:13:24Z)
• FAAC: Facial Animation Generation with Anchor Frame and Conditional Control for Superior Fidelity and Editability [14.896554342627551]
  顔のアイデンティティと編集能力を両立させる顔アニメーション生成手法を提案する。 このアプローチは、オリジナルのテキスト・ツー・イメージモデルにおける生成能力の劣化に対処するためのアンカーフレームの概念を取り入れている。 提案手法の有効性をDreamBoothモデルとLoRAモデルで検証した。
  論文  参考訳（メタデータ） (2023-12-06T02:55:35Z)
• SAFA: Structure Aware Face Animation [9.58882272014749]
  顔画像の異なる成分をモデル化するために,特定の幾何学的構造を構成する構造認識顔画像(SAFA)手法を提案する。 顔のモデリングには3Dフォーマブルモデル(3DMM)、髪やひげなどの他の前景のコンポーネントをモデル化するための複数のアフィン変換、背景をモデル化するためのアイデンティティ変換を使用します。 3DMMの幾何学的埋め込みは、運転シーンの現実的な構造を生成するだけでなく、生成した画像の隠蔽領域の知覚の向上にも寄与する。
  論文  参考訳（メタデータ） (2021-11-09T03:22:38Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video Editing [78.26925404508994]
  我々は,UniFaceGANと呼ばれる時間的に一貫した顔画像編集フレームワークを提案する。 本フレームワークは,顔交換と顔再現を同時に行うように設計されている。 現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
  論文  参考訳（メタデータ） (2021-08-12T10:35:22Z)
• Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
  静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。 私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
  論文  参考訳（メタデータ） (2021-05-31T02:30:11Z)
• DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
  DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。 私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。 登録された画像に対して,60fpsで3次元フローマップを生成する。
  論文  参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。