論文の概要: F3A-GAN: Facial Flow for Face Animation with Generative Adversarial
Networks
- arxiv url: http://arxiv.org/abs/2205.06204v2
- Date: Fri, 13 May 2022 09:44:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-16 10:40:50.961899
- Title: F3A-GAN: Facial Flow for Face Animation with Generative Adversarial
Networks
- Title(参考訳): F3A-GAN:生成対向ネットワークを用いた顔アニメーションのための顔の流れ
- Authors: Xintian Wu, Qihang Zhang, Yiming Wu, Huanyu Wang, Songyuan Li, Lingyun
Sun, and Xi Li
- Abstract要約: 本研究では,人間の顔の自然な動きを表現するために,顔の流れと呼ばれる3次元幾何学的流れに基づく新しい表現を提案する。
顔の編集に顔のフローを利用するために,条件付き顔のフローを連続的に生成するフレームワークを構築した。
- 参考スコア(独自算出の注目度): 24.64246570503213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Formulated as a conditional generation problem, face animation aims at
synthesizing continuous face images from a single source image driven by a set
of conditional face motion. Previous works mainly model the face motion as
conditions with 1D or 2D representation (e.g., action units, emotion codes,
landmark), which often leads to low-quality results in some complicated
scenarios such as continuous generation and largepose transformation. To tackle
this problem, the conditions are supposed to meet two requirements, i.e.,
motion information preserving and geometric continuity. To this end, we propose
a novel representation based on a 3D geometric flow, termed facial flow, to
represent the natural motion of the human face at any pose. Compared with other
previous conditions, the proposed facial flow well controls the continuous
changes to the face. After that, in order to utilize the facial flow for face
editing, we build a synthesis framework generating continuous images with
conditional facial flows. To fully take advantage of the motion information of
facial flows, a hierarchical conditional framework is designed to combine the
extracted multi-scale appearance features from images and motion features from
flows in a hierarchical manner. The framework then decodes multiple fused
features back to images progressively. Experimental results demonstrate the
effectiveness of our method compared to other state-of-the-art methods.
- Abstract(参考訳): 条件生成問題として定式化された顔アニメーションは、条件付き顔の動きによって駆動される単一の音源画像から連続顔画像を合成することを目的としている。
以前の作品は、顔の動きを1dまたは2d表現(アクションユニット、感情コード、ランドマークなど)の条件としてモデル化しており、これはしばしば、連続生成や大規模変換のような複雑なシナリオで品質の低い結果をもたらす。
この問題に対処するために、条件は運動情報保存と幾何学的連続性という2つの要件を満たすことが求められる。
そこで本研究では,人間の顔の自然な動きを表現するために,顔の流れと呼ばれる3次元幾何学的流れに基づく新しい表現を提案する。
他の条件と比較して,提案手法では顔の連続的な変化を良好に制御できる。
その後、顔の編集に顔フローを利用するため、条件付き顔フローを伴う連続画像を生成する合成フレームワークを構築する。
顔フローの動作情報を完全に活用するために, 画像から抽出した複数スケールの外観特徴と, フローから抽出した動き特徴とを階層的に結合する階層的条件付き枠組みを考案した。
フレームワークは複数の融合した機能を徐々にイメージにデコードする。
実験の結果,本手法は他の最先端手法と比較して有効性が示された。
関連論文リスト
- FAAC: Facial Animation Generation with Anchor Frame and Conditional
Control for Superior Fidelity and Editability [14.896554342627551]
顔のアイデンティティと編集能力を両立させる顔アニメーション生成手法を提案する。
このアプローチは、オリジナルのテキスト・ツー・イメージモデルにおける生成能力の劣化に対処するためのアンカーフレームの概念を取り入れている。
提案手法の有効性をDreamBoothモデルとLoRAモデルで検証した。
論文 参考訳(メタデータ) (2023-12-06T02:55:35Z) - CodeTalker: Speech-Driven 3D Facial Animation with Discrete Motion Prior [27.989344587876964]
音声駆動の3D顔アニメーションは広く研究されているが、現実主義と鮮明さを達成するにはまだまだギャップがある。
本稿では,学習したコードブックの有限プロキシ空間において,音声による顔のアニメーションをコードクエリタスクとしてキャストすることを提案する。
提案手法は, 定性的かつ定量的に, 現在の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-01-06T05:04:32Z) - Controllable Radiance Fields for Dynamic Face Synthesis [125.48602100893845]
非剛性運動を示す顔力学の生成モデル合成を明示的に制御する方法について検討する。
制御可能な放射場(CoRF)
頭部画像・映像データから,CoRFは3次元認識可能であり,識別,視聴方向,動きの編集が可能であることを示す。
論文 参考訳(メタデータ) (2022-10-11T23:17:31Z) - SAFA: Structure Aware Face Animation [9.58882272014749]
顔画像の異なる成分をモデル化するために,特定の幾何学的構造を構成する構造認識顔画像(SAFA)手法を提案する。
顔のモデリングには3Dフォーマブルモデル(3DMM)、髪やひげなどの他の前景のコンポーネントをモデル化するための複数のアフィン変換、背景をモデル化するためのアイデンティティ変換を使用します。
3DMMの幾何学的埋め込みは、運転シーンの現実的な構造を生成するだけでなく、生成した画像の隠蔽領域の知覚の向上にも寄与する。
論文 参考訳(メタデータ) (2021-11-09T03:22:38Z) - MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。
提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。
ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
論文 参考訳(メタデータ) (2021-11-01T15:53:36Z) - UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video
Editing [78.26925404508994]
我々は,UniFaceGANと呼ばれる時間的に一貫した顔画像編集フレームワークを提案する。
本フレームワークは,顔交換と顔再現を同時に行うように設計されている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
論文 参考訳(メタデータ) (2021-08-12T10:35:22Z) - Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。
私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
論文 参考訳(メタデータ) (2021-05-31T02:30:11Z) - Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。
DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。
本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
論文 参考訳(メタデータ) (2020-12-07T19:30:45Z) - DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。
私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。
登録された画像に対して,60fpsで3次元フローマップを生成する。
論文 参考訳(メタデータ) (2020-05-14T23:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。