論文の概要: Enhancing Facial Consistency in Conditional Video Generation via Facial Landmark Transformation
- arxiv url: http://arxiv.org/abs/2412.08976v1
- Date: Thu, 12 Dec 2024 06:13:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-13 13:29:36.168865
- Title: Enhancing Facial Consistency in Conditional Video Generation via Facial Landmark Transformation
- Title（参考訳）: 顔のランドマーク変換による条件付きビデオ生成における顔の一貫性向上
- Authors: Lianrui Mu, Xingze Zhou, Wenjie Zheng, Jiangnan Ye, Xiaoyu Liang, Yuchen Yang, Jianhong Bai, Jiedong Zhuang, Haoji Hu,
- Abstract要約: 3次元形態素モデル(3DMM)に基づく顔のランドマーク変換法を提案する。
本研究では、3DMMパラメータを基準画像に合わせるように調整することで、対象の顔の特徴に整合する変換されたランドマークを得る。
- 参考スコア（独自算出の注目度）: 8.531844856784407
- License:
- Abstract: Landmark-guided character animation generation is an important field. Generating character animations with facial features consistent with a reference image remains a significant challenge in conditional video generation, especially involving complex motions like dancing. Existing methods often fail to maintain facial feature consistency due to mismatches between the facial landmarks extracted from source videos and the target facial features in the reference image. To address this problem, we propose a facial landmark transformation method based on the 3D Morphable Model (3DMM). We obtain transformed landmarks that align with the target facial features by reconstructing 3D faces from the source landmarks and adjusting the 3DMM parameters to match the reference image. Our method improves the facial consistency between the generated videos and the reference images, effectively improving the facial feature mismatch problem.
- Abstract（参考訳）: ランドマーク誘導文字アニメーション生成は重要な分野である。
顔の特徴が参照画像と一致したキャラクターアニメーションを生成することは、条件付きビデオ生成において重要な課題であり、特にダンスのような複雑な動きを伴う。
既存の方法は、ソースビデオから抽出された顔のランドマークと参照画像のターゲットの顔の特徴との間のミスマッチにより、顔の特徴の一貫性を維持するのに失敗することが多い。
この問題に対処するために,3次元Morphable Model(3DMM)に基づく顔のランドマーク変換手法を提案する。
本研究では、3DMMパラメータを基準画像に合わせるように調整することで、対象の顔の特徴に整合する変換されたランドマークを得る。
提案手法は,生成した映像と参照画像との顔の整合性を向上し,顔の特徴ミスマッチ問題を効果的に改善する。
関連論文リスト
- G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。
我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。
顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
論文 参考訳（メタデータ） (2024-08-23T13:13:24Z) - Identity-Preserving Talking Face Generation with Landmark and Appearance
Priors [106.79923577700345]
既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。
本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。
提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
論文 参考訳（メタデータ） (2023-05-15T01:31:32Z) - Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。
本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
論文 参考訳（メタデータ） (2023-04-05T15:51:44Z) - MorphGANFormer: Transformer-based Face Morphing and De-Morphing [55.211984079735196]
顔変形に対するスタイルGANベースのアプローチが主要な技術である。
本稿では,顔の変形に対する変換器ベースの代替手段を提案し,その利点をStyleGANベースの方法と比較した。
論文 参考訳（メタデータ） (2023-02-18T19:09:11Z) - F3A-GAN: Facial Flow for Face Animation with Generative Adversarial
Networks [24.64246570503213]
本研究では,人間の顔の自然な動きを表現するために,顔の流れと呼ばれる3次元幾何学的流れに基づく新しい表現を提案する。
顔の編集に顔のフローを利用するために,条件付き顔のフローを連続的に生成するフレームワークを構築した。
論文 参考訳（メタデータ） (2022-05-12T16:40:27Z) - SAFA: Structure Aware Face Animation [9.58882272014749]
顔画像の異なる成分をモデル化するために,特定の幾何学的構造を構成する構造認識顔画像(SAFA)手法を提案する。
顔のモデリングには3Dフォーマブルモデル(3DMM)、髪やひげなどの他の前景のコンポーネントをモデル化するための複数のアフィン変換、背景をモデル化するためのアイデンティティ変換を使用します。
3DMMの幾何学的埋め込みは、運転シーンの現実的な構造を生成するだけでなく、生成した画像の隠蔽領域の知覚の向上にも寄与する。
論文 参考訳（メタデータ） (2021-11-09T03:22:38Z) - UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video
Editing [78.26925404508994]
我々は,UniFaceGANと呼ばれる時間的に一貫した顔画像編集フレームワークを提案する。
本フレームワークは,顔交換と顔再現を同時に行うように設計されている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
論文 参考訳（メタデータ） (2021-08-12T10:35:22Z) - HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。
本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
論文 参考訳（メタデータ） (2021-06-18T07:39:09Z) - Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。
私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
論文 参考訳（メタデータ） (2021-05-31T02:30:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。