論文の概要: Identity-Preserving Pose-Guided Character Animation via Facial Landmarks Transformation

• arxiv url: http://arxiv.org/abs/2412.08976v2
• Date: Tue, 18 Mar 2025 08:30:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:13:01.223871
• Title: Identity-Preserving Pose-Guided Character Animation via Facial Landmarks Transformation
• Title（参考訳）: 顔のランドマーク変換による身元保存型ポッドキャラクタアニメーション
• Authors: Lianrui Mu, Xingze Zhou, Wenjie Zheng, Jiangnan Ye, Haoji Hu,
• Abstract要約: 本稿では,この制限に対処するために3次元モーフィブルモデルを利用する顔のランドマーク変換(Falcial Landmarks Transformation)手法を提案する。 2Dのランドマークを3Dのフェイスモデルに変換し、3Dのフェイスモデルを調整して参照のアイデンティティと整合させ、2Dのランドマークに戻す。 このアプローチにより、参照顔形状との正確なアライメントが保証され、生成されたビデオと参照画像の一貫性が向上する。
• 参考スコア（独自算出の注目度）: 5.591489936998095
• License:
• Abstract: Creating realistic pose-guided image-to-video character animations while preserving facial identity remains challenging, especially in complex and dynamic scenarios such as dancing, where precise identity consistency is crucial. Existing methods frequently encounter difficulties maintaining facial coherence due to misalignments between facial landmarks extracted from driving videos that provide head pose and expression cues and the facial geometry of the reference images. To address this limitation, we introduce the Facial Landmarks Transformation (FLT) method, which leverages a 3D Morphable Model to address this limitation. FLT converts 2D landmarks into a 3D face model, adjusts the 3D face model to align with the reference identity, and then transforms them back into 2D landmarks to guide the image-to-video generation process. This approach ensures accurate alignment with the reference facial geometry, enhancing the consistency between generated videos and reference images. Experimental results demonstrate that FLT effectively preserves facial identity, significantly improving pose-guided character animation models.
• Abstract（参考訳）: 顔のアイデンティティを保ちながらリアルなポーズ誘導画像と映像のキャラクターアニメーションを作成することは、特に正確なアイデンティティの整合性が不可欠であるダンスのような複雑なダイナミックなシナリオでは、依然として困難である。 既存の方法では、頭部ポーズと表情の手がかりを提供する駆動ビデオから抽出された顔のランドマークと、参照画像の顔形状の相違により、顔のコヒーレンスを維持するのが困難であることが多い。 この制限に対処するために,この制限に対処するために3次元形態素モデルを利用するFalcial Landmarks Transformation (FLT)法を導入する。 FLTは2Dランドマークを3Dフェイスモデルに変換し、3Dフェイスモデルを調整して参照IDと整合させ、2Dランドマークに変換して画像からビデオ生成プロセスを導く。 このアプローチは、参照顔形状と正確な整合性を確保し、生成されたビデオと参照画像との整合性を高める。 実験により、FLTは顔のアイデンティティを効果的に保存し、ポーズ誘導キャラクターアニメーションモデルを大幅に改善することが示された。

関連論文リスト

• G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
  この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。 我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。 顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
  論文  参考訳（メタデータ） (2024-08-23T13:13:24Z)
• Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
  既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。 本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。 提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-15T01:31:32Z)
• Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
  Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。 本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
  論文  参考訳（メタデータ） (2023-04-05T15:51:44Z)
• MorphGANFormer: Transformer-based Face Morphing and De-Morphing [55.211984079735196]
  顔変形に対するスタイルGANベースのアプローチが主要な技術である。 本稿では,顔の変形に対する変換器ベースの代替手段を提案し,その利点をStyleGANベースの方法と比較した。
  論文  参考訳（メタデータ） (2023-02-18T19:09:11Z)
• F3A-GAN: Facial Flow for Face Animation with Generative Adversarial Networks [24.64246570503213]
  本研究では,人間の顔の自然な動きを表現するために,顔の流れと呼ばれる3次元幾何学的流れに基づく新しい表現を提案する。 顔の編集に顔のフローを利用するために,条件付き顔のフローを連続的に生成するフレームワークを構築した。
  論文  参考訳（メタデータ） (2022-05-12T16:40:27Z)
• SAFA: Structure Aware Face Animation [9.58882272014749]
  顔画像の異なる成分をモデル化するために,特定の幾何学的構造を構成する構造認識顔画像(SAFA)手法を提案する。 顔のモデリングには3Dフォーマブルモデル(3DMM)、髪やひげなどの他の前景のコンポーネントをモデル化するための複数のアフィン変換、背景をモデル化するためのアイデンティティ変換を使用します。 3DMMの幾何学的埋め込みは、運転シーンの現実的な構造を生成するだけでなく、生成した画像の隠蔽領域の知覚の向上にも寄与する。
  論文  参考訳（メタデータ） (2021-11-09T03:22:38Z)
• UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video Editing [78.26925404508994]
  我々は,UniFaceGANと呼ばれる時間的に一貫した顔画像編集フレームワークを提案する。 本フレームワークは,顔交換と顔再現を同時に行うように設計されている。 現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
  論文  参考訳（メタデータ） (2021-08-12T10:35:22Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
  静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。 私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
  論文  参考訳（メタデータ） (2021-05-31T02:30:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。