論文の概要: Enhancing Facial Consistency in Conditional Video Generation via Facial Landmark Transformation

• arxiv url: http://arxiv.org/abs/2412.08976v1
• Date: Thu, 12 Dec 2024 06:13:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 15:57:56.384376
• Title: Enhancing Facial Consistency in Conditional Video Generation via Facial Landmark Transformation
• Title（参考訳）: 顔のランドマーク変換による条件付きビデオ生成における顔の一貫性向上
• Authors: Lianrui Mu, Xingze Zhou, Wenjie Zheng, Jiangnan Ye, Xiaoyu Liang, Yuchen Yang, Jianhong Bai, Jiedong Zhuang, Haoji Hu,
• Abstract要約: 3次元形態素モデル(3DMM)に基づく顔のランドマーク変換法を提案する。 本研究では、3DMMパラメータを基準画像に合わせるように調整することで、対象の顔の特徴に整合する変換されたランドマークを得る。
• 参考スコア（独自算出の注目度）: 8.531844856784407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Landmark-guided character animation generation is an important field. Generating character animations with facial features consistent with a reference image remains a significant challenge in conditional video generation, especially involving complex motions like dancing. Existing methods often fail to maintain facial feature consistency due to mismatches between the facial landmarks extracted from source videos and the target facial features in the reference image. To address this problem, we propose a facial landmark transformation method based on the 3D Morphable Model (3DMM). We obtain transformed landmarks that align with the target facial features by reconstructing 3D faces from the source landmarks and adjusting the 3DMM parameters to match the reference image. Our method improves the facial consistency between the generated videos and the reference images, effectively improving the facial feature mismatch problem.
• Abstract（参考訳）: ランドマーク誘導文字アニメーション生成は重要な分野である。 顔の特徴が参照画像と一致したキャラクターアニメーションを生成することは、条件付きビデオ生成において重要な課題であり、特にダンスのような複雑な動きを伴う。 既存の方法は、ソースビデオから抽出された顔のランドマークと参照画像のターゲットの顔の特徴との間のミスマッチにより、顔の特徴の一貫性を維持するのに失敗することが多い。 この問題に対処するために,3次元Morphable Model(3DMM)に基づく顔のランドマーク変換手法を提案する。 本研究では、3DMMパラメータを基準画像に合わせるように調整することで、対象の顔の特徴に整合する変換されたランドマークを得る。 提案手法は,生成した映像と参照画像との顔の整合性を向上し,顔の特徴ミスマッチ問題を効果的に改善する。

関連論文リスト

• MagicPortrait: Temporally Consistent Face Reenactment with 3D Geometric Guidance [23.69067438843687]
  本稿では,3次元顔パラメトリックモデルを潜在拡散フレームワークに統合した映像顔再現法を提案する。 本手法は,3次元顔パラメトリックモデルを動作誘導として利用することにより,運転映像から捉えた動きと参照画像との顔の同一性のパラメトリックアライメントを可能にする。
  論文  参考訳（メタデータ） (2025-04-30T10:30:46Z)
• FantasyID: Face Knowledge Enhanced ID-Preserving Video Generation [12.894864326299544]
  拡散変換器(DiT)上に構築された事前学習ビデオモデルの顔知識を強化することで、新しいチューニング不要なPT2Vフレームワークを提案する。 本研究では拡散変圧器(DiT)上に構築された事前学習ビデオモデルの顔知識を強化することで、新しいチューニング不要なPT2Vフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-19T06:50:27Z)
• G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
  この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。 我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。 顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
  論文  参考訳（メタデータ） (2024-08-23T13:13:24Z)
• ImFace++: A Sophisticated Nonlinear 3D Morphable Face Model with Implicit Neural Representations [25.016000421755162]
  本稿では,暗黙のニューラル表現を持つ高度で連続的な空間を学習するために,ImFace++という新しい3次元顔モデルを提案する。 ImFace++は、まず2つの明示的に歪んだ変形フィールドを構築し、アイデンティティと式に関連する複雑な形状をモデル化する。 さらにテンプレート空間内の精細化変位場が組み込まれ、個々の顔の詳細をきめ細かな学習が可能となる。
  論文  参考訳（メタデータ） (2023-12-07T03:53:53Z)
• Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
  既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。 本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。 提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-15T01:31:32Z)
• Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
  Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。 本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
  論文  参考訳（メタデータ） (2023-04-05T15:51:44Z)
• HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and Dynamic Details [66.74088288846491]
  HiFaceは、動的かつ静的なディテールで高忠実な3D顔再構成を目指している。 我々は、いくつかの損失関数を利用して、粗い形状と、合成データセットと実世界のデータセットの両方で詳細を共同で学習する。
  論文  参考訳（メタデータ） (2023-03-20T16:07:02Z)
• MorphGANFormer: Transformer-based Face Morphing and De-Morphing [55.211984079735196]
  顔変形に対するスタイルGANベースのアプローチが主要な技術である。 本稿では,顔の変形に対する変換器ベースの代替手段を提案し,その利点をStyleGANベースの方法と比較した。
  論文  参考訳（メタデータ） (2023-02-18T19:09:11Z)
• F3A-GAN: Facial Flow for Face Animation with Generative Adversarial Networks [24.64246570503213]
  本研究では,人間の顔の自然な動きを表現するために,顔の流れと呼ばれる3次元幾何学的流れに基づく新しい表現を提案する。 顔の編集に顔のフローを利用するために,条件付き顔のフローを連続的に生成するフレームワークを構築した。
  論文  参考訳（メタデータ） (2022-05-12T16:40:27Z)
• SAFA: Structure Aware Face Animation [9.58882272014749]
  顔画像の異なる成分をモデル化するために,特定の幾何学的構造を構成する構造認識顔画像(SAFA)手法を提案する。 顔のモデリングには3Dフォーマブルモデル(3DMM)、髪やひげなどの他の前景のコンポーネントをモデル化するための複数のアフィン変換、背景をモデル化するためのアイデンティティ変換を使用します。 3DMMの幾何学的埋め込みは、運転シーンの現実的な構造を生成するだけでなく、生成した画像の隠蔽領域の知覚の向上にも寄与する。
  論文  参考訳（メタデータ） (2021-11-09T03:22:38Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video Editing [78.26925404508994]
  我々は,UniFaceGANと呼ばれる時間的に一貫した顔画像編集フレームワークを提案する。 本フレームワークは,顔交換と顔再現を同時に行うように設計されている。 現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
  論文  参考訳（メタデータ） (2021-08-12T10:35:22Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
  静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。 私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
  論文  参考訳（メタデータ） (2021-05-31T02:30:11Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)
• Personalized Face Modeling for Improved Face Reconstruction and Motion Retargeting [22.24046752858929]
  本稿では、ユーザごとのパーソナライズされた顔モデルとフレームごとの顔の動きパラメータを共同で学習するエンドツーエンドフレームワークを提案する。 具体的には、パーソナライズされた修正を予測することによって、ユーザ固有の表現と動的(表現固有の)アルベドマップのブレンドを学習する。 実験結果から, 顔の微細な動態を広範囲の状況で正確に把握できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-14T01:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。