論文の概要: Face Animation with an Attribute-Guided Diffusion Model

• arxiv url: http://arxiv.org/abs/2304.03199v1
• Date: Thu, 6 Apr 2023 16:22:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 13:35:00.985883
• Title: Face Animation with an Attribute-Guided Diffusion Model
• Title（参考訳）: 属性誘導拡散モデルによる顔アニメーション
• Authors: Bohan Zeng, Xuhui Liu, Sicheng Gao, Boyu Liu, Hong Li, Jianzhuang Liu, Baochang Zhang
• Abstract要約: 属性誘導拡散モデル(FADM)を用いた顔アニメーションフレームワークを提案する。 FADMは、フォトリアリスティックな対話ヘッド生成のための拡散モデルの優れたモデリング能力を利用するための最初の試みである。
• 参考スコア（独自算出の注目度）: 41.43427420949979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face animation has achieved much progress in computer vision. However, prevailing GAN-based methods suffer from unnatural distortions and artifacts due to sophisticated motion deformation. In this paper, we propose a Face Animation framework with an attribute-guided Diffusion Model (FADM), which is the first work to exploit the superior modeling capacity of diffusion models for photo-realistic talking-head generation. To mitigate the uncontrollable synthesis effect of the diffusion model, we design an Attribute-Guided Conditioning Network (AGCN) to adaptively combine the coarse animation features and 3D face reconstruction results, which can incorporate appearance and motion conditions into the diffusion process. These specific designs help FADM rectify unnatural artifacts and distortions, and also enrich high-fidelity facial details through iterative diffusion refinements with accurate animation attributes. FADM can flexibly and effectively improve existing animation videos. Extensive experiments on widely used talking-head benchmarks validate the effectiveness of FADM over prior arts.
• Abstract（参考訳）: 顔アニメーションはコンピュータビジョンにおいて大きな進歩を遂げた。 しかし,ganに基づく手法では,高精度な運動変形により不自然な歪みやアーティファクトが発生している。 本稿では,属性誘導拡散モデル(FADM)を用いた顔アニメーションフレームワークを提案する。 拡散モデルの制御不能な合成効果を緩和するために,粗いアニメーション特徴と3次元顔再構成結果とを適応的に組み合わせ,その拡散過程に外観と動作条件を組み込む属性誘導型コンディショニングネットワーク(agcn)を設計する。 これらの特定のデザインは、FADMが不自然なアーティファクトや歪みを補正するのに役立つだけでなく、正確なアニメーション特性を持つ反復拡散補正によって、高忠実な顔の詳細を豊かにするのに役立つ。 FADMは、既存のアニメーション映像を柔軟かつ効果的に改善することができる。 広範に使用されているトーキングヘッドベンチマークの大規模な実験は、先行技術に対するFADMの有効性を検証する。

関連論文リスト

• Towards motion from video diffusion models [10.493424298717864]
  本稿では,ビデオ拡散モデルを用いて計算したスコア蒸留サンプリング(SDS)によって導かれるSMPL-Xボディ表現を変形させることにより,人間の動作を合成することを提案する。 得られたアニメーションの忠実度を解析することにより、公開されているテキスト・ビデオ拡散モデルを用いて、動作の程度を把握できる。
  論文  参考訳（メタデータ） (2024-11-19T19:35:28Z)
• MotionDreamer: Exploring Semantic Video Diffusion features for Zero-Shot 3D Mesh Animation [10.263762787854862]
  本稿では,ビデオ拡散モデルから抽出した動きに基づいて,様々な3次元形状の自動アニメーションを行う手法を提案する。 既存のコンピュータグラフィックスパイプラインと互換性のあるメッシュベースの明示的な表現を活用します。 我々の時間効率ゼロショット法は,多種多様な3次元形状を再アニメーションする優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-30T15:30:38Z)
• AnimateMe: 4D Facial Expressions via Diffusion Models [72.63383191654357]
  拡散モデルの最近の進歩により、2次元アニメーションにおける生成モデルの能力が向上した。 グラフニューラルネットワーク(GNN)は,メッシュ空間上で直接拡散過程を定式化し,新しい手法で拡散モデルを記述する。 これにより、メッシュ拡散モデルによる顔の変形の発生が容易になる。
  論文  参考訳（メタデータ） (2024-03-25T21:40:44Z)
• FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
  拡散型3次元顔アバター生成モデルFitDiffを提案する。 本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。 FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
  論文  参考訳（メタデータ） (2023-12-07T17:35:49Z)
• FAAC: Facial Animation Generation with Anchor Frame and Conditional Control for Superior Fidelity and Editability [14.896554342627551]
  顔のアイデンティティと編集能力を両立させる顔アニメーション生成手法を提案する。 このアプローチは、オリジナルのテキスト・ツー・イメージモデルにおける生成能力の劣化に対処するためのアンカーフレームの概念を取り入れている。 提案手法の有効性をDreamBoothモデルとLoRAモデルで検証した。
  論文  参考訳（メタデータ） (2023-12-06T02:55:35Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• Motion-Conditioned Diffusion Model for Controllable Video Synthesis [75.367816656045]
  本稿では,開始画像フレームと一組のストロークから映像を生成する条件拡散モデルであるMCDiffを紹介する。 MCDiffはストローク誘導制御可能なビデオ合成における最先端の視覚的品質を実現する。
  論文  参考訳（メタデータ） (2023-04-27T17:59:32Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。