論文の概要: DeX-Portrait: Disentangled and Expressive Portrait Animation via Explicit and Latent Motion Representations
- arxiv url: http://arxiv.org/abs/2512.15524v1
- Date: Wed, 17 Dec 2025 15:23:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-18 17:06:27.040077
- Title: DeX-Portrait: Disentangled and Expressive Portrait Animation via Explicit and Latent Motion Representations
- Title(参考訳): DeX-Portrait: 明示的・潜在的な動き表現によるアンタングルおよび表現的画像アニメーション
- Authors: Yuxiang Shi, Zhe Li, Yanwen Wang, Hao Zhu, Xun Cao, Ligang Liu,
- Abstract要約: DeX-ポートレート(DeX-Portrait)は、アンタングルされたポーズと表現信号によって駆動される表現的ポートレートアニメーションを生成する新しい手法である。
まず、ポーズと表現エンコーダの両方を学習し、精密かつ分解された駆動信号を抽出する強力なモーショントレーナーを設計する。
実験の結果,本手法はアニメーション品質とアンタングル制御性の両方において,最先端のベースラインよりも優れていた。
- 参考スコア(独自算出の注目度): 31.845995837468536
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Portrait animation from a single source image and a driving video is a long-standing problem. Recent approaches tend to adopt diffusion-based image/video generation models for realistic and expressive animation. However, none of these diffusion models realizes high-fidelity disentangled control between the head pose and facial expression, hindering applications like expression-only or pose-only editing and animation. To address this, we propose DeX-Portrait, a novel approach capable of generating expressive portrait animation driven by disentangled pose and expression signals. Specifically, we represent the pose as an explicit global transformation and the expression as an implicit latent code. First, we design a powerful motion trainer to learn both pose and expression encoders for extracting precise and decomposed driving signals. Then we propose to inject the pose transformation into the diffusion model through a dual-branch conditioning mechanism, and the expression latent through cross attention. Finally, we design a progressive hybrid classifier-free guidance for more faithful identity consistency. Experiments show that our method outperforms state-of-the-art baselines on both animation quality and disentangled controllability.
- Abstract(参考訳): 単一のソースイメージとドライビングビデオからのポートレートアニメーションは、長年の課題である。
近年のアプローチでは、現実的で表現力のあるアニメーションに拡散に基づく画像/映像生成モデルを採用する傾向にある。
しかしながら、これらの拡散モデルは、頭部ポーズと表情の間の高忠実な不整合制御を実現せず、表現のみやポーズのみの編集やアニメーションといった応用を妨げる。
そこで本研究では,不整合ポーズと表現信号によって駆動される表現的ポートレートアニメーションを生成可能な,新しいアプローチであるDeX-Portraitを提案する。
具体的には、ポーズを明示的なグローバルな変換として表現し、表現を暗黙の潜在コードとして表現する。
まず、ポーズと表現エンコーダの両方を学習し、精密かつ分解された駆動信号を抽出する強力なモーショントレーナーを設計する。
次に, 二重分岐条件付け機構を用いて拡散モデルにポーズ変換を注入し, クロスアテンションにより遅延した表現を提案する。
最後に、より忠実なアイデンティティ整合性を実現するために、プログレッシブなハイブリッド分類器フリーガイダンスを設計する。
実験の結果,本手法はアニメーション品質とアンタングル制御性の両方において,最先端のベースラインよりも優れていた。
関連論文リスト
- FactorPortrait: Controllable Portrait Animation via Disentangled Expression, Pose, and Viewpoint [49.80464592726769]
本研究では,映像拡散方式であるFacterPortraitを紹介する。
本手法は,運転映像から顔の表情や頭部の動きを移動させることにより,像を識別する。
提案手法は, 現実主義, 表現性, 制御精度, 視点整合性において, 既存の手法よりも優れる。
論文 参考訳(メタデータ) (2025-12-12T15:22:52Z) - Stable Video-Driven Portraits [52.008400639227034]
アニメーションは、ドライビングビデオから表現とポーズを再現することで、単一のソースイメージから写真リアルなビデオを生成することを目的としている。
拡散モデルを用いた最近の進歩は品質の向上を示しているが、弱い制御信号やアーキテクチャ上の制約によって制約されている。
本研究では, 眼, 鼻, 口などのマスク付き顔面領域を, 強力な動き制御手段として活用する新しい拡散型枠組みを提案する。
論文 参考訳(メタデータ) (2025-09-22T08:11:08Z) - X-NeMo: Expressive Neural Motion Reenactment via Disentangled Latent Attention [52.94097577075215]
X-NeMoはゼロショット拡散ベースのポートレートアニメーションパイプラインである。
異なる人物の運転ビデオから顔の動きを使って、静的な肖像画を撮影する。
論文 参考訳(メタデータ) (2025-07-30T22:46:52Z) - Follow-Your-Emoji: Fine-Controllable and Expressive Freestyle Portrait Animation [53.767090490974745]
Follow-Your-Emojiは、ポートレートアニメーションのための拡散ベースのフレームワークである。
参照ポートレートとターゲットランドマークシーケンスを識別する。
本手法は,フリースタイルの肖像画の表現を制御できることを実証する。
論文 参考訳(メタデータ) (2024-06-04T02:05:57Z) - X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention [18.211762995744337]
本稿では,表現的かつ時間的コヒーレントなポートレートアニメーションを生成するための,革新的な条件拡散モデルであるX-Portraitを提案する。
外観参照として1つのポートレートが与えられた場合、駆動ビデオから得られる動きをアニメーション化し、非常にダイナミックかつ微妙な表情をキャプチャすることを目的としている。
実験により,X-ポートレートの多彩な顔画像および表現力のある運転シーケンスに対する普遍的効果が示された。
論文 参考訳(メタデータ) (2024-03-23T20:30:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。