論文の概要: CrossPortrait: Cross-Species Portrait Animation via Adversarial Motion Alignment
- arxiv url: http://arxiv.org/abs/2610.17532v2
- Date: Mon, 19 Oct 2026 06:49:54 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:18:58.776285
- Title: CrossPortrait: Cross-Species Portrait Animation via Adversarial Motion Alignment
- Title(参考訳): CrossPortrait: 反対運動アライメントによるクロススペック・ポートレートアニメーション
- Abstract要約: クロス種の肖像画アニメーションは、種Aの原像を種Bの駆動ビデオを使ってアニメーション化することを目的としている。
以前の作品では、動物ビデオのデータセットで人間の肖像画を微調整するのが一般的だった。
そこで我々は,表現力のあるクロススペック・ポートレート・アニメーションのための新しいフレームワークであるCrossPortraitを提案する。
- 参考スコア(独自算出の注目度): 43.556359183173925
- License:
- Abstract: Cross-species portrait animation, which aims to animate a source portrait of species A using a driving video of species B, is particularly challenging due to substantial anatomical differences in facial structures across species. Previous works typically fine-tune human portrait animation models on animal video datasets but often suffer from driving-species leakage. To address this, we propose CrossPortrait, a novel framework for expressive cross-species portrait animation, supporting diverse scenarios including human-to-animal, animal-to-human and cross-species animal-to-animal (e.g. cat-to-dog) animation. Specifically, we decompose the portrait motion into rigid head poses and expression keypoints. To accommodate species-specific facial structures while facilitating cross-species expression alignment, we introduce a species-routed expression encoder that incorporates species-specific LoRAs into a unified expression encoder. Furthermore, we introduce expression-level adversarial domain adaptation (Ex-ADA) to suppress driving-species-specific information in the expression latents, thereby mitigating species leakage and promoting a shared expression space across species. Extensive experiments show that our method enables expressive and identity-preserving portrait animation across diverse species and outperforms other state-of-the-art approaches.
- Abstract(参考訳): 種間の顔構造が解剖学的に大きく異なるため、種Aの原像を種Bの駆動映像でアニメーション化することを目的としているクロス種像アニメーションは特に困難である。
以前の作品は通常、動物のビデオデータセット上で人間の肖像画を微調整するが、しばしば運転種が漏れることに悩まされる。
そこで我々はCrossPortraitを提案する。CrossPortraitは、人間から動物へ、動物から動物へ、動物から動物へ、そして動物から動物へ(eg cat-to-dog)アニメーションを含む多様なシナリオをサポートする。
具体的には、像の動きを剛体な頭部ポーズと表現キーポイントに分解する。
種特異的な顔構造に対応するために,種特異的なLoRAを統一表現エンコーダに組み込んだ,種間発現アライメントを容易にする。
さらに,本研究は,表現潜伏者の運転種別情報を抑制するために,表現レベル逆境適応(Ex-ADA)を導入し,種漏洩を緩和し,種間の共有表現空間を促進させる。
広汎な実験により,本手法は多種多様なイメージアニメーションを表現的,アイデンティティ的に保存し,他の最先端の手法よりも優れることが示された。
関連論文リスト
- Cross-Species Animal Re-Identification with Semantic Consistency Learning [49.843830441987684]
ReID (Generalizable Animal Re-Identification) は、様々な形態と生態学的文脈を持つ種間で個々の動物を識別することを目的としている。
ReIDとは異なり、動物種は解剖学的構造や視覚パターンが著しく異なるため、共通の視覚的対応を確立することは困難である。
本稿では, 外観の変動に対して安定な表現を学習するためのフレームワークであるセマンティック一貫性学習(SCL)を提案する。
論文 参考訳(メタデータ) (2026-09-09T04:41:01Z) - X-MoGen: Unified Motion Generation across Humans and Animals [9.967329240441844]
X-MoGenは、人間と動物の両方をカバーするクロス種テキスト駆動モーション生成のための最初の統一されたフレームワークである。
我々は115種の大規模データセットと119kのモーションシーケンスを構築し、共同トレーニングのための共有骨格トポロジーの下で人間と動物の動きを統合する。
UniMo4Dの実験では、X-MoGenは目に見える種と目に見えない種の両方で最先端の手法より優れていることが示されている。
論文 参考訳(メタデータ) (2025-08-07T08:51:51Z) - FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers [10.4806619052953]
本稿では,高忠実かつ感情豊かなアニメーションを生成可能な拡散トランスフォーマーベースのフレームワークであるFantasyPortraitを提案する。
本手法では,暗黙の表現を利用した表情強化学習戦略を導入し,その特徴を認識できない顔のダイナミクスを捉える。
マルチキャラクタ制御のために、独立に調整された表現生成を保証するマスク付きクロスアテンション機構を設計する。
論文 参考訳(メタデータ) (2025-07-17T09:50:43Z) - Free-viewpoint Human Animation with Pose-correlated Reference Selection [31.429327964922184]
拡散に基づく人間アニメーションは、人物の人物像と、ポーズの列のような信号の駆動に基づいて人間キャラクターをアニメーションすることを目的としている。
既存のアプローチは、高忠実なポーズを生成することができるが、重要な視点の変化に苦慮している。
本稿では,ポーズ関連参照選択拡散ネットワークを提案する。
論文 参考訳(メタデータ) (2024-12-23T05:22:44Z) - Follow-Your-Emoji: Fine-Controllable and Expressive Freestyle Portrait Animation [53.767090490974745]
Follow-Your-Emojiは、ポートレートアニメーションのための拡散ベースのフレームワークである。
参照ポートレートとターゲットランドマークシーケンスを識別する。
本手法は,フリースタイルの肖像画の表現を制御できることを実証する。
論文 参考訳(メタデータ) (2024-06-04T02:05:57Z) - AnimateZoo: Zero-shot Video Generation of Cross-Species Animation via Subject Alignment [64.02822911038848]
動物アニメーションを作成するため, ゼロショット拡散に基づくビデオジェネレータAnimateZooを提案する。
AnimateZooで使われる主要なテクニックは、2つのステップを含む被写体アライメントです。
我々のモデルは、正確な動き、一貫した外観、高忠実度フレームを特徴とする映像を生成することができる。
論文 参考訳(メタデータ) (2024-04-07T12:57:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。