論文の概要: CatPortrait: Taming Video Generative Models for Portrait Animation via In-context Conditioning
- arxiv url: http://arxiv.org/abs/2610.14957v1
- Date: Sat, 10 Oct 2026 14:31:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 03:13:00.422289
- Title: CatPortrait: Taming Video Generative Models for Portrait Animation via In-context Conditioning
- Title（参考訳）: CatPortrait: コンテクスト内コンディショニングによるポートレートアニメーションのためのビデオ生成モデルの作成
- Abstract要約: CatPortraitはシンプルで効果的なフレームワークであり、コンテクスト内コンディショニングとして3D顔のガイダンスを通じて、コントロール可能なポートレートアニメーションを可能にする。
CatPortraitは、統合されたフレームワーク内で、ビデオ駆動とオーディオ駆動のポートレートアニメーションの両方をサポートする。
- 参考スコア（独自算出の注目度）: 8.10072053317119
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent video generative models have shown strong capability in synthesizing high-quality and temporally coherent videos. Yet, adapting them for controllable portrait animation remains nontrivial, as existing methods typically rely on architectural changes or extra conditioning modules, increasing complexity and reducing compatibility with pretrained models. We present CatPortrait, a simple and effective framework that enables controllable portrait animation via 3D face guidance as in-context conditioning. CatPortrait preserves the original video generation backbone and injects structured 3D facial guidance into the input space through spatial concatenation, allowing pretrained image-to-video models to animate portraits without sacrificing their pretrained priors. CatPortrait supports both video-driven and audio-driven portrait animation within a unified framework. Extensive experiments demonstrate that CatPortrait achieves competitive or superior results across both settings.
- Abstract（参考訳）: 最近のビデオ生成モデルは、高品質で時間的に整合したビデオの合成に強い能力を示している。
既存の手法はアーキテクチャの変更や余分な条件付けモジュールに依存しており、複雑さが増し、事前訓練されたモデルとの互換性が低下している。
In-context conditioning として,3次元顔誘導による手動画像のアニメーションを可能にする,シンプルで効果的なフレームワークである CatPortrait を提案する。
CatPortraitは、オリジナルのビデオ生成のバックボーンを保存し、空間的な連結を通して、構造化された3D顔のガイダンスを入力空間に注入する。
CatPortraitは、統合されたフレームワーク内で、ビデオ駆動とオーディオ駆動のポートレートアニメーションの両方をサポートする。
CatPortraitの大規模な実験は、両方の設定で、競争力や優れた結果が得られることを示している。
関連論文リスト
- Hallo3: Highly Dynamic and Realistic Portrait Image Animation with Video Diffusion Transformer [25.39030226963548]
ポートレートアニメーションのための予め訓練されたトランスフォーマーに基づくビデオ生成モデルの最初の応用について紹介する。
提案手法は,ベンチマーク実験と新たに提案したワイルドデータセットを用いて検証する。
論文 参考訳（メタデータ） (2024-12-01T08:54:30Z) - Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [79.4785166021062]
本稿では,対話型ビデオジェネレータPuppet-Masterを紹介した。
Puppet-Masterは、他のモーションコンディショニングビデオジェネレータとは異なり、パートレベルのモーションを生成することを学習している。
Puppet-Masterはドメイン外の実際のイメージを一般化し、実世界のベンチマークで既存のメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-08-08T17:59:38Z) - UniAnimate: Taming Unified Video Diffusion Models for Consistent Human Image Animation [53.16986875759286]
We present a UniAnimate framework to enable efficient and long-term human video generation。
我々は、姿勢案内やノイズビデオとともに参照画像を共通の特徴空間にマッピングする。
また、ランダムノイズ入力と第1フレーム条件入力をサポートする統一ノイズ入力を提案する。
論文 参考訳（メタデータ） (2024-06-03T10:51:10Z) - AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation [4.568539181254851]
本稿では,オーディオによる高品質なアニメーションを生成するためのフレームワークであるAniPortraitと,参照ポートレート画像を提案する。
実験により,AniPortraitの顔の自然性,ポーズの多様性,視覚的品質の面での優位性が示された。
本手法は,顔の動きの編集や顔の再現といった領域に効果的に適用可能な,柔軟性や制御性の観点からも有意な可能性を秘めている。
論文 参考訳（メタデータ） (2024-03-26T13:35:02Z) - Ponymation: Learning Articulated 3D Animal Motions from Unlabeled Online Videos [47.97168047776216]
そこで,本研究では,生の未表示オンラインビデオから3次元動物運動の合成モデルを学習するための新しい手法を提案する。
我々のモデルは、自己教師付き画像の特徴から抽出した意味的対応を利用して、ラベルなしのウェブビデオクリップの集合から純粋に学習する。
論文 参考訳（メタデータ） (2023-12-21T06:44:18Z) - Reconstructing Animatable Categories from Videos [65.14948977749269]
アニマタブルな3Dモデルの構築は、3Dスキャン、精巧な登録、手動リグの必要性のために難しい。
本稿では,一眼レフビデオからカテゴリ3Dモデルを構築するRACについて述べる。
私たちは、人間、猫、犬の3Dモデルが50-100のインターネットビデオから学習できることを示します。
論文 参考訳（メタデータ） (2023-05-10T17:56:21Z) - PV3D: A 3D Generative Model for Portrait Video Generation [94.96025739097922]
我々は,多視点一貫した肖像画を合成できる最初の生成フレームワークであるPV3Dを提案する。
PV3Dは、静的ポートレートのアニメーションやビュー一貫性のあるビデオモーション編集など、多くのダウンストリームアプリケーションをサポートすることができる。
論文 参考訳（メタデータ） (2022-12-13T05:42:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。