論文の概要: Stable Video-Driven Portraits

• arxiv url: http://arxiv.org/abs/2509.17476v1
• Date: Mon, 22 Sep 2025 08:11:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.285186
• Title: Stable Video-Driven Portraits
• Title（参考訳）: 安定したビデオ駆動型ポートレイト
• Authors: Mallikarjun B. R., Fei Yin, Vikram Voleti, Nikita Drobyshev, Maksim Lapin, Aaryaman Vasishta, Varun Jampani,
• Abstract要約: アニメーションは、ドライビングビデオから表現とポーズを再現することで、単一のソースイメージから写真リアルなビデオを生成することを目的としている。 拡散モデルを用いた最近の進歩は品質の向上を示しているが、弱い制御信号やアーキテクチャ上の制約によって制約されている。 本研究では, 眼, 鼻, 口などのマスク付き顔面領域を, 強力な動き制御手段として活用する新しい拡散型枠組みを提案する。
• 参考スコア（独自算出の注目度）: 52.008400639227034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Portrait animation aims to generate photo-realistic videos from a single source image by reenacting the expression and pose from a driving video. While early methods relied on 3D morphable models or feature warping techniques, they often suffered from limited expressivity, temporal inconsistency, and poor generalization to unseen identities or large pose variations. Recent advances using diffusion models have demonstrated improved quality but remain constrained by weak control signals and architectural limitations. In this work, we propose a novel diffusion based framework that leverages masked facial regions specifically the eyes, nose, and mouth from the driving video as strong motion control cues. To enable robust training without appearance leakage, we adopt cross identity supervision. To leverage the strong prior from the pretrained diffusion model, our novel architecture introduces minimal new parameters that converge faster and help in better generalization. We introduce spatial temporal attention mechanisms that allow inter frame and intra frame interactions, effectively capturing subtle motions and reducing temporal artifacts. Our model uses history frames to ensure continuity across segments. At inference, we propose a novel signal fusion strategy that balances motion fidelity with identity preservation. Our approach achieves superior temporal consistency and accurate expression control, enabling high-quality, controllable portrait animation suitable for real-world applications.
• Abstract（参考訳）: ポートレートアニメーションは、1つのソースイメージから写真リアルなビデオを生成することを目的として、ドライビングビデオから表現とポーズを再現する。 初期の手法は3次元の変形可能なモデルや特徴のワープ技術に頼っていたが、表現力の制限、時間的不整合、不明瞭なアイデンティティや大きなポーズのバリエーションへの一般化に悩まされることが多かった。 拡散モデルを用いた最近の進歩は品質の向上を示しているが、弱い制御信号やアーキテクチャ上の制約によって制約されている。 本研究では,運転映像の目,鼻,口などのマスク付き顔領域を強力な動作制御手段として活用する,新しい拡散型フレームワークを提案する。 外観漏れのない堅牢なトレーニングを実現するため,クロスアイデンティティ管理を採用した。 事前学習した拡散モデルから強い先行性を活用するため、我々の新しいアーキテクチャはより高速に収束し、より良い一般化に役立つ最小限の新しいパラメータを導入している。 本研究では,フレーム間およびフレーム内相互作用を可能にする空間的時間的注意機構を導入し,微妙な動きを効果的に捉え,時間的アーティファクトを低減する。 私たちのモデルは、セグメント間の連続性を保証するために履歴フレームを使用します。 推論において,動作の忠実度とアイデンティティ保存のバランスをとる新しい信号融合戦略を提案する。 提案手法は時間的一貫性と正確な表現制御を実現し,実世界のアプリケーションに適した高品質で制御可能なポートレートアニメーションを実現する。

関連論文リスト

• X-NeMo: Expressive Neural Motion Reenactment via Disentangled Latent Attention [52.94097577075215]
  X-NeMoはゼロショット拡散ベースのポートレートアニメーションパイプラインである。 異なる人物の運転ビデオから顔の動きを使って、静的な肖像画を撮影する。
  論文  参考訳（メタデータ） (2025-07-30T22:46:52Z)
• EvAnimate: Event-conditioned Image-to-Video Generation for Human Animation [58.41979933166173]
  EvAnimateは、条件付き人間の画像アニメーションにおいて、イベントストリームを堅牢で正確なモーションキューとして活用する最初の方法である。 高品質で時間的コヒーレントなアニメーションはデュアルブランチアーキテクチャによって実現される。 実験結果から,従来の映像由来のキューが短いシナリオにおいて,EvAnimateは時間的忠実度が高く,頑健なパフォーマンスを実現することが示された。
  論文  参考訳（メタデータ） (2025-03-24T11:05:41Z)
• FRESCO: Spatial-Temporal Correspondence for Zero-Shot Video Translation [85.29772293776395]
  フレーム間対応とフレーム間対応のFRESCOを導入し,より堅牢な時空間制約を確立する。 この拡張により、フレーム間で意味的に類似したコンテンツのより一貫性のある変換が可能になる。 提案手法では,入力ビデオと高空間時間整合性を実現するために,特徴の明示的な更新を行う。
  論文  参考訳（メタデータ） (2024-03-19T17:59:18Z)
• FAAC: Facial Animation Generation with Anchor Frame and Conditional Control for Superior Fidelity and Editability [14.896554342627551]
  顔のアイデンティティと編集能力を両立させる顔アニメーション生成手法を提案する。 このアプローチは、オリジナルのテキスト・ツー・イメージモデルにおける生成能力の劣化に対処するためのアンカーフレームの概念を取り入れている。 提案手法の有効性をDreamBoothモデルとLoRAモデルで検証した。
  論文  参考訳（メタデータ） (2023-12-06T02:55:35Z)
• Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation [27.700371215886683]
  拡散モデルは、その堅牢な生成能力のために、視覚世代研究の主流となっている。 本稿では,キャラクターアニメーションに適した新しいフレームワークを提案する。 トレーニングデータを拡張することにより、任意の文字をアニメーション化することが可能となり、他の画像とビデオの手法と比較して、文字アニメーションにおいて優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-11-28T12:27:15Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。