論文の概要: TalkingPose: Efficient Face and Gesture Animation with Feedback-guided Diffusion Model

• arxiv url: http://arxiv.org/abs/2512.00909v1
• Date: Sun, 30 Nov 2025 14:26:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.491787
• Title: TalkingPose: Efficient Face and Gesture Animation with Feedback-guided Diffusion Model
• Title（参考訳）: TalkingPose: フィードバック誘導拡散モデルによる効率的な顔とジェスチャーアニメーション
• Authors: Alireza Javanmardi, Pragati Jaiswal, Tewodros Amberbir Habtegebrial, Christen Millerdurai, Shaoxiang Wang, Alain Pagani, Didier Stricker,
• Abstract要約: TalkingPoseは、時間的に一貫した人間の上半身アニメーションを作成するための新しい拡散ベースのフレームワークである。 画像ベース拡散モデルに基づくフィードバック駆動機構を導入し,連続的な動きを確実にし,時間的コヒーレンスを高める。 また、人間の上半身アニメーションの新しいベンチマークとして、包括的で大規模なデータセットも導入した。
• 参考スコア（独自算出の注目度）: 18.910745982208965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in diffusion models have significantly improved the realism and generalizability of character-driven animation, enabling the synthesis of high-quality motion from just a single RGB image and a set of driving poses. Nevertheless, generating temporally coherent long-form content remains challenging. Existing approaches are constrained by computational and memory limitations, as they are typically trained on short video segments, thus performing effectively only over limited frame lengths and hindering their potential for extended coherent generation. To address these constraints, we propose TalkingPose, a novel diffusion-based framework specifically designed for producing long-form, temporally consistent human upper-body animations. TalkingPose leverages driving frames to precisely capture expressive facial and hand movements, transferring these seamlessly to a target actor through a stable diffusion backbone. To ensure continuous motion and enhance temporal coherence, we introduce a feedback-driven mechanism built upon image-based diffusion models. Notably, this mechanism does not incur additional computational costs or require secondary training stages, enabling the generation of animations with unlimited duration. Additionally, we introduce a comprehensive, large-scale dataset to serve as a new benchmark for human upper-body animation.
• Abstract（参考訳）: 拡散モデルの最近の進歩は、文字駆動アニメーションのリアリズムと一般化性を大幅に向上させ、単一のRGB画像と一連の駆動ポーズから高品質な動きを合成することを可能にする。 それでも、時間的コヒーレントな長文コンテンツを生成することは依然として困難である。 既存のアプローチは、通常は短いビデオセグメントで訓練されるため、計算とメモリの制限によって制約されるため、フレーム長が制限されている場合にのみ効果的に機能し、コヒーレントな生成を妨げている。 これらの制約に対処するために,長めの時間的に一貫した人間の上半身アニメーションを作成するために設計された,新しい拡散ベースのフレームワークであるTalkingPoseを提案する。 TalkingPoseは、運転フレームを利用して表現力のある顔と手の動きを正確に捉え、安定した拡散バックボーンを通じてターゲットアクターにシームレスに転送する。 連続的な動きを確実にし、時間的コヒーレンスを高めるために、画像ベース拡散モデルに基づくフィードバック駆動機構を導入する。 特に、このメカニズムは追加の計算コストを発生させることなく、二次的な訓練段階を必要とせず、無制限にアニメーションを生成することができる。 さらに,人間の上半身アニメーションの新しいベンチマークとして,包括的で大規模なデータセットを導入する。

関連論文リスト

• Stable Video-Driven Portraits [52.008400639227034]
  アニメーションは、ドライビングビデオから表現とポーズを再現することで、単一のソースイメージから写真リアルなビデオを生成することを目的としている。 拡散モデルを用いた最近の進歩は品質の向上を示しているが、弱い制御信号やアーキテクチャ上の制約によって制約されている。 本研究では, 眼, 鼻, 口などのマスク付き顔面領域を, 強力な動き制御手段として活用する新しい拡散型枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-22T08:11:08Z)
• AvatarSync: Rethinking Talking-Head Animation through Phoneme-Guided Autoregressive Perspective [15.69417162113696]
  AvatarSyncは音素表現の自己回帰フレームワークであり、単一の参照画像からリアルなトーキングヘッドアニメーションを生成する。 AvatarSyncは,視覚的忠実度,時間的整合性,計算効率において,既存のトーキングヘッドアニメーション手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-15T15:34:02Z)
• HyperMotion: DiT-Based Pose-Guided Human Image Animation of Complex Motions [12.46263584777151]
  我々はtextbfOpen-HyperMotionX データセットと textbfHyperMotionX Bench を導入する。 また、簡易だが強力なDiTベースのビデオ生成ベースラインを提案し、空間的低周波化 RoPE を設計する。 本手法は,高ダイナミックな人間の動作シーケンスにおける構造安定性と外観の整合性を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-05-29T01:30:46Z)
• EvAnimate: Event-conditioned Image-to-Video Generation for Human Animation [58.41979933166173]
  EvAnimateは、条件付き人間の画像アニメーションにおいて、イベントストリームを堅牢で正確なモーションキューとして活用する最初の方法である。 高品質で時間的コヒーレントなアニメーションはデュアルブランチアーキテクチャによって実現される。 実験結果から,従来の映像由来のキューが短いシナリオにおいて,EvAnimateは時間的忠実度が高く,頑健なパフォーマンスを実現することが示された。
  論文  参考訳（メタデータ） (2025-03-24T11:05:41Z)
• UniAnimate: Taming Unified Video Diffusion Models for Consistent Human Image Animation [53.16986875759286]
  We present a UniAnimate framework to enable efficient and long-term human video generation。 我々は、姿勢案内やノイズビデオとともに参照画像を共通の特徴空間にマッピングする。 また、ランダムノイズ入力と第1フレーム条件入力をサポートする統一ノイズ入力を提案する。
  論文  参考訳（メタデータ） (2024-06-03T10:51:10Z)
• HumMUSS: Human Motion Understanding using State Space Models [6.821961232645209]
  本稿では,最近の状態空間モデルの発展にともなう,人間の動作理解構築のための新しいアテンションフリーモデルを提案する。 私たちのモデルはオフラインとリアルタイムの両方のアプリケーションをサポートします。 リアルタイムの逐次予測では、このモデルはトランスフォーマーベースのアプローチよりもメモリ効率が高く、数倍高速である。
  論文  参考訳（メタデータ） (2024-04-16T19:59:21Z)
• FRESCO: Spatial-Temporal Correspondence for Zero-Shot Video Translation [85.29772293776395]
  フレーム間対応とフレーム間対応のFRESCOを導入し,より堅牢な時空間制約を確立する。 この拡張により、フレーム間で意味的に類似したコンテンツのより一貫性のある変換が可能になる。 提案手法では,入力ビデオと高空間時間整合性を実現するために,特徴の明示的な更新を行う。
  論文  参考訳（メタデータ） (2024-03-19T17:59:18Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。