論文の概要: STARCaster: Spatio-Temporal AutoRegressive Video Diffusion for Identity- and View-Aware Talking Portraits

• arxiv url: http://arxiv.org/abs/2512.13247v1
• Date: Mon, 15 Dec 2025 11:59:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.649096
• Title: STARCaster: Spatio-Temporal AutoRegressive Video Diffusion for Identity- and View-Aware Talking Portraits
• Title（参考訳）: STARCaster: 個人認証とビューアウェア通信ポートレイトのための時空間自動回帰ビデオ拡散
• Authors: Foivos Paraperas Papantoniou, Stathis Galanakis, Rolandos Alexandros Potamias, Bernhard Kainz, Stefanos Zafeiriou,
• Abstract要約: STARCasterは、音声駆動のポートレートアニメーションとフリーポイントのトーキングポートレートの両方に対処する、アイデンティティを意識したビデオ拡散モデルである。 モデルは推論時に生成されたものよりも長い時間的文脈から学習し、既存の自己回帰的アプローチに共通する過度に静的なアニメーションを緩和する。
• 参考スコア（独自算出の注目度）: 44.82339975771063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents STARCaster, an identity-aware spatio-temporal video diffusion model that addresses both speech-driven portrait animation and free-viewpoint talking portrait synthesis, given an identity embedding or reference image, within a unified framework. Existing 2D speech-to-video diffusion models depend heavily on reference guidance, leading to limited motion diversity. At the same time, 3D-aware animation typically relies on inversion through pre-trained tri-plane generators, which often leads to imperfect reconstructions and identity drift. We rethink reference- and geometry-based paradigms in two ways. First, we deviate from strict reference conditioning at pre-training by introducing softer identity constraints. Second, we address 3D awareness implicitly within the 2D video domain by leveraging the inherent multi-view nature of video data. STARCaster adopts a compositional approach progressing from ID-aware motion modeling, to audio-visual synchronization via lip reading-based supervision, and finally to novel view animation through temporal-to-spatial adaptation. To overcome the scarcity of 4D audio-visual data, we propose a decoupled learning approach in which view consistency and temporal coherence are trained independently. A self-forcing training scheme enables the model to learn from longer temporal contexts than those generated at inference, mitigating the overly static animations common in existing autoregressive approaches. Comprehensive evaluations demonstrate that STARCaster generalizes effectively across tasks and identities, consistently surpassing prior approaches in different benchmarks.
• Abstract（参考訳）: 本稿では,音声駆動型ポートレートアニメーションと自由視点対話型ポートレート合成の両方に対処する,同一性を考慮した時空間ビデオ拡散モデルSTARCasterについて述べる。 既存の2次元音声とビデオの拡散モデルは参照誘導に大きく依存しており、動きの多様性が制限される。 同時に、3D対応のアニメーションは、通常、訓練済みの三面体発電機による反転に依存しており、しばしば不完全な再構築やアイデンティティドリフトにつながる。 我々は、参照と幾何学に基づくパラダイムを2つの方法で再考する。 まず、よりソフトなID制約を導入することにより、事前訓練時の厳格な参照条件から逸脱する。 第2に、ビデオデータの本質的なマルチビュー特性を活用することにより、2次元ビデオ領域内での3D認識を暗黙的に解決する。 STARCasterは、ID認識モーションモデリングから、唇読取に基づく監督による音声視覚同期、そして、時間空間適応による新しいビューアニメーションへと進化した構成的アプローチを採用する。 4Dオーディオ・ビジュアルデータの不足を克服するために,ビューの一貫性と時間的コヒーレンスを独立に学習する疎結合学習手法を提案する。 自己強制トレーニングスキームにより、モデルは推論時に生成されたものよりも長い時間的文脈から学習することができ、既存の自己回帰的アプローチに共通する過度に静的なアニメーションを緩和することができる。 総合的な評価は、STARCasterがタスクやアイデンティティにわたって効果的に一般化し、異なるベンチマークにおける従来のアプローチを一貫して上回っていることを示している。

関連論文リスト

• UniMo: Unifying 2D Video and 3D Human Motion with an Autoregressive Framework [54.337290937468175]
  統合された枠組み内での2次元映像と3次元映像の協調モデリングのための自己回帰モデルUniMoを提案する。 本手法は,正確なモーションキャプチャを行いながら,対応する映像と動きを同時に生成することを示す。
  論文  参考訳（メタデータ） (2025-12-03T16:03:18Z)
• Stable Video-Driven Portraits [52.008400639227034]
  アニメーションは、ドライビングビデオから表現とポーズを再現することで、単一のソースイメージから写真リアルなビデオを生成することを目的としている。 拡散モデルを用いた最近の進歩は品質の向上を示しているが、弱い制御信号やアーキテクチャ上の制約によって制約されている。 本研究では, 眼, 鼻, 口などのマスク付き顔面領域を, 強力な動き制御手段として活用する新しい拡散型枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-22T08:11:08Z)
• Hallo3: Highly Dynamic and Realistic Portrait Image Animation with Video Diffusion Transformer [25.39030226963548]
  ポートレートアニメーションのための予め訓練されたトランスフォーマーに基づくビデオ生成モデルの最初の応用について紹介する。 提案手法は,ベンチマーク実験と新たに提案したワイルドデータセットを用いて検証する。
  論文  参考訳（メタデータ） (2024-12-01T08:54:30Z)
• Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation [29.87407471246318]
  この研究は、顔の動きを同期させ、視覚的に魅力的で時間的に一貫したアニメーションを作成する複雑さを掘り下げている。 我々の革新的なアプローチは、エンドツーエンドの拡散パラダイムを採用し、階層的な音声駆動視覚合成モジュールを導入しています。 提案した階層型音声駆動視覚合成は、表現の適応的な制御と多様性のポーズを提供し、異なるアイデンティティに合わせてより効果的なパーソナライゼーションを可能にする。
  論文  参考訳（メタデータ） (2024-06-13T04:33:20Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• Diffusion-Guided Reconstruction of Everyday Hand-Object Interaction Clips [38.02945794078731]
  短いビデオクリップから手動物体のインタラクションを再構築する作業に取り組む。 提案手法は,映像ごとの3D推論を最適化し,物体形状のニューラルな3D表現を復元する。 我々は、エゴセントリックビデオに対する我々のアプローチを実証的に評価し、以前のシングルビュー法やマルチビュー法よりも大幅に改善されていることを観察した。
  論文  参考訳（メタデータ） (2023-09-11T17:58:30Z)
• LipSync3D: Data-Efficient Learning of Personalized 3D Talking Faces from Video using Pose and Lighting Normalization [4.43316916502814]
  音声からパーソナライズされた3D音声をアニメーションするビデオベースの学習フレームワークを提案する。 データサンプルの効率を大幅に改善する2つのトレーニング時間データ正規化を導入する。 提案手法は,現在最先端のオーディオ駆動型ビデオ再現ベンチマークを,リアリズム,リップシンク,視覚的品質スコアの点で上回っている。
  論文  参考訳（メタデータ） (2021-06-08T08:56:40Z)
• GTA: Global Temporal Attention for Video Action Understanding [51.476605514802806]
  空間的注意を軸にグローバルな時間的注目を行うグローバルテンポラルアテンション(AGT:Global Temporal Attention)を分離的に紹介します。 2Dおよび3Dネットワーク上でのテストは、我々のアプローチが時間的モデリングを一貫して強化し、3つのビデオアクション認識データセットに対して最先端のパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2020-12-15T18:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。