論文の概要: PixReenact: Pixel-Conditioned Causal Video Diffusion for Streaming Head-Avatar Reenactment
- arxiv url: http://arxiv.org/abs/2610.05233v1
- Date: Sun, 04 Oct 2026 13:57:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 22:28:04.674517
- Title: PixReenact: Pixel-Conditioned Causal Video Diffusion for Streaming Head-Avatar Reenactment
- Title（参考訳）: PixReenact: 頭部アバター再生のための画素駆動カソーサルビデオ拡散
- Abstract要約: ライブドライビングビデオによると、ヘッドアバターの再生は、参照画像をアニメーション化することを目的としている。
本稿では,因果的ビデオ拡散に基づく画素条件のストリーミング再生フレームワークPixReenactを紹介する。
- 参考スコア（独自算出の注目度）: 10.676498569262487
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Streaming head-avatar reenactment aims to animate a reference image according to a live driving video, requiring robust motion transfer, long-term identity stability, and low latency. Existing methods often rely on specialized identity or motion representations, which can discard useful visual information and inherit failure modes from external extractors. In addition, many recent diffusion-based reenactment methods use offline, clip-based generation, jointly processing and denoising an entire video clip before producing its output, making continuous low-latency streaming difficult. We introduce PixReenact, a pixel-conditioned streaming reenactment framework built on causal video diffusion. PixReenact conditions directly on VAE-encoded reference and driving frames, without specialized identity or motion representations. To separate reference identity from driver motion, we train with cross-identity pseudo supervision together with corrective objectives anchored to the original reference and driving inputs. Long self-rollouts reduce autoregressive drift, while state-aware dual-teacher distillation separately addresses cold-start and steady-state generation. Across three cross-identity benchmarks and a long-horizon streaming benchmark, PixReenact demonstrates robust cross-identity reenactment, particularly under challenging conditions such as extreme viewpoints, occlusions, and pronounced facial expressions, while maintaining the reference identity over long streams. A 4-NFE rolling student continuously emits four frames per update with a mean emission latency of 239 ms.
- Abstract（参考訳）: ライブドライブビデオに従って参照イメージをアニメーション化し、ロバストなモーション転送、長期的なアイデンティティ安定性、低レイテンシを実現する。
既存の方法は、有用な視覚情報を破棄し、外部抽出器からの障害モードを継承する、特別なアイデンティティやモーション表現に依存していることが多い。
さらに、近年の拡散型再演法では、オフライン、クリップベースの生成、共同処理、出力を生成する前にビデオクリップ全体をデノベートすることで、連続的な低遅延ストリーミングを困難にしている。
本稿では,因果的ビデオ拡散に基づく画素条件のストリーミング再生フレームワークPixReenactを紹介する。
PixReenact は VAE で符号化された参照および駆動フレームに直接条件を設定できる。
運転者の動作から参照IDを分離するために、元の参照と運転入力に固定された修正目的とともに、クロスアイデンティティの擬似監督を用いて訓練する。
長期のセルフロールアウトは自己回帰的ドリフトを減少させるが、州が認識する二重ティーチンガー蒸留は、コールドスタートと定常状態の生成を別々に扱う。
PixReenactは3つのクロスアイデンティティベンチマークとロングホライゾンストリーミングベンチマークで、特に極端な視点、オクルージョン、発音された表情といった困難な条件下で、堅牢なクロスアイデンティティ再現を実証し、ロングストリーム上の参照IDを維持している。
4-NFEのローリング学生は、平均出力遅延が239msの更新毎に4フレームを継続的に出力する。
関連論文リスト
- EditaLive! Unified Character Video Editing for Live Streaming [59.93029261408041]
EditaLiveはリアルタイム・ストリーミング・キャラクタ・ビデオ編集のための新しいフレームワークである。
表情の忠実な保存と低遅延リアルタイムストリーミング推論を備えた最先端の編集性能を提供する。
論文 参考訳（メタデータ） (2026-08-27T13:37:45Z) - Beyond Skeletons: Learning Animation Directly from Driving Videos with Same2X Training Strategy [67.1159444608631]
我々は、ポーズ抽出を回避し、生の運転ビデオから直接学習するDirectAnimatorを提案する。
動作,表現,アライメントをセマンティックにリッチだが安定な形式でキャプチャする,ポーズ,顔,位置のキューからなるドライビングキュートリプレットを導入する。
クロスID機能と同一IDデータから学んだ機能,最適化の正規化,収束の促進を両立するSame2Xトレーニング戦略を考案する。
論文 参考訳（メタデータ） (2026-06-05T04:39:46Z) - DirectSwap: Mask-Free Cross-Identity Training and Benchmarking for Expression-Consistent Video Head Swapping [58.2549561389375]
ビデオヘッドスワップは、顔のアイデンティティ、頭の形、ヘアスタイルなど、ビデオ対象の頭部全体を参照画像に置き換えることを目的としている。
地対交換データがないため、従来の手法はビデオ内の同一人物のクロスフレームペアをトレーニングする。
我々は、画像U-Netをビデオ拡散モデルに拡張する、マスクのない直接ビデオヘッドスワッピングフレームワークであるDirectSwapを提案する。
論文 参考訳（メタデータ） (2025-12-10T08:31:28Z) - Stable Video Infinity: Infinite-Length Video Generation with Error Recycling [76.91310169118408]
本研究では、高時間一貫性、可視的シーン遷移、制御可能なストリーミングストーリーラインを有する無限長ビデオを生成することができる安定ビデオインフィニティ(SVI)を提案する。
SVIにはError-Recycling Fine-Tuningが組み込まれており、これはDiffusion Transformerの自己生成エラーをスーパーバイザのプロンプトにリサイクルする、新しいタイプの効率的なトレーニングである。
我々は、一貫性、創造性、条件設定を含む3つのベンチマークでSVIを評価し、その汎用性と最先端の役割を徹底的に検証した。
論文 参考訳（メタデータ） (2025-10-10T09:45:46Z) - DiTVR: Zero-Shot Diffusion Transformer for Video Restoration [48.97196894658511]
DiTVRはゼロショットビデオ復元フレームワークで、拡散トランスフォーマーと軌跡を意識した注意と流れ一貫したサンプルを結合する。
我々の注意機構は、光流路に沿ってトークンを整列させ、特に時間力学に最も敏感な重要な層に重点を置いている。
フローガイドされたサンプリング装置は、低周波帯域にのみデータの一貫性を注入し、キャッシュを加速させながら高周波事前保存を行う。
論文 参考訳（メタデータ） (2025-08-11T09:54:45Z) - PoseGen: In-Context LoRA Finetuning for Pose-Controllable Long Human Video Generation [4.417342791754854]
本稿では,1つの参照画像と駆動ポーズシーケンスから,特定の被写体の任意の長さのビデオを生成する新しいフレームワークPoseGenを紹介する。
我々の中核となるイノベーションは、アイデンティティ保存のためのトークンレベルで被写体を注入する、コンテキスト内LoRAファインタニング戦略です。
我々はPoseGenがアイデンティティの忠実度において最先端の手法を著しく上回り、精度を高くし、一貫性のあるアーチファクトのない動画を無制限に生成するユニークな能力を示している。
論文 参考訳（メタデータ） (2025-08-07T07:19:02Z) - X-NeMo: Expressive Neural Motion Reenactment via Disentangled Latent Attention [52.94097577075215]
X-NeMoはゼロショット拡散ベースのポートレートアニメーションパイプラインである。
異なる人物の運転ビデオから顔の動きを使って、静的な肖像画を撮影する。
論文 参考訳（メタデータ） (2025-07-30T22:46:52Z) - Navigating Large-Pose Challenge for High-Fidelity Face Reenactment with Video Diffusion Model [6.9344574901598595]
Face Reenactmentは、駆動ビデオから静的なソースイメージに動きを移すことで、リアルなトーキングヘッドビデオを生成することを目的としている。
大規模なポーズ変化下での高忠実度顔再現のための新しいフレームワークである顔再現ビデオ拡散モデル(FRVD)を提案する。
論文 参考訳（メタデータ） (2025-07-22T08:23:43Z) - Show and Polish: Reference-Guided Identity Preservation in Face Video Restoration [9.481604837168762]
Face Video Restoration (FVR)は、劣化したバージョンから高品質な顔ビデオを取り戻すことを目的としている。
従来の方法は、劣化が深刻であるときに、細粒でアイデンティティ固有の特徴を保存するのに苦労する。
視覚的プロンプトとして高品質な参照顔画像を活用する新しい手法であるIP-FVRを導入する。
論文 参考訳（メタデータ） (2025-07-14T14:01:37Z) - Anchored Diffusion for Video Face Reenactment [17.343307538702238]
比較的長くシームレスなビデオを合成するための新しい手法であるAnchored Diffusionを紹介する。
我々は、ランダムな非一様時間間隔でビデオシーケンスでモデルを訓練し、外部ガイダンスを介して時間情報を組み込む。
推論の際には、トランスフォーマーアーキテクチャを利用して拡散プロセスを修正し、共通のフレームに固定された一様でないシーケンスのバッチを生成する。
論文 参考訳（メタデータ） (2024-07-21T13:14:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。