論文の概要: From Short Clips to Real-Time Streams: Identity-Aware Supervision and Context-Efficient Generation for Video Face Swapping
- arxiv url: http://arxiv.org/abs/2610.26681v1
- Date: Mon, 19 Oct 2026 16:28:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 02:00:16.690092
- Title: From Short Clips to Real-Time Streams: Identity-Aware Supervision and Context-Efficient Generation for Video Face Swapping
- Title（参考訳）: 短いクリップからリアルタイムストリームへ:ビデオ・フェイス・スワッピングのためのアイデンティティ・アウェア・スーパービジョンとコンテキスト・エフェクト・ジェネレーション
- Abstract要約: ビデオフェイススワッピングは、他の属性と動作を保持しながら、参照IDをターゲットビデオに転送する。
ノイズレベルに応じた明示的な同一性監視と潜在的再構築のバランスをとる共同Rec-IDロスを開発する。
またHumanFaceVidを導入し、1000時間の撮影トレーニングデータと200のショートビデオと200の長ビデオの評価セットを含む。
- 参考スコア（独自算出の注目度）: 25.68502226476868
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video face swapping transfers the reference identity to a target video while preserving its other attributes and motion. Despite recent progress in reference-guided flow-based methods, jointly achieving faithful identity transfer, high fidelity, and real-time generation over long video streams remains challenging. To address this challenge, we rethink the task-specific structure of reference-guided video face swapping. First, face swapping changes only identity while preserving most visual content, yet flow-matching supervision is weakly sensitive to these changes. We therefore develop Joint Rec-ID Loss, which balances explicit identity supervision and latent reconstruction according to the noise level. Second, the target video already provides non-edited attributes and temporal dynamics, enabling generation with fewer spatial tokens and shorter temporal contexts through Face-RoI Generation and Short-Context Rollout Training. By integrating these designs, we propose StreamingSwap, a reference-guided flow-matching framework for real-time streaming video face swapping. We also introduce HumanFaceVid, comprising 1,000 hours of cinematic training data and evaluation sets of 200 short and 200 long videos. Experiments demonstrate that our method achieves competitive identity transfer and visual quality at 20 FPS on a single NVIDIA RTX 4090 GPU, with stable generation over videos up to 10 minutes long. Project webpage: https://aim-uofa.github.io/StreamingSwap/
- Abstract（参考訳）: ビデオフェイススワッピングは、他の属性と動作を保持しながら、参照IDをターゲットビデオに転送する。
参照誘導型フローベース手法の最近の進歩にもかかわらず, 忠実なアイデンティティ転送, 高忠実度, リアルタイムなビデオストリーム生成を両立させることは困難である。
この課題に対処するために、参照誘導型ビデオフェイススワップのタスク固有の構造を再考する。
第一に、顔のスワッピングは、ほとんどの視覚的コンテンツを保存しながらアイデンティティだけを変えるが、フローマッチングの監督は、これらの変化に弱い敏感である。
そこで我々は、ノイズレベルに応じて、明示的なアイデンティティの監督と潜時再構成のバランスをとる共同Rec-IDロスを開発する。
第二に、ターゲットビデオは、すでに非編集属性と時間的ダイナミクスを提供しており、Face-RoI GenerationとShort-Context Rollout Trainingを通じて、より少ない空間トークンと短い時間的コンテキストで生成できる。
提案するStreamingSwapは,リアルタイム・ストリーミング・ビデオ・フェイス・スワップのための参照誘導型フローマッチング・フレームワークである。
またHumanFaceVidを導入し、1000時間の撮影トレーニングデータと200のショートビデオと200の長ビデオの評価セットを含む。
実験により,1つのNVIDIA RTX 4090 GPU上で20FPSで,最大10分間の動画を安定に生成し,競争力のあるアイデンティティ転送と視覚的品質を実現することを確認した。
プロジェクトWebページ: https://aim-uofa.github.io/StreamingSwap/
関連論文リスト
- Avatar V: Scaling Video-Reference Avatar Video Generation [31.339851516906137]
Avatar Vは、アバタービデオを生成するためのプロダクションスケールのフレームワークである。
静的なアイデンティティ属性(界面形状、肌のテクスチャ)と動的行動パターン(トークリズム、マイクロ表現)の両方を、参照コンテキストに注意して再現することを学ぶ。
1080pの動画を無制限に生成し、最先端のアイデンティティ保存、唇の同期、そして我々のクロスシーンベンチマークで生成品質を実現します。
論文 参考訳（メタデータ） (2026-06-11T19:55:39Z) - VFace: A Training-Free Approach for Diffusion-Based Video Face Swapping [48.76390632712573]
VFaceは、ビデオの高品質な顔交換のための訓練不要のプラグアンドプレイ方式である。
拡散モデル上に構築された画像ベースの顔交換アプローチとシームレスに統合することができる。
本手法は時間的一貫性と視覚的忠実度を大幅に向上させる。
論文 参考訳（メタデータ） (2026-02-08T06:13:19Z) - AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation [58.844504598618094]
本稿では、被験者駆動ビデオ生成のための明示的なタイムスタンプ条件付きフレームワークAlcheMinTを提案する。
提案手法では,時間間隔の符号化を解き放つ新しい位置符号化機構を導入する。
我々は、視覚的アイデンティティとビデオキャプションの結合を強化するために、主観記述型テキストトークンを導入し、世代間あいまいさを緩和する。
論文 参考訳（メタデータ） (2025-12-11T18:59:34Z) - DirectSwap: Mask-Free Cross-Identity Training and Benchmarking for Expression-Consistent Video Head Swapping [58.2549561389375]
ビデオヘッドスワップは、顔のアイデンティティ、頭の形、ヘアスタイルなど、ビデオ対象の頭部全体を参照画像に置き換えることを目的としている。
地対交換データがないため、従来の手法はビデオ内の同一人物のクロスフレームペアをトレーニングする。
我々は、画像U-Netをビデオ拡散モデルに拡張する、マスクのない直接ビデオヘッドスワッピングフレームワークであるDirectSwapを提案する。
論文 参考訳（メタデータ） (2025-12-10T08:31:28Z) - Preserving Source Video Realism: High-Fidelity Face Swapping for Cinematic Quality [48.231357260785195]
リビングスワップ(LivingSwap)は、最初のビデオ参照ガイド付き顔交換モデルである。
ビデオコンディショニングとビデオレファレンスガイダンスを組み合わせることで、時間的縫合を行い、安定したアイデンティティと高忠実度再構成を実現する。
本手法は,映像の表現,照明,動きとターゲットの同一性を統合し,手動による製作作業を大幅に削減する。
論文 参考訳（メタデータ） (2025-12-08T19:00:04Z) - InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing [66.48064661467781]
我々は、アイデンティティ、象徴的なジェスチャー、カメラ軌跡を維持するために参照を戦略的に保存する新しいパラダイムであるスパースフレームビデオダビングを導入する。
無限長長列ダビング用に設計されたストリーミングオーディオ駆動型ジェネレータであるInfiniteTalkを提案する。
HDTF、CelebV-HQ、EMTDデータセットの総合評価は、最先端の性能を示している。
論文 参考訳（メタデータ） (2025-08-19T17:55:23Z) - VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention [76.3175166538482]
VideoGen-of-Thought(VGoT)は、単一の文から複数ショットのビデオ合成を自動化するステップバイステップのフレームワークである。
VGoTは、ナラティブな断片化、視覚的不整合、トランジションアーティファクトの3つの課題に対処する。
トレーニング不要のパイプラインで組み合わせられたVGoTは、ショット内面の一貫性が20.4%、スタイルの一貫性が17.4%向上した。
論文 参考訳（メタデータ） (2024-12-03T08:33:50Z) - SwapTalk: Audio-Driven Talking Face Generation with One-Shot Customization in Latent Space [13.59798532129008]
我々は,同じ潜在空間における顔交換と唇同期の両タスクを実現する,革新的な統一フレームワークSwapTalkを提案する。
生成した顔ビデオの時系列上でのアイデンティティ一貫性をより包括的に評価するための新しいアイデンティティ一貫性指標を提案する。
HDTF実験の結果,ビデオ品質,リップ同期精度,顔スワップの忠実度,アイデンティティの整合性など,既存の手法をはるかに上回っていることがわかった。
論文 参考訳（メタデータ） (2024-05-09T09:22:09Z) - Stitch it in Time: GAN-Based Facial Editing of Real Videos [38.81306268180105]
本稿では,映像中の顔のセマンティックな編集を行うフレームワークを提案する。
提案手法は,有意義な顔操作を行い,高い時間的一貫性を維持し,難易度,高品質な音声ヘッドビデオに適用することができる。
論文 参考訳（メタデータ） (2022-01-20T18:48:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。