論文の概要: CanonSwap: High-Fidelity and Consistent Video Face Swapping via Canonical Space Modulation

• arxiv url: http://arxiv.org/abs/2507.02691v1
• Date: Thu, 03 Jul 2025 15:03:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:16.490769
• Title: CanonSwap: High-Fidelity and Consistent Video Face Swapping via Canonical Space Modulation
• Title（参考訳）: CanonSwap:Canonal Space Modulationによる高忠実で一貫性のあるビデオフェイススワッピング
• Authors: Xiangyang Luo, Ye Zhu, Yunfei Liu, Lijian Lin, Cong Wan, Zijian Cai, Shao-Lun Huang, Yu Li,
• Abstract要約: CanonSwapは、外見情報からモーション情報を分離するビデオフェイススワッピングフレームワークである。 本手法は, 視覚的品質, 時間的整合性, アイデンティティ保存の点で, 既存の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 39.665632874158426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video face swapping aims to address two primary challenges: effectively transferring the source identity to the target video and accurately preserving the dynamic attributes of the target face, such as head poses, facial expressions, lip-sync, \etc. Existing methods mainly focus on achieving high-quality identity transfer but often fall short in maintaining the dynamic attributes of the target face, leading to inconsistent results. We attribute this issue to the inherent coupling of facial appearance and motion in videos. To address this, we propose CanonSwap, a novel video face-swapping framework that decouples motion information from appearance information. Specifically, CanonSwap first eliminates motion-related information, enabling identity modification within a unified canonical space. Subsequently, the swapped feature is reintegrated into the original video space, ensuring the preservation of the target face's dynamic attributes. To further achieve precise identity transfer with minimal artifacts and enhanced realism, we design a Partial Identity Modulation module that adaptively integrates source identity features using a spatial mask to restrict modifications to facial regions. Additionally, we introduce several fine-grained synchronization metrics to comprehensively evaluate the performance of video face swapping methods. Extensive experiments demonstrate that our method significantly outperforms existing approaches in terms of visual quality, temporal consistency, and identity preservation. Our project page are publicly available at https://luoxyhappy.github.io/CanonSwap/.
• Abstract（参考訳）: ビデオフェイススワッピングは、ターゲットビデオにソースアイデンティティを効果的に転送し、ヘッドポーズ、表情、リップシンク、シャットcなどのターゲット顔の動的属性を正確に保存する、という2つの主要な課題に対処することを目的としている。 既存の手法は主に高品質なアイデンティティ転送の実現に重点を置いているが、対象の顔の動的特性の維持に不足することが多く、矛盾する結果をもたらす。 この問題は、ビデオにおける顔の外観と動きの結合に起因している。 そこで本稿では,視覚情報を外観情報から切り離す新しいビデオ・フェイス・スワッピング・フレームワークであるCanonSwapを提案する。 具体的には、CanonSwapはまずモーション関連情報を排除し、統一された標準空間内でのアイデンティティ修正を可能にする。 その後、スワップされた機能は元のビデオ空間に再統合され、ターゲットの顔の動的属性の保存が保証される。 最小限のアーティファクトによる正確なアイデンティティ転送と拡張リアリズムを実現するために,空間マスクを用いてソースアイデンティティ機能を適応的に統合し,顔領域への変更を制限する部分ID変調モジュールを設計する。 さらに,ビデオフェーススワップ手法の性能を包括的に評価するために,いくつかのきめ細かい同期指標を導入する。 本手法は, 視覚的品質, 時間的整合性, アイデンティティ保存の点で, 既存の手法よりも優れていた。 私たちのプロジェクトページはhttps://luoxyhappy.github.io/CanonSwap/で公開されています。

関連論文リスト

• VividFace: A Diffusion-Based Hybrid Framework for High-Fidelity Video Face Swapping [43.30061680192465]
  ビデオ・フェイス・スワップに特化して設計された初めての拡散型フレームワークを提案する。 提案手法は,VidFaceVAEと組み合わせた特殊設計拡散モデルである。 本フレームワークは,従来の手法と比較して,アイデンティティの保存,時間的整合性,視覚的品質において優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-12-15T18:58:32Z)
• HiFiVFS: High Fidelity Video Face Swapping [35.49571526968986]
  Face swappingは、ソースからのIDとターゲットからの属性を組み合わせた結果を生成することを目的としている。 安定ビデオ拡散の強い生成能力と時間的先行を生かした高忠実度ビデオ顔交換フレームワークを提案する。 本手法は,映像面スワップにおける最新技術(SOTA)を質的かつ定量的に達成する。
  論文  参考訳（メタデータ） (2024-11-27T12:30:24Z)
• SwapTalk: Audio-Driven Talking Face Generation with One-Shot Customization in Latent Space [13.59798532129008]
  我々は,同じ潜在空間における顔交換と唇同期の両タスクを実現する,革新的な統一フレームワークSwapTalkを提案する。 生成した顔ビデオの時系列上でのアイデンティティ一貫性をより包括的に評価するための新しいアイデンティティ一貫性指標を提案する。 HDTF実験の結果,ビデオ品質,リップ同期精度,顔スワップの忠実度,アイデンティティの整合性など,既存の手法をはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-09T09:22:09Z)
• When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for Personalized Image Generation [60.305112612629465]
  テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。 本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。 提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
  論文  参考訳（メタデータ） (2023-11-29T09:05:14Z)
• FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping [62.38898610210771]
  そこで我々は,FaceDancerという顔のスワップとID転送のための新しい単一ステージ手法を提案する。 アダプティブ・フィーチャー・フュージョン・アテンション(AFFA)と解釈的特徴類似性規則化(IFSR)の2つの主要なコントリビューションがある。
  論文  参考訳（メタデータ） (2022-10-19T11:31:38Z)
• Learning Disentangled Representation for One-shot Progressive Face Swapping [92.09538942684539]
  ジェネレーティブ・アドバーサリアル・ネットワークに基づくワンショット・フェイススワップのためのシンプルで効率的なFaceSwapperを提案する。 提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。 本手法は,トレーニングサンプルの少ないベンチマークデータセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-03-24T11:19:04Z)
• SimSwap: An Efficient Framework For High Fidelity Face Swapping [43.59969679039686]
  我々は,汎用的で忠実な顔交換を目的とした,Simple Swap (SimSwap) と呼ばれる効率的なフレームワークを提案する。 本フレームワークでは,対象顔の属性を保存しながら,任意の元顔の同一性を任意の対象顔に転送することができる。 我々のSimSwapは、従来の最先端手法よりも優れた属性を保ちながら、競争力のあるアイデンティティ性能を達成することができることを示した。
  論文  参考訳（メタデータ） (2021-06-11T12:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。