論文の概要: Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models

• arxiv url: http://arxiv.org/abs/2409.07269v1
• Date: Wed, 11 Sep 2024 13:43:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 14:25:47.181064
• Title: Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models
• Title（参考訳）: 現実的で効率的な顔スワッピング:拡散モデルを用いた統一アプローチ
• Authors: Sanoojan Baliah, Qinliang Lin, Shengcai Liao, Xiaodan Liang, Muhammad Haris Khan,
• Abstract要約: フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。 インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。 私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
• 参考スコア（独自算出の注目度）: 69.50286698375386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite promising progress in face swapping task, realistic swapped images remain elusive, often marred by artifacts, particularly in scenarios involving high pose variation, color differences, and occlusion. To address these issues, we propose a novel approach that better harnesses diffusion models for face-swapping by making following core contributions. (a) We propose to re-frame the face-swapping task as a self-supervised, train-time inpainting problem, enhancing the identity transfer while blending with the target image. (b) We introduce a multi-step Denoising Diffusion Implicit Model (DDIM) sampling during training, reinforcing identity and perceptual similarities. (c) Third, we introduce CLIP feature disentanglement to extract pose, expression, and lighting information from the target image, improving fidelity. (d) Further, we introduce a mask shuffling technique during inpainting training, which allows us to create a so-called universal model for swapping, with an additional feature of head swapping. Ours can swap hair and even accessories, beyond traditional face swapping. Unlike prior works reliant on multiple off-the-shelf models, ours is a relatively unified approach and so it is resilient to errors in other off-the-shelf models. Extensive experiments on FFHQ and CelebA datasets validate the efficacy and robustness of our approach, showcasing high-fidelity, realistic face-swapping with minimal inference time. Our code is available at https://github.com/Sanoojan/REFace.
• Abstract（参考訳）: 顔のスワップ作業の有望な進歩にもかかわらず、現実的なスワップ画像は、しばしばアーティファクトによってマージされ、特に高いポーズの変化、色の違い、オクルージョンを含むシナリオにおいて、解明され続けている。 これらの課題に対処するため,本研究では,下記のコアコントリビューションを施すことにより,フェイススワッピングの拡散モデルを改善する新しいアプローチを提案する。 (a)フェース・スワッピング・タスクを自己監督型・列車時塗装問題として再編成し,対象画像とブレンドしながらアイデンティティ・トランスファーを向上させることを提案する。 (b)訓練中の多段階拡散インプリシットモデル(DDIM)のサンプリング,アイデンティティの強化,知覚的類似性について紹介する。 第三に,対象画像からポーズ,表情,照明情報を抽出し,忠実度を向上させるためにCLIP機能障害を導入する。 さらに,塗装訓練中にマスクシャッフル技術を導入し,ヘッドスワップの付加機能を備えた,いわゆるユニバーサルスワップモデルの構築を可能にする。 髪やアクセサリーも交換できるし、顔の交換もできる。 複数のオフ・ザ・シェルフモデルに依存した以前の作業とは異なり、我々の手法は比較的統一されたアプローチであり、他のオフ・ザ・シェルフモデルにおけるエラーに対して耐性がある。 FFHQとCelebAデータセットの大規模な実験は、我々のアプローチの有効性と堅牢性を検証し、最小の推論時間で、高忠実でリアルなフェイススワッピングを示す。 私たちのコードはhttps://github.com/Sanoojan/REFace.comで公開されています。

関連論文リスト

• Texture-Preserving Diffusion Models for High-Fidelity Virtual Try-On [29.217423805933727]
  拡散モデルに基づくアプローチは,画像合成タスクに優れており,近年普及している。 本稿では,仮想試行のためのテクスチャ保存拡散(TPD)モデルを提案する。 第2に,被写体と参照衣料画像に基づいて,正確な塗布マスクを推定する拡散に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-01T12:43:22Z)
• BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion [61.90969199199739]
  BrushNetは、ピクセルレベルのマスク付きイメージ機能を事前訓練されたDMに埋め込むために設計された、新しいプラグアンドプレイデュアルブランチモデルである。 BrushNetは、画像品質、マスク領域保存、テキストコヒーレンスを含む7つの主要な指標で、既存のモデルよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-03-11T17:59:31Z)
• CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using Score-Based Diffusion Models [57.9771859175664]
  最近の生成優先法は、有望なブラインドフェイス修復性能を示している。 入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。 本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
  論文  参考訳（メタデータ） (2024-02-08T23:51:49Z)
• High-Fidelity Face Swapping with Style Blending [16.024260677867076]
  高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。 まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。 第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
  論文  参考訳（メタデータ） (2023-12-17T23:22:37Z)
• Personalized Face Inpainting with Diffusion Models by Parallel Visual Attention [55.33017432880408]
  本稿では,パラレル視覚注意(PVA, Parallel Visual Attention, PVA)と拡散モデルとの併用による塗装結果の改善を提案する。 我々はCelebAHQ-IDIで注目モジュールとIDエンコーダをトレーニングする。 実験により, PVAは顔の塗り絵と顔の塗り絵の両面において, 言語指導タスクと相容れない同一性を持つことが示された。
  論文  参考訳（メタデータ） (2023-12-06T15:39:03Z)
• DiffFace: Diffusion-based Face Swapping with Facial Guidance [24.50570533781642]
  DiffFaceと呼ばれる拡散型顔交換フレームワークを初めて提案する。 トレーニングID条件DDPM、顔誘導によるサンプリング、および目標保存ブレンディングで構成されている。 DiffFaceは、トレーニングの安定性、高い忠実度、サンプルの多様性、制御性など、よりよいメリットを実現している。
  論文  参考訳（メタデータ） (2022-12-27T02:51:46Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• FSGANv2: Improved Subject Agnostic Face Swapping and Reenactment [28.83743270895698]
  顔交換と再現のためにFSGAN(Face Swapping GAN)を提案する。 従来とは違って,顔のトレーニングを必要とせず,顔のペアに適用可能な被験者交換方式を提案する。 顔の表情や表情の変化を調整し、単一の画像やビデオシーケンスに適用できる、新しい反復的深層学習に基づく顔の再現手法を導出する。 映像系列に対しては,再現性,デラウネー三角測量,バリ座標に基づく連続的な顔ビューの認識を導入し,顔領域をフェースコンプリートネットワークで処理する。
  論文  参考訳（メタデータ） (2022-02-25T21:04:39Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping [43.236261887752065]
  本研究では,顔交換のための2段階フレームワークであるFaceShifterを提案する。 最初の段階では、ターゲット属性を徹底的かつ適応的に利用して、スワップされた顔を高忠実に生成する。 難解な顔合成に対処するために、HEAR-Net(Huristic Err Accnowledging Refinement Network)と呼ばれる新しいヒューリスティック・エラー認識ネットワーク(Heuristic Err Acknowledging Refinement Network)の第2ステージを付加する。
  論文  参考訳（メタデータ） (2019-12-31T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。