論文の概要: ReliableSwap: Boosting General Face Swapping Via Reliable Supervision
- arxiv url: http://arxiv.org/abs/2306.05356v1
- Date: Thu, 8 Jun 2023 17:01:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 13:16:25.734488
- Title: ReliableSwap: Boosting General Face Swapping Via Reliable Supervision
- Title（参考訳）: ReliableSwap:信頼性の高いスーパービジョンで顔のスワップを拡大
- Authors: Ge Yuan, Maomao Li, Yong Zhang, Huicheng Zheng
- Abstract要約: 本稿では,訓練中に対象とソースの同一性が異なる場合のイメージレベルのガイダンスとして機能する,サイクルトリプレットと呼ばれる信頼性の高い監視機能を構築することを提案する。
具体的には,顔の再現とブレンディング技術を用いて,前もって実際の画像からスワップされた顔の合成を行う。
フェーススワッピングフレームワークであるReliableSwapは、既存のフェースワップネットワークの性能を無視できるオーバーヘッドで向上させることができる。
- 参考スコア（独自算出の注目度）: 9.725105108879717
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Almost all advanced face swapping approaches use reconstruction as the proxy
task, i.e., supervision only exists when the target and source belong to the
same person. Otherwise, lacking pixel-level supervision, these methods struggle
for source identity preservation. This paper proposes to construct reliable
supervision, dubbed cycle triplets, which serves as the image-level guidance
when the source identity differs from the target one during training.
Specifically, we use face reenactment and blending techniques to synthesize the
swapped face from real images in advance, where the synthetic face preserves
source identity and target attributes. However, there may be some artifacts in
such a synthetic face. To avoid the potential artifacts and drive the
distribution of the network output close to the natural one, we reversely take
synthetic images as input while the real face as reliable supervision during
the training stage of face swapping. Besides, we empirically find that the
existing methods tend to lose lower-face details like face shape and mouth from
the source. This paper additionally designs a FixerNet, providing
discriminative embeddings of lower faces as an enhancement. Our face swapping
framework, named ReliableSwap, can boost the performance of any existing face
swapping network with negligible overhead. Extensive experiments demonstrate
the efficacy of our ReliableSwap, especially in identity preservation. The
project page is https://reliable-swap.github.io/.
- Abstract（参考訳）: ほとんど全ての高度な顔交換アプローチは、リコンストラクションをプロキシタスクとして、すなわち、ターゲットとソースが同一人物に属している場合にのみ、監督を行う。
そうでなければ、ピクセルレベルの監督が欠如しているため、これらの手法はソースアイデンティティの保存に苦慮する。
本稿は,学習中の対象とソースの同一性が異なる場合,画像レベルの指導を行う「サイクルトリプレット」と呼ばれる信頼性の高い監督手法を構築することを提案する。
具体的には、顔再現とブレンド技術を用いて、実際の画像からスワップされた顔を事前に合成し、合成された顔はソースのアイデンティティとターゲット属性を保存する。
しかし、そのような合成顔にはいくつかの人工物があるかもしれない。
本研究は, 人工物の可能性を避け, 自然に近いネットワーク出力の分布を推し進めるために, 顔交換の訓練段階において, 実顔を信頼性の高い監督対象として, 合成画像を入力として逆向きに取り出す。
さらに,既存の方法では,顔の形や口などの下面の詳細を音源から失う傾向にある。
本稿では,下面の識別的埋め込みを拡張として,FixerNetを設計する。
フェーススワッピングフレームワークであるReliableSwapは、既存のフェースワップネットワークの性能を無視できるオーバーヘッドで向上させることができる。
広範な実験により,信頼性の高いswapの有効性が実証された。
プロジェクトページはhttps://reliable-swap.github.io/。
関連論文リスト
- OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - G2Face: High-Fidelity Reversible Face Anonymization via Generative and Geometric Priors [71.69161292330504]
可逆顔匿名化(Reversible face anonymization)は、顔画像の繊細なアイデンティティ情報を、合成された代替品に置き換えようとしている。
本稿では,Gtextsuperscript2Faceを提案する。
提案手法は,高データの有効性を保ちながら,顔の匿名化と回復において既存の最先端技術よりも優れる。
論文 参考訳（メタデータ） (2024-08-18T12:36:47Z) - IDRetracor: Towards Visual Forensics Against Malicious Face Swapping [30.804429527783395]
ディープフェイク法に基づく顔交換技術は、個人認証のセキュリティに重大な社会的リスクをもたらす。
本稿では,対象の顔と偽の顔とを逆マッピングにより追跡する,顔追跡という新しいタスクを提案する。
我々は,IDRetracorが定量的,定性的両面から有望なリトラシング性能を示すことを示す。
論文 参考訳（メタデータ） (2024-08-13T04:53:48Z) - High-Fidelity Face Swapping with Style Blending [16.024260677867076]
高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。
まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。
第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
論文 参考訳（メタデータ） (2023-12-17T23:22:37Z) - BlendFace: Re-designing Identity Encoders for Face-Swapping [2.320417845168326]
BlendFaceはフェイススワッピングのための新しいアイデンティティエンコーダである。
アイデンティティ機能をジェネレータに切り離し、ID損失関数としてジェネレータを適切に誘導する。
大規模な実験により、BlendFaceはフェイススワッピングモデルにおけるID-属性のゆがみを改善することが示されている。
論文 参考訳（メタデータ） (2023-07-20T13:17:30Z) - Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。
本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
論文 参考訳（メタデータ） (2023-04-05T15:51:44Z) - FlowFace: Semantic Flow-guided Shape-aware Face Swapping [43.166181219154936]
本稿では,形状認識型顔交換のためのセマンティックフロー誘導2段階フレームワークであるFlowFaceを提案する。
FlowFaceは、フェイスリフォームネットワークとフェイススワップネットワークで構成されています。
我々は、訓練済みの顔マスク付きオートエンコーダを用いて、顔と顔の両方から顔の特徴を抽出する。
論文 参考訳（メタデータ） (2022-12-06T07:23:39Z) - Restricted Black-box Adversarial Attack Against DeepFake Face Swapping [70.82017781235535]
本稿では,顔画像偽造モデルに対する問い合わせを一切必要としない現実的な敵攻撃を提案する。
本手法は,顔の再構成を行う代用モデルに基づいて構築され,置換モデルから非アクセス可能なブラックボックスDeepFakeモデルへの逆例を直接転送する。
論文 参考訳（メタデータ） (2022-04-26T14:36:06Z) - HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。
本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
論文 参考訳（メタデータ） (2021-06-18T07:39:09Z) - SimSwap: An Efficient Framework For High Fidelity Face Swapping [43.59969679039686]
我々は,汎用的で忠実な顔交換を目的とした,Simple Swap (SimSwap) と呼ばれる効率的なフレームワークを提案する。
本フレームワークでは,対象顔の属性を保存しながら,任意の元顔の同一性を任意の対象顔に転送することができる。
我々のSimSwapは、従来の最先端手法よりも優れた属性を保ちながら、競争力のあるアイデンティティ性能を達成することができることを示した。
論文 参考訳（メタデータ） (2021-06-11T12:23:10Z) - One Shot Face Swapping on Megapixels [65.47443090320955]
本稿では,顔面スワッピング(略してMegaFS)における最初のメガピクセルレベル法を提案する。
本手法の成功に対する3つの新しい貢献は,顔の完全な表現,安定したトレーニング,限られたメモリ使用量である。
論文 参考訳（メタデータ） (2021-05-11T10:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。