論文の概要: LatentSwap: An Efficient Latent Code Mapping Framework for Face Swapping

• arxiv url: http://arxiv.org/abs/2402.18351v2
• Date: Sat, 2 Mar 2024 14:08:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 19:23:28.838337
• Title: LatentSwap: An Efficient Latent Code Mapping Framework for Face Swapping
• Title（参考訳）: latentswap: 顔スワップのための効率的な潜在コードマッピングフレームワーク
• Authors: Changho Choi, Minho Kim, Junhyeok Lee, Hyoung-Kyu Song, Younggeun Kim, Seungryong Kim
• Abstract要約: 我々は、与えられたジェネレータのフェイススワップ潜在コードを生成するフレームワークであるLatentSwapを提案する。 私たちのフレームワークは軽量で、トレーニング済みのモデル以外にデータセットを必要としない。 このフレームワークはStyleNeRFなどの他のジェネレータにも適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 41.59473130977597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose LatentSwap, a simple face swapping framework generating a face swap latent code of a given generator. Utilizing randomly sampled latent codes, our framework is light and does not require datasets besides employing the pre-trained models, with the training procedure also being fast and straightforward. The loss objective consists of only three terms, and can effectively control the face swap results between source and target images. By attaching a pre-trained GAN inversion model independent to the model and using the StyleGAN2 generator, our model produces photorealistic and high-resolution images comparable to other competitive face swap models. We show that our framework is applicable to other generators such as StyleNeRF, paving a way to 3D-aware face swapping and is also compatible with other downstream StyleGAN2 generator tasks. The source code and models can be found at \url{https://github.com/usingcolor/LatentSwap}.
• Abstract（参考訳）: 我々は、あるジェネレータのフェイススワップ潜在コードを生成するシンプルなフェイススワップフレームワーク latentswapを提案する。 ランダムにサンプリングされた潜在コードを利用することで、我々のフレームワークは軽量で、事前訓練されたモデル以外にデータセットを必要としない。 損失目的は3項のみで構成され、ソース画像とターゲット画像間の顔スワップ結果を効果的に制御できる。 モデルに依存しない事前学習されたGANインバージョンモデルとStyleGAN2ジェネレータを併用することにより、他の競合顔スワップモデルに匹敵するフォトリアリスティックで高解像度の画像を生成する。 このフレームワークは、StyleNeRFのような他のジェネレータに適用可能で、3D対応の顔スワップも可能で、他の下流のStyleGAN2ジェネレータタスクと互換性がある。 ソースコードとモデルは \url{https://github.com/usingcolor/LatentSwap} で見ることができる。

関連論文リスト

• Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
  フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。 インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。 私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
  論文  参考訳（メタデータ） (2024-09-11T13:43:53Z)
• Face Swap via Diffusion Model [4.026688121914668]
  本稿では2つのポートレート画像間の顔交換のための拡散モデルに基づくフレームワークを提案する。 基本フレームワークは、顔の特徴符号化、多条件生成、顔の塗装の3つのコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2024-03-02T07:02:17Z)
• Controllable 3D Face Generation with Conditional Style Code Diffusion [51.24656496304069]
  TEx-Face(TExt & Expression-to-Face)は、タスクを3D GANインバージョン、条件付きスタイルコード拡散、3D Face Decodingという3つのコンポーネントに分割することで、課題に対処する。 FFHQ、CelebA-HQ、CelebA-Dialogで実施された実験は、我々のTEx-Faceの有望なパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2023-12-21T15:32:49Z)
• Controlling the Output of a Generative Model by Latent Feature Vector Shifting [0.0]
  制御された出力画像修正のための遅延ベクトルシフトのための新しい手法を提案する。 提案手法では,リアルな人間の顔の画像を生成するStyleGAN3の事前学習モデルを用いている。 我々の潜在特徴シフト器は、生成モデルの潜在ベクトルを特定の特徴方向にシフトさせるタスクを備えたニューラルネットワークモデルである。
  論文  参考訳（メタデータ） (2023-11-15T10:42:06Z)
• DCFace: Synthetic Face Generation with Dual Condition Diffusion Model [18.662943303044315]
  本稿では拡散モデルに基づくDCFace(Dual Condition Face Generator)を提案する。 われわれの新しいPatch-wiseスタイル抽出器と時間ステップ依存ID損失により、DCFaceは、同じ対象の顔画像を、正確に制御された異なるスタイルで一貫して生成することができる。
  論文  参考訳（メタデータ） (2023-04-14T11:31:49Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• StyleSwap: Style-Based Generator Empowers Robust Face Swapping [90.05775519962303]
  StyleSwapという簡潔で効果的なフレームワークを紹介します。 私たちの中核となる考え方は、スタイルベースのジェネレータを活用して、高忠実で堅牢な顔交換を可能にすることです。 最小限の変更だけで、StyleGAN2アーキテクチャはソースとターゲットの両方から望まれる情報をうまく処理できる。
  論文  参考訳（メタデータ） (2022-09-27T16:35:16Z)
• FairStyle: Debiasing StyleGAN2 with Style Channel Manipulations [0.0]
  本稿では,バランスの取れた画像を生成するために,事前学習したStyleGAN2モデルを修正する手法を提案する。 提案手法は,生成画像の品質を損なうことなく,数分間でGANモデルを除去する。
  論文  参考訳（メタデータ） (2022-02-13T07:39:48Z)
• Controllable and Compositional Generation with Latent-Space Energy-Based Models [60.87740144816278]
  制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。 本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。 エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-10-21T03:31:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。