論文の概要: GHOST 2.0: generative high-fidelity one shot transfer of heads
- arxiv url: http://arxiv.org/abs/2502.18417v1
- Date: Tue, 25 Feb 2025 18:13:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-26 15:22:06.963219
- Title: GHOST 2.0: generative high-fidelity one shot transfer of heads
- Title（参考訳）: GHOST 2.0: 頭部の高忠実な1ショット転写
- Authors: Alexander Groshev, Anastasiia Iashchenko, Pavel Paramonov, Denis Dimitrov, Andrey Kuznetsov,
- Abstract要約: GHOST 2.0は2つの問題固有のモジュールで構成されている。
まず、頭部再現のための拡張アリグナーモデルを導入し、複数のスケールで識別情報を保存する。
次に,Blenderモジュールを用いて,再現された頭部を肌の色を伝達し,不一致領域を塗布することで,シームレスに対象の背景に組み込む。
- 参考スコア（独自算出の注目度）: 41.59152401245996
- License:
- Abstract: While the task of face swapping has recently gained attention in the research community, a related problem of head swapping remains largely unexplored. In addition to skin color transfer, head swap poses extra challenges, such as the need to preserve structural information of the whole head during synthesis and inpaint gaps between swapped head and background. In this paper, we address these concerns with GHOST 2.0, which consists of two problem-specific modules. First, we introduce enhanced Aligner model for head reenactment, which preserves identity information at multiple scales and is robust to extreme pose variations. Secondly, we use a Blender module that seamlessly integrates the reenacted head into the target background by transferring skin color and inpainting mismatched regions. Both modules outperform the baselines on the corresponding tasks, allowing to achieve state of the art results in head swapping. We also tackle complex cases, such as large difference in hair styles of source and target.
- Abstract（参考訳）: 近年,フェイススワップの課題は研究コミュニティで注目されているが,頭部スワップの問題点はほとんど解明されていない。
肌の色移動に加えて、ヘッドスワップは、合成中の頭部全体の構造情報を保存する必要や、スワップされたヘッドと背景の間の不透明なギャップなど、余分な課題を生じさせる。
本稿では,2つの問題固有のモジュールからなるGHOST 2.0を用いて,これらの問題に対処する。
まず,頭部再構成のための拡張アリグナーモデルを提案する。
次に,Blenderモジュールを用いて,再現された頭部を肌の色を伝達し,不一致領域を塗布することで,シームレスに対象の背景に組み込む。
どちらのモジュールも対応するタスクのベースラインよりも優れており、ヘッドスワップによる最先端の結果が得られる。
ソースとターゲットのヘアスタイルの大きな違いなど、複雑なケースにも取り組みます。
関連論文リスト
- Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。
インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。
私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
論文 参考訳（メタデータ） (2024-09-11T13:43:53Z) - AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image
Collections [78.81539337399391]
顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。
これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。
生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
論文 参考訳（メタデータ） (2023-09-05T12:44:57Z) - Reinforced Disentanglement for Face Swapping without Skip Connection [18.97633893837313]
我々は、スキップ接続を取り除き、2つのターゲットエンコーダを使用する「WSCスワップ」と呼ばれる新しいフェイススワップフレームワークを導入する。
我々の結果は、アイデンティティの整合性を測定するための新しい指標を含む、リッチなメトリクスセットに関する以前の研究よりも大幅に優れています。
論文 参考訳（メタデータ） (2023-07-16T02:44:19Z) - HS-Diffusion: Semantic-Mixing Diffusion for Head Swapping [150.06405071177048]
ヘッドスワップ(HS-Diffusion)のための意味混合拡散モデルを提案する。
ソース・ヘッドとソース・ボディのセマンティック・レイアウトをブレンドし、その後、セマンティック・レイアウト・ジェネレータによって遷移領域を塗り替える。
画像ベースのヘッドスワップベンチマークを構築し,2つの設計基準を設計する。
論文 参考訳（メタデータ） (2022-12-13T10:04:01Z) - Learning to regulate 3D head shape by removing occluding hair from
in-the-wild images [0.0]
毛髪を除去し,皮膚を再構築し,上頭骨をモデル化するための新しいアプローチを提案する。
我々の教師なし3DMMモデルは、一般的なベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2022-08-25T13:18:26Z) - Few-Shot Head Swapping in the Wild [79.78228139171574]
ヘッドスワップタスクは、様々なエンターテイメントシナリオにおいて非常に重要なターゲット本体にソースヘッドを完璧に配置することを目的としている。
ヘッドモデリングとバックグラウンドブレンディングに特有のニーズがあるため、本質的には困難である。
我々は2つの繊細なデザインのモジュールを通して、数発のヘッドスワッピングを実現するヘッドスワッパー(HeSer)を提示する。
論文 参考訳（メタデータ） (2022-04-27T17:52:51Z) - Head2HeadFS: Video-based Head Reenactment with Few-shot Learning [64.46913473391274]
ヘッド再アクティベーションは、ヘッドポーズ全体をソースの人からターゲットに転送することを目的とした挑戦的なタスクです。
頭部再生のための新しい適応性パイプラインであるhead2headfsを提案する。
当社のビデオベースのレンダリングネットワークは、ほんの数サンプルを使用して、数ショットの学習戦略の下で微調整されます。
論文 参考訳（メタデータ） (2021-03-30T10:19:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。