論文の概要: Few-Shot Head Swapping in the Wild

• arxiv url: http://arxiv.org/abs/2204.13100v1
• Date: Wed, 27 Apr 2022 17:52:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 14:41:31.534892
• Title: Few-Shot Head Swapping in the Wild
• Title（参考訳）: 野生で頭が水に浸かる
• Authors: Changyong Shu, Hemao Wu, Hang Zhou, Jiaming Liu, Zhibin Hong, Changxing Ding, Junyu Han, Jingtuo Liu, Errui Ding, Jingdong Wang
• Abstract要約: ヘッドスワップタスクは、様々なエンターテイメントシナリオにおいて非常に重要なターゲット本体にソースヘッドを完璧に配置することを目的としている。 ヘッドモデリングとバックグラウンドブレンディングに特有のニーズがあるため、本質的には困難である。 我々は2つの繊細なデザインのモジュールを通して、数発のヘッドスワッピングを実現するヘッドスワッパー(HeSer)を提示する。
• 参考スコア（独自算出の注目度）: 79.78228139171574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The head swapping task aims at flawlessly placing a source head onto a target body, which is of great importance to various entertainment scenarios. While face swapping has drawn much attention, the task of head swapping has rarely been explored, particularly under the few-shot setting. It is inherently challenging due to its unique needs in head modeling and background blending. In this paper, we present the Head Swapper (HeSer), which achieves few-shot head swapping in the wild through two delicately designed modules. Firstly, a Head2Head Aligner is devised to holistically migrate pose and expression information from the target to the source head by examining multi-scale information. Secondly, to tackle the challenges of skin color variations and head-background mismatches in the swapping procedure, a Head2Scene Blender is introduced to simultaneously modify facial skin color and fill mismatched gaps in the background around the head. Particularly, seamless blending is achieved with the help of a Semantic-Guided Color Reference Creation procedure and a Blending UNet. Extensive experiments demonstrate that the proposed method produces superior head swapping results in a variety of scenes.
• Abstract（参考訳）: ヘッドスワップタスクは、様々なエンターテイメントシナリオにおいて非常に重要なターゲット本体にソースヘッドを完璧に配置することを目的としている。 顔のスワップは注目されているが、頭部スワップの作業は、特に数ショットの環境では、ほとんど行われていない。 ヘッドモデリングとバックグラウンドブレンドに特有のニーズがあるため、本質的には困難である。 本稿では,2つの微妙に設計されたモジュールを通して,野生で数発の頭部交換が可能なヘッドスワッパー(HeSer)を提案する。 まず、マルチスケール情報を調べることにより、ターゲットからソースヘッドへポーズ及び表情情報を階層的に移動させるヘッド2ヘッドライナーが考案される。 次に、スワップ法における肌色変化や頭部後方ミスマッチの課題に対処するため、ヘッド2シーンブレンダを導入し、顔の肌色を同時に変更し、頭周りの背景のミスマッチした隙間を埋める。 特にシームレスなブレンディングは、Semantic-Guided Color Reference CreationとBlending UNetの助けを借りて実現されている。 大規模な実験により,様々な場面で優れた頭部スワッピング結果が得られた。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
  テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。 まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。 テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
  論文  参考訳（メタデータ） (2023-06-05T16:53:58Z)
• FONT: Flow-guided One-shot Talking Head Generation with Natural Head Motions [14.205344055665414]
  フロー誘導ワンショットモデルは生成した音声の頭上でのNaTuralヘッドの動きを達成する。 ヘッドポーズ予測モジュールは、ソース顔からヘッドポーズシーケンスを生成し、オーディオを駆動するように設計されている。
  論文  参考訳（メタデータ） (2023-03-31T03:25:06Z)
• DisCoHead: Audio-and-Video-Driven Talking Head Generation by Disentangled Control of Head Pose and Facial Expressions [21.064765388027727]
  DisCoHeadは、ヘッドポーズと顔の表情を監督なしで切り離し、制御する新しい方法である。 DisCoHeadは、リアルな音声およびビデオ駆動音声ヘッドを生成し、最先端の手法より優れています。
  論文  参考訳（メタデータ） (2023-03-14T08:22:18Z)
• HS-Diffusion: Semantic-Mixing Diffusion for Head Swapping [150.06405071177048]
  ヘッドスワップ(HS-Diffusion)のための意味混合拡散モデルを提案する。 ソース・ヘッドとソース・ボディのセマンティック・レイアウトをブレンドし、その後、セマンティック・レイアウト・ジェネレータによって遷移領域を塗り替える。 画像ベースのヘッドスワップベンチマークを構築し,2つの設計基準を設計する。
  論文  参考訳（メタデータ） (2022-12-13T10:04:01Z)
• Learning to regulate 3D head shape by removing occluding hair from in-the-wild images [0.0]
  毛髪を除去し,皮膚を再構築し,上頭骨をモデル化するための新しいアプローチを提案する。 我々の教師なし3DMMモデルは、一般的なベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-08-25T13:18:26Z)
• Head2HeadFS: Video-based Head Reenactment with Few-shot Learning [64.46913473391274]
  ヘッド再アクティベーションは、ヘッドポーズ全体をソースの人からターゲットに転送することを目的とした挑戦的なタスクです。 頭部再生のための新しい適応性パイプラインであるhead2headfsを提案する。 当社のビデオベースのレンダリングネットワークは、ほんの数サンプルを使用して、数ショットの学習戦略の下で微調整されます。
  論文  参考訳（メタデータ） (2021-03-30T10:19:41Z)
• HeadGAN: One-shot Neural Head Synthesis and Editing [70.30831163311296]
  HeadGANは、3D顔表現を合成し、任意の参照画像の顔形状に適応するシステムです。 3D顔表現により、圧縮と再構築の効率的な方法、表現とポーズ編集のツールとしてさらに使用できるようになります。
  論文  参考訳（メタデータ） (2020-12-15T12:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。