論文の概要: Zero-Shot Head Swapping in Real-World Scenarios

• arxiv url: http://arxiv.org/abs/2503.00861v3
• Date: Mon, 24 Mar 2025 06:03:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 11:09:39.039997
• Title: Zero-Shot Head Swapping in Real-World Scenarios
• Title（参考訳）: 実世界シナリオにおけるゼロショットヘッドスワッピング
• Authors: Taewoong Kang, Sohyun Jeong, Hyojin Jang, Jaegul Choo,
• Abstract要約: 本稿では,頭部と上半身を含む画像に対して頑健な新しい頭部交換法HIDを提案する。 マスクの自動生成には,頭部と身体のシームレスなブレンドを可能にするIOMaskを導入する。 本研究では,提案手法がヘッドスワップにおける最先端性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 30.493743596793212
• License:
• Abstract: With growing demand in media and social networks for personalized images, the need for advanced head-swapping techniques, integrating an entire head from the head image with the body from the body image, has increased. However, traditional head swapping methods heavily rely on face-centered cropped data with primarily frontal facing views, which limits their effectiveness in real world applications. Additionally, their masking methods, designed to indicate regions requiring editing, are optimized for these types of dataset but struggle to achieve seamless blending in complex situations, such as when the original data includes features like long hair extending beyond the masked area. To overcome these limitations and enhance adaptability in diverse and complex scenarios, we propose a novel head swapping method, HID, that is robust to images including the full head and the upper body, and handles from frontal to side views, while automatically generating context aware masks. For automatic mask generation, we introduce the IOMask, which enables seamless blending of the head and body, effectively addressing integration challenges. We further introduce the hair injection module to capture hair details with greater precision. Our experiments demonstrate that the proposed approach achieves state-of-the-art performance in head swapping, providing visually consistent and realistic results across a wide range of challenging conditions.
• Abstract（参考訳）: パーソナライズされた画像に対するメディアやソーシャルネットワークの需要が増大するにつれて、頭部画像から頭部全体と身体画像から体を一体化する先進的なヘッドスワッピング技術の必要性が高まっている。 しかし、従来のヘッドスワップ方式は、主に正面向きの視点を持つ顔中心の収穫データに大きく依存しており、現実の応用においてその有効性を制限している。 さらに、これらのマスキング手法は、編集を必要とする領域を示すように設計されており、この種のデータセットに最適化されているが、仮面領域を超えて伸びる長い髪のような特徴を含むオリジナルのデータのような複雑な状況においてシームレスにブレンディングを達成するのに苦労している。 これらの制約を克服し、多様な複雑なシナリオにおける適応性を高めるために、頭部と上半身を含む画像に対して頑健な新しい頭部交換法HIDを提案し、正面から側面への視界を処理し、コンテキスト認識マスクを自動生成する。 マスクの自動生成には,頭部と身体のシームレスなブレンドを可能にするIOMaskを導入し,統合の課題に効果的に対処する。 さらに,より高精度なヘアインジェクションモジュールを導入し,ヘアインジェクションの精度を向上した。 実験により,提案手法は頭部スワップにおける最先端性能を実現し,視覚的に一貫したリアルな結果が得られることを示した。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
  フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。 インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。 私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
  論文  参考訳（メタデータ） (2024-09-11T13:43:53Z)
• What to Preserve and What to Transfer: Faithful, Identity-Preserving Diffusion-based Hairstyle Transfer [35.80645300182437]
  既存の髪型移行アプローチはStyleGANに依存している。 本稿では,現実のシナリオに適用可能な一段階のヘアスタイル転移拡散モデルであるHairFusionを提案する。 本手法は, ヘアスタイルと周辺特性の整合性を維持する既存手法と比較して, 最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-29T11:30:21Z)
• MeGA: Hybrid Mesh-Gaussian Head Avatar for High-Fidelity Rendering and Head Editing [34.31657241047574]
  より適切な表現で異なるヘッドコンポーネントをモデル化するハイブリッドメッシュ・ガウスヘッドアバター(MeGA)を提案する。 MeGAは、ヘッド全体の高忠実度レンダリングを生成し、自然に下流タスクをサポートする。 NeRSembleデータセットの実験は、我々の設計の有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-29T18:10:12Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• Few-Shot Head Swapping in the Wild [79.78228139171574]
  ヘッドスワップタスクは、様々なエンターテイメントシナリオにおいて非常に重要なターゲット本体にソースヘッドを完璧に配置することを目的としている。 ヘッドモデリングとバックグラウンドブレンディングに特有のニーズがあるため、本質的には困難である。 我々は2つの繊細なデザインのモジュールを通して、数発のヘッドスワッピングを実現するヘッドスワッパー(HeSer)を提示する。
  論文  参考訳（メタデータ） (2022-04-27T17:52:51Z)
• HeadGAN: One-shot Neural Head Synthesis and Editing [70.30831163311296]
  HeadGANは、3D顔表現を合成し、任意の参照画像の顔形状に適応するシステムです。 3D顔表現により、圧縮と再構築の効率的な方法、表現とポーズ編集のツールとしてさらに使用できるようになります。
  論文  参考訳（メタデータ） (2020-12-15T12:51:32Z)
• MichiGAN: Multi-Input-Conditioned Hair Image Generation for Portrait Editing [122.82964863607938]
  MichiGANはインタラクティブな顔料の毛髪操作のための条件付き画像生成手法である。 我々は, 形状, 構造, 外観, 背景など, 主要毛髪の視覚的要因のすべてをユーザコントロールする。 また,直感的かつ高レベルなユーザ入力を投影することで,髪の直感的な操作を可能にするインタラクティブな肖像画毛髪編集システムを構築した。
  論文  参考訳（メタデータ） (2020-10-30T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。