論文の概要: GSwap: Realistic Head Swapping with Dynamic Neural Gaussian Field

• arxiv url: http://arxiv.org/abs/2603.23168v1
• Date: Tue, 24 Mar 2026 13:11:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.488333
• Title: GSwap: Realistic Head Swapping with Dynamic Neural Gaussian Field
• Title（参考訳）: GSwap: 動的ニューラルガウス場を用いたリアルなヘッドスワップ
• Authors: Jingtao Zhou, Xuan Gao, Dongyu Liu, Junhui Hou, Yudong Guo, Juyong Zhang,
• Abstract要約: GSwapは一貫したリアルなビデオヘッドスワッピングシステムで、ダイナミック・ニューラル・ガウシアン・ポートレートによって強化されている。 GSwapは、視覚的品質、時間的コヒーレンス、アイデンティティの保存、3D整合性など、様々な面で既存の手法を超越している。
• 参考スコア（独自算出の注目度）: 66.31636070843516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present GSwap, a novel consistent and realistic video head-swapping system empowered by dynamic neural Gaussian portrait priors, which significantly advances the state of the art in face and head replacement. Unlike previous methods that rely primarily on 2D generative models or 3D Morphable Face Models (3DMM), our approach overcomes their inherent limitations, including poor 3D consistency, unnatural facial expressions, and restricted synthesis quality. Moreover, existing techniques struggle with full head-swapping tasks due to insufficient holistic head modeling and ineffective background blending, often resulting in visible artifacts and misalignments. To address these challenges, GSwap introduces an intrinsic 3D Gaussian feature field embedded within a full-body SMPL-X surface, effectively elevating 2D portrait videos into a dynamic neural Gaussian field. This innovation ensures high-fidelity, 3D-consistent portrait rendering while preserving natural head-torso relationships and seamless motion dynamics. To facilitate training, we adapt a pretrained 2D portrait generative model to the source head domain using only a few reference images, enabling efficient domain adaptation. Furthermore, we propose a neural re-rendering strategy that harmoniously integrates the synthesized foreground with the original background, eliminating blending artifacts and enhancing realism. Extensive experiments demonstrate that GSwap surpasses existing methods in multiple aspects, including visual quality, temporal coherence, identity preservation, and 3D consistency.
• Abstract（参考訳）: 本稿では,動的ニューラルガウス像を用いた新しい一貫したリアルなビデオヘッドスワッピングシステムであるGSwapについて述べる。 従来の2D生成モデルや3Dモーファブルフェイスモデル(3DMM)に主に依存する手法とは異なり、我々のアプローチは、3Dの整合性、不自然な表情、制限された合成品質など、それらの固有の制約を克服する。 さらに、既存の技術は、完全な頭部モデリングが不十分で背景ブレンディングが不十分なため、完全な頭部洗浄作業に苦しむため、しばしば目に見える人工物や誤認識をもたらす。 これらの課題に対処するため、GSwapは、フルボディのSMPL-X表面に埋め込まれた固有の3Dガウス的特徴場を導入し、2Dポートレートビデオを動的ガウス的フィールドに効果的に高める。 このイノベーションは、自然の頭とトーソの関係とシームレスな動きのダイナミクスを保ちながら、高忠実で3D一貫性のあるポートレートレンダリングを保証する。 トレーニングを容易にするために,少数の参照画像のみを用いて,事前訓練された2次元ポートレート生成モデルをソースヘッド領域に適応させ,ドメイン適応を効率的にする。 さらに,合成した前景を原背景と調和的に統合し,ブレンディングアーティファクトを排除し,リアリズムを高めるニューラル再レンダリング戦略を提案する。 大規模な実験により、GSwapは視覚的品質、時間的コヒーレンス、アイデンティティの保存、そして3D整合性など、様々な面で既存の手法を超えることが示されている。

関連論文リスト

• From Blurry to Believable: Enhancing Low-quality Talking Heads with 3D Generative Priors [49.37666175170832]
  低解像度でアニマタブルな3Dヘッドアバターを実現するためのフレームワークであるSuperHeadを紹介する。 SuperHeadは高品質な幾何学とテクスチャを合成し、3Dと時間的整合性を確保している。 実験により、SuperHeadはダイナミックモーションの下で、きめ細かい顔の詳細を持つアバターを生成することが示された。
  論文  参考訳（メタデータ） (2026-02-05T19:00:50Z)
• A Controllable 3D Deepfake Generation Framework with Gaussian Splatting [6.969908558294805]
  本稿では,3次元ガウススプラッティングに基づく新しい3次元ディープフェイク生成フレームワークを提案する。 完全に制御可能な3D空間において、現実的でアイデンティティを保った顔スワッピングと再現を可能にする。 提案手法は3次元モデリングとディープフェイク合成のギャップを埋め、シーン認識、制御可能、没入型視覚的偽造の新しい方向を可能にする。
  論文  参考訳（メタデータ） (2025-09-15T06:34:17Z)
• TeGA: Texture Space Gaussian Avatars for High-Resolution Dynamic Head Modeling [52.87836237427514]
  フォトリアルアバターは、テレプレゼンス、拡張現実、エンターテイメントにおける新興アプリケーションにおいて重要な要素であると見なされている。 本稿では,最先端の3Dヘッドアバターモデルを提案する。
  論文  参考訳（メタデータ） (2025-05-08T22:10:27Z)
• Synthetic Prior for Few-Shot Drivable Head Avatar Inversion [61.51887011274453]
  そこで本研究では,合成前駆体に基づく乾燥可能な頭部アバターの少数ショット逆転法であるSynShotを提案する。 合成データのみに基づいて訓練された機械学習モデルに着想を得て,合成頭部の大きなデータセットから先行モデルを学習する手法を提案する。
  論文  参考訳（メタデータ） (2025-01-12T19:01:05Z)
• NeRFFaceSpeech: One-shot Audio-driven 3D Talking Head Synthesis via Generative Prior [5.819784482811377]
  高品質な3D対応音声ヘッドを作成できる新しい方法NeRFFaceSpeechを提案する。 本手法では,1枚の画像に対応する3次元顔特徴空間を作成できる。 また,リパインネットを導入し,その情報不足を補う。
  論文  参考訳（メタデータ） (2024-05-09T13:14:06Z)
• HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural Radiance Field [44.848368616444446]
  我々は,NeRFの表現性とパラメトリックテンプレートからの事前情報を統合する,新しいハイブリッド・明示的3次元表現,顔モデル条件付きニューラルラジアンス場を導入する。 画像から画像への変換ネットワークを用いた全体的なGANアーキテクチャを採用することにより,動的頭部外観の高分解能,現実的,かつ一貫した合成を実現する。
  論文  参考訳（メタデータ） (2023-09-29T10:45:22Z)
• NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real Image Animation [66.0838349951456]
  Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。 本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T18:36:45Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。