論文の概要: Advancing Facial Stylization through Semantic Preservation Constraint and Pseudo-Paired Supervision
- arxiv url: http://arxiv.org/abs/2506.22022v1
- Date: Fri, 27 Jun 2025 08:44:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-30 21:12:23.139816
- Title: Advancing Facial Stylization through Semantic Preservation Constraint and Pseudo-Paired Supervision
- Title(参考訳): セマンティック保存制約と擬似ペア・スーパービジョンによる顔面スティル化の促進
- Authors: Zhanyi Lu, Yue Zhou,
- Abstract要約: これらの問題は、スタイリゼーション中にジェネレータのセマンティックシフトを無視することに起因すると我々は主張する。
意味的保存制約と擬似ペア付き監視を統合した顔のスタイリング手法を提案する。
顔のスタイリゼーションを基盤として,より柔軟なマルチモーダルおよび参照誘導型スタイリゼーションを実現する。
- 参考スコア(独自算出の注目度): 3.4228848885035092
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial stylization aims to transform facial images into appealing, high-quality stylized portraits, with the critical challenge of accurately learning the target style while maintaining content consistency with the original image. Although previous StyleGAN-based methods have made significant advancements, the generated results still suffer from artifacts or insufficient fidelity to the source image. We argue that these issues stem from neglecting semantic shift of the generator during stylization. Therefore, we propose a facial stylization method that integrates semantic preservation constraint and pseudo-paired supervision to enhance the content correspondence and improve the stylization effect. Additionally, we develop a methodology for creating multi-level pseudo-paired datasets to implement supervisory constraint. Furthermore, building upon our facial stylization framework, we achieve more flexible multimodal and reference-guided stylization without complex network architecture designs or additional training. Experimental results demonstrate that our approach produces high-fidelity, aesthetically pleasing facial style transfer that surpasses previous methods.
- Abstract(参考訳): 顔のスタイル化は、顔のイメージを魅力的で高品質なスタイルのポートレートに変換することを目的としており、オリジナル画像とのコンテンツ整合性を維持しながら、ターゲットのスタイルを正確に学習することが重要な課題である。
以前のStyleGANベースの手法は大きな進歩を遂げているが、生成した結果は依然として、原画像に対する人工物や不十分な忠実さに悩まされている。
これらの問題は、スタイリゼーション中にジェネレータのセマンティックシフトを無視することに起因すると我々は主張する。
そこで本研究では,セマンティックな保存制約と疑似ペアリング型監視を統合した顔のスタイリゼーション手法を提案し,コンテンツ対応性を高め,スタイリゼーション効果を向上させる。
さらに,複数レベルの擬似ペアデータセットを作成する手法を開発し,オーバシリ制約を実装した。
さらに, より柔軟なマルチモーダルおよび参照誘導型スタイリングを実現するために, 複雑なネットワークアーキテクチャ設計や追加トレーニングを行うことなく, 顔のスタイリングフレームワークを構築した。
以上の結果から,本手法は従来手法を超越した,高忠実で美的満足な顔スタイルの転送を実現することが示唆された。
関連論文リスト
- PersonaMagic: Stage-Regulated High-Fidelity Face Customization with Tandem Equilibrium [55.72249032433108]
PersonaMagicは、高忠実な顔のカスタマイズのために設計された、ステージ制御された生成技術である。
本手法は,顔の概念を捉えるために,特定の時間間隔内に一連の埋め込みを学習する。
定性評価と定量的評価の両方において、ペルソナマジックが最先端の手法よりも優れていることを確認する。
論文 参考訳(メタデータ) (2024-12-20T08:41:25Z) - Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。
インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。
私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
論文 参考訳(メタデータ) (2024-09-11T13:43:53Z) - ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。
本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
論文 参考訳(メタデータ) (2024-08-10T08:53:41Z) - High-Fidelity Face Swapping with Style Blending [16.024260677867076]
高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。
まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。
第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
論文 参考訳(メタデータ) (2023-12-17T23:22:37Z) - Portrait Diffusion: Training-free Face Stylization with
Chain-of-Painting [64.43760427752532]
顔のスタイリゼーション(face stylization)とは、顔の特定の肖像画スタイルへの変換を指す。
現在の手法では、ファインチューン事前訓練された生成モデルに対するサンプルベースの適応アプローチが必要とされる。
本稿では,ポートレートディフュージョン(Portrait Diffusion)という,トレーニング不要な顔スタイル化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-03T06:48:35Z) - FISTNet: FusIon of STyle-path generative Networks for Facial Style Transfer [15.308837341075135]
StyleGAN法は、顔画像にアーティファクトが導入された結果、過度に適合する傾向にある。
本稿では,事前学習したマルチパス方式の転送ネットワークを利用する顔画像のためのFusIon of STyles(FIST)ネットワークを提案する。
論文 参考訳(メタデータ) (2023-07-18T07:20:31Z) - Multi-Modal Face Stylization with a Generative Prior [27.79677001997915]
MMFSはStyleGANの強みを活用することでマルチモーダル顔スタイリングをサポートする。
2段階のトレーニング戦略を導入し、最初の段階でエンコーダをトレーニングし、特徴マップをStyleGANと整列させる。
第2段階では、ネットワーク全体が、スタイル化された顔生成のための芸術的データで微調整される。
論文 参考訳(メタデータ) (2023-05-29T11:01:31Z) - Controllable Person Image Synthesis with Spatially-Adaptive Warped
Normalization [72.65828901909708]
制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。
本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。
本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
論文 参考訳(メタデータ) (2021-05-31T07:07:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。