論文の概要: 3D Face Arbitrary Style Transfer

• arxiv url: http://arxiv.org/abs/2303.07709v1
• Date: Tue, 14 Mar 2023 08:51:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 15:59:41.516378
• Title: 3D Face Arbitrary Style Transfer
• Title（参考訳）: 3次元顔任意形状移動
• Authors: Xiangwen Deng, Yingshuang Zou, Yuanhao Cai, Chendong Zhao, Yang Liu, Zhifang Liu, Yuxiao Liu, Jiawei Zhou, Haoqian Wang
• Abstract要約: FDST(Face-Guided Dual Style Transfer)という新しい手法を提案する。 FDSTは3Dデカップリングモジュールを使用して顔の形状とテクスチャを分離する。 FDSTは、領域制御可能なスタイル転送、高忠実な顔テクスチャ再構築、芸術的な顔再構成など、多くの下流タスクに適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 18.09280257466941
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Style transfer of 3D faces has gained more and more attention. However, previous methods mainly use images of artistic faces for style transfer while ignoring arbitrary style images such as abstract paintings. To solve this problem, we propose a novel method, namely Face-guided Dual Style Transfer (FDST). To begin with, FDST employs a 3D decoupling module to separate facial geometry and texture. Then we propose a style fusion strategy for facial geometry. Subsequently, we design an optimization-based DDSG mechanism for textures that can guide the style transfer by two style images. Besides the normal style image input, DDSG can utilize the original face input as another style input as the face prior. By this means, high-quality face arbitrary style transfer results can be obtained. Furthermore, FDST can be applied in many downstream tasks, including region-controllable style transfer, high-fidelity face texture reconstruction, large-pose face reconstruction, and artistic face reconstruction. Comprehensive quantitative and qualitative results show that our method can achieve comparable performance. All source codes and pre-trained weights will be released to the public.
• Abstract（参考訳）: 3d顔のスタイル転送はますます注目を集めている。 しかし、従来は抽象画などの任意のスタイルのイメージを無視しつつ、画風のイメージをスタイル伝達に用いていた。 そこで本稿では,FDST(Face-Guided Dual Style Transfer)という新しい手法を提案する。 まず、FDSTは3Dデカップリングモジュールを使って顔の形状とテクスチャを分離する。 次に,顔面形状の融合戦略を提案する。 その後,テクスチャの最適化に基づくDDSG機構を設計し,スタイル転送を2つのスタイルイメージでガイドする。 通常のスタイルの画像入力に加えて、DDSGは元の顔入力を以前の顔入力として利用できる。 これにより、高品質な顔任意のスタイル転送結果が得られる。 さらに、FDSTは、領域制御可能なスタイル転送、高忠実な顔テクスチャ再構築、大規模な顔再構成、芸術的な顔再構成など、多くの下流タスクに適用できる。 定量的および定性的な総合的な結果は,本手法が同等の性能を発揮することを示す。 すべてのソースコードとトレーニング済みのウェイトが一般公開される。

関連論文リスト

• High-Fidelity Face Swapping with Style Blending [16.024260677867076]
  高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。 まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。 第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
  論文  参考訳（メタデータ） (2023-12-17T23:22:37Z)
• 3D Face Style Transfer with a Hybrid Solution of NeRF and Mesh Rasterization [4.668492532161309]
  我々は,3次元顔の表現にNeRF(Near Raddiance Field)を用い,それを2次元スタイルの移動と組み合わせて3次元顔のスタイリゼーションを提案する。 2Dスタイルの転送画像からNeRFを直接トレーニングすると、3Dの不整合が問題になり、ぼやけが生じる。 我々は、NeRFの高忠実度幾何再構成とメッシュの高速レンダリングの利点を組み合わせるために、NeRFとメッシュ化のハイブリッドフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-22T05:24:35Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
  屋内シーンのメッシュ再構成にスタイル転送を適用する。 これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:59Z)
• SAFA: Structure Aware Face Animation [9.58882272014749]
  顔画像の異なる成分をモデル化するために,特定の幾何学的構造を構成する構造認識顔画像(SAFA)手法を提案する。 顔のモデリングには3Dフォーマブルモデル(3DMM)、髪やひげなどの他の前景のコンポーネントをモデル化するための複数のアフィン変換、背景をモデル化するためのアイデンティティ変換を使用します。 3DMMの幾何学的埋め込みは、運転シーンの現実的な構造を生成するだけでなく、生成した画像の隠蔽領域の知覚の向上にも寄与する。
  論文  参考訳（メタデータ） (2021-11-09T03:22:38Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• One Shot Face Swapping on Megapixels [65.47443090320955]
  本稿では,顔面スワッピング(略してMegaFS)における最初のメガピクセルレベル法を提案する。 本手法の成功に対する3つの新しい貢献は,顔の完全な表現,安定したトレーニング,限られたメモリ使用量である。
  論文  参考訳（メタデータ） (2021-05-11T10:41:47Z)
• Exemplar-Based 3D Portrait Stylization [23.585334925548064]
  ワンショット3Dポートレートスタイル転送のための最初のフレームワークを提示する。 形状が誇張され、テクスチャがスタイリングされた3Dフェイスモデルを生成することができる。 本手法は,異なるスタイルの芸術的効果を強く達成し,既存の手法より優れる。
  論文  参考訳（メタデータ） (2021-04-29T17:59:54Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• Geometric Style Transfer [74.58782301514053]
  幾何学的スタイルの伝達をサポートするニューラルアーキテクチャを導入する。 新しいアーキテクチャはテクスチャスタイルを転送するネットワークに先立って実行される。 ユーザーはコンテント/スタイルのペアを一般的なように入力したり、コンテント/テクスチャスタイル/幾何学スタイルのトリプルを入力できる。
  論文  参考訳（メタデータ） (2020-07-10T16:33:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。