論文の概要: LeGO: Leveraging a Surface Deformation Network for Animatable Stylized Face Generation with One Example

• arxiv url: http://arxiv.org/abs/2403.15227v1
• Date: Fri, 22 Mar 2024 14:20:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 17:09:34.218914
• Title: LeGO: Leveraging a Surface Deformation Network for Animatable Stylized Face Generation with One Example
• Title（参考訳）: LeGO: Animatable Stylized Face Generationのための表面変形ネットワークの一例
• Authors: Soyeon Yoon, Kwan Yun, Kwanggyoon Seo, Sihun Cha, Jung Eun Yoo, Junyong Noh,
• Abstract要約: 所望のトポロジを持つ高度にスタイリングされた3次元顔モデルを作成する方法を提案する。 提案手法は3DMMを用いて表面変形ネットワークをトレーニングし,その領域を微分可能なメッシュと方向CLIP損失を用いて対象に翻訳する。 ネットワークは、差別化可能なメッシュと指向的なCLIP損失を使用して、ターゲットのスタイルを模倣することにより、3Dフェイスメッシュのスタイリングを実現する。
• 参考スコア（独自算出の注目度）: 5.999050119438177
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advances in 3D face stylization have made significant strides in few to zero-shot settings. However, the degree of stylization achieved by existing methods is often not sufficient for practical applications because they are mostly based on statistical 3D Morphable Models (3DMM) with limited variations. To this end, we propose a method that can produce a highly stylized 3D face model with desired topology. Our methods train a surface deformation network with 3DMM and translate its domain to the target style using a paired exemplar. The network achieves stylization of the 3D face mesh by mimicking the style of the target using a differentiable renderer and directional CLIP losses. Additionally, during the inference process, we utilize a Mesh Agnostic Encoder (MAGE) that takes deformation target, a mesh of diverse topologies as input to the stylization process and encodes its shape into our latent space. The resulting stylized face model can be animated by commonly used 3DMM blend shapes. A set of quantitative and qualitative evaluations demonstrate that our method can produce highly stylized face meshes according to a given style and output them in a desired topology. We also demonstrate example applications of our method including image-based stylized avatar generation, linear interpolation of geometric styles, and facial animation of stylized avatars.
• Abstract（参考訳）: 近年の3D顔のスタイリングの進歩は、ほとんどゼロショット設定では顕著な進歩を遂げている。 しかし,従来の手法によるスタイリゼーションの程度は,統計的3次元モーフィブルモデル(3DMM)に基づく場合が多いため,実用的応用には不十分であることが多い。 そこで本研究では,所望のトポロジを持つ高度にスタイリングされた3次元顔モデルを作成する方法を提案する。 提案手法は3DMMを用いて表面変形ネットワークをトレーニングし,その領域を対の例を用いて対象に翻訳する。 このネットワークは、差別化可能なレンダラーと指向性CLIP損失を用いて、ターゲットのスタイルを模倣することにより、3Dフェイスメッシュのスタイリングを実現する。 さらに, 提案手法では, 変形対象を抽出するメッシュアグノスティックエンコーダ (MAGE) を用い, 様々なトポロジのメッシュをスタイリングプロセスに入力し, その形状を潜在空間にエンコードする。 結果として得られるスタイリングされた顔モデルは、一般的に使用される3DMMブレンド形状によってアニメーションすることができる。 定量的および定性的な評価のセットは,提案手法が与えられたスタイルに応じて高度にスタイリングされた顔メッシュを生成し,所望の位相で出力できることを実証する。 また,画像に基づくスタイリングアバター生成,幾何スタイルの線形補間,およびスタイリングアバターの顔アニメーションなどの応用例を示した。

関連論文リスト

• Neural 3D Strokes: Creating Stylized 3D Scenes with Vectorized 3D Strokes [20.340259111585873]
  ニューラル3Dストロークス(Neural 3D Strokes)は、多視点2D画像から任意の新しいビューで3Dシーンのスタイリング画像を生成する新しい技術である。 提案手法は,ベクトルストロークによる人間のアートワークのプログレッシブ・ペインティングの過程をシミュレートし,イメージ・ツー・ペインティング法からインスピレーションを得ている。
  論文  参考訳（メタデータ） (2023-11-27T09:02:21Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields [96.0858117473902]
  3Dトーン化には、テクスチャ化された幾何学とテクスチャで、アートドメインのスタイルをターゲットの3D顔に転送することが含まれる。 階層型3D GANに適した効果的なトーン化フレームワークであるDeformToon3Dを提案する。 提案手法は3次元トーン化を幾何学とテクスチャスタイリングのサブプロブレムに分解し,元の潜伏空間をよりよく保存する。
  論文  参考訳（メタデータ） (2023-09-08T16:17:45Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
  本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T07:22:05Z)
• StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
  屋内シーンのメッシュ再構成にスタイル転送を適用する。 これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:59Z)
• 3DStyleNet: Creating 3D Shapes with Geometric and Texture Style Variations [81.45521258652734]
  本稿では,3次元オブジェクトの幾何学的・テクスチャ的バリエーションを多用する手法を提案する。 提案手法は,多くの新しいスタイルの形状を作成でき,その結果,無駄な3Dコンテンツ作成とスタイルウェアデータ拡張を実現している。
  論文  参考訳（メタデータ） (2021-08-30T02:28:31Z)
• Exemplar-Based 3D Portrait Stylization [23.585334925548064]
  ワンショット3Dポートレートスタイル転送のための最初のフレームワークを提示する。 形状が誇張され、テクスチャがスタイリングされた3Dフェイスモデルを生成することができる。 本手法は,異なるスタイルの芸術的効果を強く達成し,既存の手法より優れる。
  論文  参考訳（メタデータ） (2021-04-29T17:59:54Z)
• 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
  本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。 提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。 選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
  論文  参考訳（メタデータ） (2020-11-26T16:59:12Z)
• Personalized Face Modeling for Improved Face Reconstruction and Motion Retargeting [22.24046752858929]
  本稿では、ユーザごとのパーソナライズされた顔モデルとフレームごとの顔の動きパラメータを共同で学習するエンドツーエンドフレームワークを提案する。 具体的には、パーソナライズされた修正を予測することによって、ユーザ固有の表現と動的(表現固有の)アルベドマップのブレンドを学習する。 実験結果から, 顔の微細な動態を広範囲の状況で正確に把握できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-14T01:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。