論文の概要: Neural Face Skinning for Mesh-agnostic Facial Expression Cloning

• arxiv url: http://arxiv.org/abs/2505.22416v1
• Date: Wed, 28 May 2025 14:43:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.658621
• Title: Neural Face Skinning for Mesh-agnostic Facial Expression Cloning
• Title（参考訳）: メッシュに依存しない表情クローニングのためのニューラルフェイススキニング
• Authors: Sihun Cha, Serin Yoon, Kwanggyoon Seo, Junyong Noh,
• Abstract要約: 本稿では,大域変形モデルと局所変形モデルの両方の強度を組み合わせた手法を提案する。 当社のアプローチは,顔メッシュ間の直感的な制御と詳細な表現のクローニングを可能にする。 各種メッシュ構造における表現忠実度, 変形伝達精度, 適応性の観点から, 最先端手法よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 5.819784482811377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurately retargeting facial expressions to a face mesh while enabling manipulation is a key challenge in facial animation retargeting. Recent deep-learning methods address this by encoding facial expressions into a global latent code, but they often fail to capture fine-grained details in local regions. While some methods improve local accuracy by transferring deformations locally, this often complicates overall control of the facial expression. To address this, we propose a method that combines the strengths of both global and local deformation models. Our approach enables intuitive control and detailed expression cloning across diverse face meshes, regardless of their underlying structures. The core idea is to localize the influence of the global latent code on the target mesh. Our model learns to predict skinning weights for each vertex of the target face mesh through indirect supervision from predefined segmentation labels. These predicted weights localize the global latent code, enabling precise and region-specific deformations even for meshes with unseen shapes. We supervise the latent code using Facial Action Coding System (FACS)-based blendshapes to ensure interpretability and allow straightforward editing of the generated animation. Through extensive experiments, we demonstrate improved performance over state-of-the-art methods in terms of expression fidelity, deformation transfer accuracy, and adaptability across diverse mesh structures.
• Abstract（参考訳）: 顔の表情を顔メッシュに正確に再ターゲティングし、操作を可能にすることは、顔アニメーションの再ターゲティングにおいて重要な課題である。 近年のディープラーニング手法では, 表情をグローバルな潜在コードに符号化することでこの問題に対処しているが, 局所的に細かな詳細を捉えることができないことが多い。 変形を局所的に転送することで局所的精度を向上させる手法もあるが、これは顔表情の全体的制御を複雑にすることが多い。 そこで本研究では,大域変形モデルと局所変形モデルの両方の強度を組み合わせた手法を提案する。 本手法は,その基盤構造に関係なく,多種多様な顔メッシュにまたがる直感的な制御と詳細な表現のクローニングを可能にする。 中心となる考え方は、グローバル潜在コードの影響をターゲットメッシュにローカライズすることだ。 我々のモデルは,予め定義されたセグメンテーションラベルから間接的な監督を通じて,対象の顔メッシュの各頂点のスキン重量を予測することを学ぶ。 これらの予測重みは、グローバルな潜伏符号をローカライズし、目に見えない形状のメッシュであっても正確かつ領域固有の変形を可能にする。 ファシカル・アクション・コーディング・システム(FACS)をベースとしたブレンドサッピーを用いて,潜時コードの監視を行い,解釈性を確保し,生成したアニメーションの簡単な編集を可能にする。 各種メッシュ構造における表現忠実度, 変形伝達精度, 適応性の観点から, 最先端手法よりも優れた性能を示す。

関連論文リスト

• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• HeadEvolver: Text to Head Avatars via Expressive and Attribute-Preserving Mesh Deformation [17.590555698266346]
  本稿では,テキストガイダンスからスタイリングされた頭部アバターを生成するための新しいフレームワークを提案する。 本手法は,面毎のヤコビアンによるメッシュ変形を表現し,学習可能なベクトル場を用いて局所変形を適応的に変調する。 我々のフレームワークは,テンプレートメッシュから保存した属性をシームレスに編集しながら,テキストでさらに編集できる現実的な形状やテクスチャを生成することができる。
  論文  参考訳（メタデータ） (2024-03-14T12:15:23Z)
• Learning Position-Aware Implicit Neural Network for Real-World Face Inpainting [55.87303287274932]
  顔の塗装には、モデルが顔の位置構造を正確に理解する必要がある。 本稿では,実世界のシナリオにおいて任意の形状の顔画像を扱うためのtextbfImplicit textbfNeural textbfInpainting textbfNetwork (IN$2$)を提案する。
  論文  参考訳（メタデータ） (2024-01-19T07:31:44Z)
• BlendFields: Few-Shot Example-Driven Facial Modeling [35.86727715239676]
  本稿では,従来のコンピュータグラフィックス技術からインスピレーションを得てギャップを埋める手法を提案する。 見えない表現は、極端なポーズのスパースセットからの外観をブレンドすることによってモデル化される。 本研究では, 顔の滑らかな体積変形の上に, きめ細かな効果を加えることによって, 表情を一般化する手法を示す。
  論文  参考訳（メタデータ） (2023-05-12T14:30:07Z)
• LC-NeRF: Local Controllable Face Generation in Neural Randiance Field [55.54131820411912]
  LC-NeRFは、ローカルリージョンジェネレータモジュールと空間認識融合モジュールで構成される。 本手法は,最先端の顔編集法よりも局所的な編集が優れている。 また,テキスト駆動型顔画像編集など,下流のタスクでもよく機能する。
  論文  参考訳（メタデータ） (2023-02-19T05:50:08Z)
• FEAT: Face Editing with Attention [70.89233432407305]
  StyleGAN ジェネレータ上に構築し,顔の操作を意図した領域に集中させる手法を提案する。 編集された画像の生成中、アテンションマップは、元の特徴と修正された特徴とのブレンドをガイドするマスクとして機能する。
  論文  参考訳（メタデータ） (2022-02-06T06:07:34Z)
• Face Sketch Synthesis via Semantic-Driven Generative Adversarial Network [10.226808267718523]
  本稿では,グローバルな構造レベルのインジェクションと局所的なクラスレベルの知識再重み付けを組み込んだセマンティック・ドリブン・ジェネレータ・ネットワーク(SDGAN)を提案する。 具体的には、入力された顔写真に対して顔の塩分濃度検出を行い、全体的な顔のテクスチャ構造を提供する。 さらに,SDGANのジェネレータにグローバルな構造的スタイルの注入を強制する前に,顔解析のレイアウトを意味的空間として活用する。
  論文  参考訳（メタデータ） (2021-06-29T07:03:56Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。