論文の概要: Facial Expression Retargeting from Human to Avatar Made Easy
- arxiv url: http://arxiv.org/abs/2008.05110v1
- Date: Wed, 12 Aug 2020 04:55:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 05:48:55.666171
- Title: Facial Expression Retargeting from Human to Avatar Made Easy
- Title(参考訳): 人間からアバターへの表情再ターゲティングを容易にする
- Authors: Juyong Zhang, Keyu Chen, Jianmin Zheng
- Abstract要約: 人間から仮想キャラクタへの顔表現は、コンピュータグラフィックスやアニメーションにおいて有用な技術である。
伝統的な方法では、マーカーやブレンドサップを使って人間とアバターの顔をマッピングする。
本稿では,この非線型表現埋め込みと表現領域変換によるクロスドメイン表現伝達問題に対する新しい解を提案する。
- 参考スコア(独自算出の注目度): 34.86394328702422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial expression retargeting from humans to virtual characters is a useful
technique in computer graphics and animation. Traditional methods use markers
or blendshapes to construct a mapping between the human and avatar faces.
However, these approaches require a tedious 3D modeling process, and the
performance relies on the modelers' experience. In this paper, we propose a
brand-new solution to this cross-domain expression transfer problem via
nonlinear expression embedding and expression domain translation. We first
build low-dimensional latent spaces for the human and avatar facial expressions
with variational autoencoder. Then we construct correspondences between the two
latent spaces guided by geometric and perceptual constraints. Specifically, we
design geometric correspondences to reflect geometric matching and utilize a
triplet data structure to express users' perceptual preference of avatar
expressions. A user-friendly method is proposed to automatically generate
triplets for a system allowing users to easily and efficiently annotate the
correspondences. Using both geometric and perceptual correspondences, we
trained a network for expression domain translation from human to avatar.
Extensive experimental results and user studies demonstrate that even
nonprofessional users can apply our method to generate high-quality facial
expression retargeting results with less time and effort.
- Abstract(参考訳): 人間から仮想キャラクタへの顔表現のリターゲティングは,コンピュータグラフィックスやアニメーションにおいて有用である。
伝統的な手法では、人間とアバターの顔のマッピングを構築するためにマーカーやブレンド形状を使用する。
しかし、これらのアプローチは退屈な3Dモデリングプロセスを必要とし、パフォーマンスはモデラーの経験に依存します。
本稿では,このクロスドメイン表現伝達問題に対する非線形表現埋め込みと表現領域変換による新しい解を提案する。
まず,可変オートエンコーダを用いて,人間およびアバターの表情の低次元潜在空間を構築する。
次に,幾何学的制約と知覚的制約によって導かれる2つの潜在空間間の対応関係を構築する。
具体的には,幾何学的マッチングを反映した幾何学的対応をデザインし,三重項データ構造を用いてユーザのアバター表現の知覚的嗜好を表現する。
ユーザが容易にかつ効率的に対応を注釈できるシステムのためのトリプレットを自動生成するユーザフレンドリーな手法を提案する。
幾何学的および知覚的対応を用いて,人間からアバターへの表現領域翻訳のためのネットワークを訓練した。
広範な実験結果とユーザスタディにより,非プロフェッショナルユーザでさえ,より少ない時間と労力で高品質な表情再ターゲティング結果を生成することができることが示された。
関連論文リスト
- ImFace++: A Sophisticated Nonlinear 3D Morphable Face Model with
Implicit Neural Representations [26.838314840582004]
本稿では,暗黙のニューラル表現を持つ高度で連続的な空間を学習するために,ImFace++という新しい3次元顔モデルを提案する。
包括的質的,定量的評価により,ImFace++は顔再構成の精度と対応精度の両方の観点から,最先端性を大幅に向上することが示された。
論文 参考訳(メタデータ) (2023-12-07T03:53:53Z) - GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。
3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。
この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
論文 参考訳(メタデータ) (2023-11-22T19:13:00Z) - GaFET: Learning Geometry-aware Facial Expression Translation from
In-The-Wild Images [55.431697263581626]
本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。
我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
論文 参考訳(メタデータ) (2023-08-07T09:03:35Z) - Facial Expression Re-targeting from a Single Character [0.0]
3Dキャラクタの表情を表現するための標準的な方法は、ブレンドシャッフルである。
私たちは、各顔器官のランドマークをグループ化し、それらを関連するブレンドシェープ重みに結合する独自のディープラーニングアーキテクチャを開発しました。
我々のアプローチは、様々なユーザや表現のあるビデオでテストすると、より高いMOSが68%、低いMSEが44.2%に達した。
論文 参考訳(メタデータ) (2023-06-21T11:35:22Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-14T22:33:09Z) - LatentAvatar: Learning Latent Expression Code for Expressive Neural Head
Avatar [60.363572621347565]
我々は,潜在性発現コードによって駆動される表現型神経頭アバターであるLatentAvatarを提示する。
LatentAvatarは、挑戦的な表情や、歯や眼球の微妙な動きを捉えることができる。
論文 参考訳(メタデータ) (2023-05-02T03:49:12Z) - EMOCA: Emotion Driven Monocular Face Capture and Animation [59.15004328155593]
本稿では,学習中の感情の深層的一貫性を損なうことによって,再構成された3次元表現が入力画像に表現された表現と一致することを確実にする。
In-the-wild emotion recognitionのタスクでは、人間の行動を分析する上での3D幾何の価値を強調しながら、最も優れた画像ベースの手法と同等に幾何学的アプローチを実践しています。
論文 参考訳(メタデータ) (2022-04-24T15:58:35Z) - I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。
従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。
本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
論文 参考訳(メタデータ) (2021-12-14T15:30:32Z) - Personalized Face Modeling for Improved Face Reconstruction and Motion
Retargeting [22.24046752858929]
本稿では、ユーザごとのパーソナライズされた顔モデルとフレームごとの顔の動きパラメータを共同で学習するエンドツーエンドフレームワークを提案する。
具体的には、パーソナライズされた修正を予測することによって、ユーザ固有の表現と動的(表現固有の)アルベドマップのブレンドを学習する。
実験結果から, 顔の微細な動態を広範囲の状況で正確に把握できることが示唆された。
論文 参考訳(メタデータ) (2020-07-14T01:30:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。