論文の概要: Facial Expression Retargeting from Human to Avatar Made Easy

• arxiv url: http://arxiv.org/abs/2008.05110v1
• Date: Wed, 12 Aug 2020 04:55:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 05:48:55.666171
• Title: Facial Expression Retargeting from Human to Avatar Made Easy
• Title（参考訳）: 人間からアバターへの表情再ターゲティングを容易にする
• Authors: Juyong Zhang, Keyu Chen, Jianmin Zheng
• Abstract要約: 人間から仮想キャラクタへの顔表現は、コンピュータグラフィックスやアニメーションにおいて有用な技術である。 伝統的な方法では、マーカーやブレンドサップを使って人間とアバターの顔をマッピングする。 本稿では,この非線型表現埋め込みと表現領域変換によるクロスドメイン表現伝達問題に対する新しい解を提案する。
• 参考スコア（独自算出の注目度）: 34.86394328702422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial expression retargeting from humans to virtual characters is a useful technique in computer graphics and animation. Traditional methods use markers or blendshapes to construct a mapping between the human and avatar faces. However, these approaches require a tedious 3D modeling process, and the performance relies on the modelers' experience. In this paper, we propose a brand-new solution to this cross-domain expression transfer problem via nonlinear expression embedding and expression domain translation. We first build low-dimensional latent spaces for the human and avatar facial expressions with variational autoencoder. Then we construct correspondences between the two latent spaces guided by geometric and perceptual constraints. Specifically, we design geometric correspondences to reflect geometric matching and utilize a triplet data structure to express users' perceptual preference of avatar expressions. A user-friendly method is proposed to automatically generate triplets for a system allowing users to easily and efficiently annotate the correspondences. Using both geometric and perceptual correspondences, we trained a network for expression domain translation from human to avatar. Extensive experimental results and user studies demonstrate that even nonprofessional users can apply our method to generate high-quality facial expression retargeting results with less time and effort.
• Abstract（参考訳）: 人間から仮想キャラクタへの顔表現のリターゲティングは,コンピュータグラフィックスやアニメーションにおいて有用である。 伝統的な手法では、人間とアバターの顔のマッピングを構築するためにマーカーやブレンド形状を使用する。 しかし、これらのアプローチは退屈な3Dモデリングプロセスを必要とし、パフォーマンスはモデラーの経験に依存します。 本稿では,このクロスドメイン表現伝達問題に対する非線形表現埋め込みと表現領域変換による新しい解を提案する。 まず,可変オートエンコーダを用いて,人間およびアバターの表情の低次元潜在空間を構築する。 次に,幾何学的制約と知覚的制約によって導かれる2つの潜在空間間の対応関係を構築する。 具体的には,幾何学的マッチングを反映した幾何学的対応をデザインし,三重項データ構造を用いてユーザのアバター表現の知覚的嗜好を表現する。 ユーザが容易にかつ効率的に対応を注釈できるシステムのためのトリプレットを自動生成するユーザフレンドリーな手法を提案する。 幾何学的および知覚的対応を用いて,人間からアバターへの表現領域翻訳のためのネットワークを訓練した。 広範な実験結果とユーザスタディにより,非プロフェッショナルユーザでさえ,より少ない時間と労力で高品質な表情再ターゲティング結果を生成することができることが示された。

関連論文リスト

• FreeAvatar: Robust 3D Facial Animation Transfer by Learning an Expression Foundation Model [45.0201701977516]
  ビデオ駆動の3D顔アニメーション転送は、アクターの表情を再現するためにアバターを駆動することを目的としている。 我々は,学習した表現のみに依存する,堅牢な顔アニメーショントランスファー手法であるFreeAvatarを提案する。
  論文  参考訳（メタデータ） (2024-09-20T03:17:01Z)
• 3D Facial Expressions through Analysis-by-Neural-Synthesis [30.2749903946587]
  SMIRK(Spatial Modeling for Image-based Reconstruction of Kinesics)は、画像から表現力のある3次元顔を忠実に再構築する。 既存の手法では,自己指導型トレーニングの定式化における欠点と,訓練画像における表現の多様性の欠如の2つの重要な限界を識別する。 我々の質的,定量的,特に知覚的評価は、SMIRKが正確な表現再構成における新しい最先端技術を実現することを証明している。
  論文  参考訳（メタデータ） (2024-04-05T14:00:07Z)
• GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
  本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。 我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
  論文  参考訳（メタデータ） (2023-08-07T09:03:35Z)
• Facial Expression Re-targeting from a Single Character [0.0]
  3Dキャラクタの表情を表現するための標準的な方法は、ブレンドシャッフルである。 私たちは、各顔器官のランドマークをグループ化し、それらを関連するブレンドシェープ重みに結合する独自のディープラーニングアーキテクチャを開発しました。 我々のアプローチは、様々なユーザや表現のあるビデオでテストすると、より高いMOSが68%、低いMSEが44.2%に達した。
  論文  参考訳（メタデータ） (2023-06-21T11:35:22Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• EMOCA: Emotion Driven Monocular Face Capture and Animation [59.15004328155593]
  本稿では,学習中の感情の深層的一貫性を損なうことによって,再構成された3次元表現が入力画像に表現された表現と一致することを確実にする。 In-the-wild emotion recognitionのタスクでは、人間の行動を分析する上での3D幾何の価値を強調しながら、最も優れた画像ベースの手法と同等に幾何学的アプローチを実践しています。
  論文  参考訳（メタデータ） (2022-04-24T15:58:35Z)
• I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
  モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2021-12-14T15:30:32Z)
• Personalized Face Modeling for Improved Face Reconstruction and Motion Retargeting [22.24046752858929]
  本稿では、ユーザごとのパーソナライズされた顔モデルとフレームごとの顔の動きパラメータを共同で学習するエンドツーエンドフレームワークを提案する。 具体的には、パーソナライズされた修正を予測することによって、ユーザ固有の表現と動的(表現固有の)アルベドマップのブレンドを学習する。 実験結果から, 顔の微細な動態を広範囲の状況で正確に把握できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-14T01:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。