Fugu-MT 論文翻訳(概要): Neuromuscular Control of the Face-Head-Neck Biomechanical Complex With Learning-Based Expression Transfer From Images and Videos

論文の概要: Neuromuscular Control of the Face-Head-Neck Biomechanical Complex With Learning-Based Expression Transfer From Images and Videos

arxiv url: http://arxiv.org/abs/2111.06517v1
Date: Fri, 12 Nov 2021 01:13:07 GMT
ステータス: 処理完了
システム内更新日: 2021-11-15 14:15:37.170239
Title: Neuromuscular Control of the Face-Head-Neck Biomechanical Complex With Learning-Based Expression Transfer From Images and Videos
Title（参考訳）: 画像と映像からの学習に基づく表現伝達を伴う顔-首筋生体力学複合体の神経筋制御
Authors: Xiao S. Zeng, Surya Dwarakanath, Wuyue Lu, Masaki Nakada, Demetri Terzopoulos
Abstract要約: 人から3D顔モデルへの表情の転送は、古典的なコンピュータグラフィックスの問題である。バイオメカニカルモデルに表情を移す新しい学習的アプローチを提案する。
参考スコア（独自算出の注目度）: 13.408753449508326
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The transfer of facial expressions from people to 3D face models is a classic computer graphics problem. In this paper, we present a novel, learning-based approach to transferring facial expressions and head movements from images and videos to a biomechanical model of the face-head-neck complex. Leveraging the Facial Action Coding System (FACS) as an intermediate representation of the expression space, we train a deep neural network to take in FACS Action Units (AUs) and output suitable facial muscle and jaw activation signals for the musculoskeletal model. Through biomechanical simulation, the activations deform the facial soft tissues, thereby transferring the expression to the model. Our approach has advantages over previous approaches. First, the facial expressions are anatomically consistent as our biomechanical model emulates the relevant anatomy of the face, head, and neck. Second, by training the neural network using data generated from the biomechanical model itself, we eliminate the manual effort of data collection for expression transfer. The success of our approach is demonstrated through experiments involving the transfer onto our face-head-neck model of facial expressions and head poses from a range of facial images and videos.
Abstract（参考訳）: 人から3D顔モデルへの表情の転送は、古典的なコンピュータグラフィックスの問題である。本稿では,顔の表情と頭部の動きを画像やビデオから顔と首の複合体の生体力学的モデルに伝達する,新しい学習的アプローチを提案する。表情空間の中間表現として、顔行動符号化システム(facs)を利用して、深層ニューラルネットワークを訓練し、facs行動単位(aus)を取り込み、筋骨格モデルに適した顔面筋および顎の活性化信号を出力する。生体力学的シミュレーションにより、アクティベーションは顔面の軟組織を変形させ、モデルに発現を伝達する。我々のアプローチは以前のアプローチよりも優れている。まず、私たちの生体力学モデルが顔、頭、首の解剖をエミュレートするので、表情は解剖学的に一貫性がある。第2に,バイオメカニカルモデル自体から生成されたデータを用いてニューラルネットワークをトレーニングすることにより,表現伝達のためのデータ収集の手作業を排除する。アプローチの成功は、顔画像やビデオから顔表情と頭部ポーズの顔-頭-首モデルへの移動を含む実験によって実証される。

関連論文リスト

GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文参考訳（メタデータ） (2024-09-18T13:05:43Z)
Learning a Generalized Physical Face Model From Data [19.58920251013244]
物理シミュレーションは3次元顔アニメーションの強力なアプローチである。大規模な3次元顔データセットから学習する,一般化された顔モデルを提案する。我々のモデルは、目に見えないあらゆるアイデンティティに迅速に適合し、自動的に自己認識可能な物理顔モデルを生成することができる。
論文参考訳（メタデータ） (2024-02-29T18:59:31Z)
GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
論文参考訳（メタデータ） (2023-08-07T09:03:35Z)
Pose Guided Human Image Synthesis with Partially Decoupled GAN [25.800174118151638]
Pose Guided Human Image Synthesis (PGHIS) は、人間のイメージを基準ポーズから目標ポーズへ変換する難しいタスクである。本研究では,人体を複数の部分に分解し,現実的な人物像の合成を誘導する手法を提案する。さらに,PGHISのためのマルチヘッドアテンションベースモジュールを設計する。
論文参考訳（メタデータ） (2022-10-07T15:31:37Z)
Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
論文参考訳（メタデータ） (2022-08-03T16:46:08Z)
Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
論文参考訳（メタデータ） (2022-07-22T13:39:06Z)
FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks [0.7043489166804575]
顔の識別と表情を分離して符号化する新しい3次元顔モデル表現であるFaceTuneGANを提案する。本稿では,2次元領域で使用されている画像と画像の変換ネットワークを3次元顔形状に適応させる手法を提案する。
論文参考訳（メタデータ） (2021-12-01T14:42:03Z)
Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
論文参考訳（メタデータ） (2021-06-03T17:40:48Z)
Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
論文参考訳（メタデータ） (2020-06-17T23:38:37Z)
Head2Head: Video-based Neural Head Synthesis [50.32988828989691]
顔再現のための新しい機械学習アーキテクチャを提案する。提案手法は, 顔の表情, ポーズ, 視線を, 最先端の手法よりも正確に写実的な方法で対象映像に転送できることを示す。
論文参考訳（メタデータ） (2020-05-22T00:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。