論文の概要: An Implicit Physical Face Model Driven by Expression and Style
- arxiv url: http://arxiv.org/abs/2401.15414v1
- Date: Sat, 27 Jan 2024 14:07:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 18:27:11.634695
- Title: An Implicit Physical Face Model Driven by Expression and Style
- Title（参考訳）: 表現とスタイルによって駆動される暗黙の物理顔モデル
- Authors: Lingchen Yang, Gaspard Zoss, Prashanth Chandran, Paulo Gotardo, Markus
Gross, Barbara Solenthaler, Eftychios Sifakis, Derek Bradley
- Abstract要約: 通常見過ごされる重要なコンポーネントは式'スタイル'であり、例えば、特定の表現がどのように実行されるかである。
本稿では,データ駆動型暗黙的ニューラルネットワークモデルに基づく新しい顔モデルを提案する。
- 参考スコア（独自算出の注目度）: 19.58920251013244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D facial animation is often produced by manipulating facial deformation
models (or rigs), that are traditionally parameterized by expression controls.
A key component that is usually overlooked is expression 'style', as in, how a
particular expression is performed. Although it is common to define a semantic
basis of expressions that characters can perform, most characters perform each
expression in their own style. To date, style is usually entangled with the
expression, and it is not possible to transfer the style of one character to
another when considering facial animation. We present a new face model, based
on a data-driven implicit neural physics model, that can be driven by both
expression and style separately. At the core, we present a framework for
learning implicit physics-based actuations for multiple subjects
simultaneously, trained on a few arbitrary performance capture sequences from a
small set of identities. Once trained, our method allows generalized
physics-based facial animation for any of the trained identities, extending to
unseen performances. Furthermore, it grants control over the animation style,
enabling style transfer from one character to another or blending styles of
different characters. Lastly, as a physics-based model, it is capable of
synthesizing physical effects, such as collision handling, setting our method
apart from conventional approaches.
- Abstract（参考訳）: 3d顔アニメーションは、伝統的に表現制御によってパラメータ化された顔変形モデル(またはリグ)を操作することで作られる。
通常見過ごされるキーコンポーネントは、特定の式がどのように実行されるかのような「スタイル」の表現である。
文字が実行できる表現の意味的基盤を定義するのが一般的であるが、ほとんどの文字はそれぞれのスタイルで表現を行う。
現在まで、スタイルは表現と絡み合っており、顔のアニメーションを考えると、あるキャラクタのスタイルを別のキャラクタに移すことは不可能である。
本研究では,データ駆動型暗黙的神経物理モデルに基づく新しい顔モデルを提案する。
そこで本研究では,複数の被験者に対して暗黙の物理学に基づくアクティベーションを同時に学習するためのフレームワークを提案する。
トレーニングを済ませると、トレーニングされたすべてのアイデンティティに対して、物理ベースの顔アニメーションを一般化し、目に見えないパフォーマンスに拡張する。
さらにアニメーションスタイルをコントロールでき、ある文字から別の文字へスタイルを転送したり、異なる文字のスタイルをブレンドしたりすることができる。
最後に, 物理モデルとして, 衝突処理などの物理効果を合成し, 従来の手法とは切り離すことができる。
関連論文リスト
- MimicTalk: Mimicking a personalized and expressive 3D talking face in minutes [74.82911268630463]
トーキングフェース生成(TFG)は、ターゲットアイデンティティーの顔をアニメーション化し、リアルなトーキングビデオを作成することを目的としている。
MimicTalkは、個人別TFGの効率性と堅牢性を改善するために、NeRFベースの個人非依存のジェネリックモデルから豊富な知識を活用する。
私たちのMimicTalkは、ビデオの品質、効率、表現性に関して、これまでのベースラインを超えていることが実験によって示されています。
論文 参考訳（メタデータ） (2024-10-09T10:12:37Z) - FreeAvatar: Robust 3D Facial Animation Transfer by Learning an Expression Foundation Model [45.0201701977516]
ビデオ駆動の3D顔アニメーション転送は、アクターの表情を再現するためにアバターを駆動することを目的としている。
我々は,学習した表現のみに依存する,堅牢な顔アニメーショントランスファー手法であるFreeAvatarを提案する。
論文 参考訳（メタデータ） (2024-09-20T03:17:01Z) - Towards Localized Fine-Grained Control for Facial Expression Generation [54.82883891478555]
人間、特にその顔は、豊かな表現と意図を伝える能力のために、コンテンツ生成の中心である。
現在の生成モデルは、主に平らな中立表現と文字なしの笑顔を認証なしで生成する。
顔生成における表情制御におけるAU(アクションユニット)の利用を提案する。
論文 参考訳（メタデータ） (2024-07-25T18:29:48Z) - CSTalk: Correlation Supervised Speech-driven 3D Emotional Facial Animation Generation [13.27632316528572]
音声駆動の3D顔アニメーション技術は長年開発されてきたが、実用的応用には期待できない。
主な課題は、データ制限、唇のアライメント、表情の自然さである。
本稿では,顔の動きの異なる領域間の相関をモデル化し,生成モデルの訓練を監督し,現実的な表現を生成するCSTalkという手法を提案する。
論文 参考訳（メタデータ） (2024-04-29T11:19:15Z) - Learning a Generalized Physical Face Model From Data [19.58920251013244]
物理シミュレーションは3次元顔アニメーションの強力なアプローチである。
大規模な3次元顔データセットから学習する,一般化された顔モデルを提案する。
我々のモデルは、目に見えないあらゆるアイデンティティに迅速に適合し、自動的に自己認識可能な物理顔モデルを生成することができる。
論文 参考訳（メタデータ） (2024-02-29T18:59:31Z) - Personalized Speech-driven Expressive 3D Facial Animation Synthesis with
Style Control [1.8540152959438578]
現実的な顔アニメーションシステムは、自然性や妥当性の高次化を実現するために、アイデンティティ固有の話し方や顔の慣用性を考慮すべきである。
音声駆動型表情表現3次元顔画像合成フレームワークを提案する(スタイルと呼ばれる)。
我々のフレームワークはエンドツーエンドで訓練されており、3つの主要コンポーネントを持つ非自己回帰エンコーダデコーダアーキテクチャを備えている。
論文 参考訳（メタデータ） (2023-10-25T21:22:28Z) - AdaMesh: Personalized Facial Expressions and Head Poses for Adaptive Speech-Driven 3D Facial Animation [49.4220768835379]
AdaMeshは、適応的な音声駆動の顔アニメーションアプローチである。
約10秒間の参照ビデオから、パーソナライズされた話し方を学ぶ。
鮮やかな表情と頭部のポーズを生成する。
論文 参考訳（メタデータ） (2023-10-11T06:56:08Z) - GaFET: Learning Geometry-aware Facial Expression Translation from
In-The-Wild Images [55.431697263581626]
本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。
我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
論文 参考訳（メタデータ） (2023-08-07T09:03:35Z) - Imitator: Personalized Speech-driven 3D Facial Animation [63.57811510502906]
State-of-the-artメソッドは、ターゲットアクターの顔トポロジを変形させ、ターゲットアクターのアイデンティティ固有の話し方や顔の慣用性を考慮せずに入力オーディオを同期させる。
本稿では,音声による表情合成手法であるImitatorについて述べる。
提案手法は,ターゲットアクターの発話スタイルを保ちながら,入力音声から時間的コヒーレントな表情を生成する。
論文 参考訳（メタデータ） (2022-12-30T19:00:02Z) - Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。
DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。
本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
論文 参考訳（メタデータ） (2020-12-07T19:30:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。