論文の概要: FDLS: A Deep Learning Approach to Production Quality, Controllable, and Retargetable Facial Performances

• arxiv url: http://arxiv.org/abs/2309.14897v1
• Date: Tue, 26 Sep 2023 12:54:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 13:42:07.870807
• Title: FDLS: A Deep Learning Approach to Production Quality, Controllable, and Retargetable Facial Performances
• Title（参考訳）: FDLS: 生産品質、制御可能、および顔認識性能の深い学習アプローチ
• Authors: Wan-Duo Kurt Ma, Muhammad Ghifary, J.P. Lewis, Byungkuk Choi, Haekwang Eom
• Abstract要約: 本稿では,これらの課題に対するWeta DigitalのソリューションであるFDLSについて述べる。 粗大で人為的なループ戦略を採用しており、解決されたパフォーマンスを検証し、編集することができる。 このシステムは数年間開発され、主要映画で使用されている。
• 参考スコア（独自算出の注目度）: 2.0481384394282798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual effects commonly requires both the creation of realistic synthetic humans as well as retargeting actors' performances to humanoid characters such as aliens and monsters. Achieving the expressive performances demanded in entertainment requires manipulating complex models with hundreds of parameters. Full creative control requires the freedom to make edits at any stage of the production, which prohibits the use of a fully automatic ``black box'' solution with uninterpretable parameters. On the other hand, producing realistic animation with these sophisticated models is difficult and laborious. This paper describes FDLS (Facial Deep Learning Solver), which is Weta Digital's solution to these challenges. FDLS adopts a coarse-to-fine and human-in-the-loop strategy, allowing a solved performance to be verified and edited at several stages in the solving process. To train FDLS, we first transform the raw motion-captured data into robust graph features. Secondly, based on the observation that the artists typically finalize the jaw pass animation before proceeding to finer detail, we solve for the jaw motion first and predict fine expressions with region-based networks conditioned on the jaw position. Finally, artists can optionally invoke a non-linear finetuning process on top of the FDLS solution to follow the motion-captured virtual markers as closely as possible. FDLS supports editing if needed to improve the results of the deep learning solution and it can handle small daily changes in the actor's face shape. FDLS permits reliable and production-quality performance solving with minimal training and little or no manual effort in many cases, while also allowing the solve to be guided and edited in unusual and difficult cases. The system has been under development for several years and has been used in major movies.
• Abstract（参考訳）: 視覚効果は通常、現実的な合成人間の創造と、俳優のパフォーマンスをエイリアンや怪物のようなヒューマノイドキャラクターに再ターゲットすることの両方を必要とする。 エンタテインメントで要求される表現力のあるパフォーマンスを達成するには、数百のパラメータを持つ複雑なモデルを操作する必要がある。 完全なクリエイティビティコントロールでは、プロダクションの任意の段階で編集を行う自由が要求されるため、解釈不能なパラメータを持つ ‘black box'' 完全自動のソリューションの使用が禁止されている。 一方、こうした洗練されたモデルでリアルなアニメーションを作るのは困難で手間がかかる。 本稿では,これらの課題に対するWeta DigitalのソリューションであるFDLS(Facial Deep Learning Solver)について述べる。 FDLSは粗大かつ人為的なループ戦略を採用しており、解決された性能をいくつかの段階で検証し、編集することができる。 FDLSをトレーニングするために、我々はまず、生のモーションキャプチャーデータを堅牢なグラフ特徴に変換する。 第2に,細部まで進む前に,アーティストが顎通アニメーションを完成させるのが典型的であるという観察に基づいて,まず顎運動を解き,顎位置を条件とした領域ベースのネットワークを用いて微細表現を予測した。 最後に、アーティストはFDLSソリューション上の非線形微調整プロセスを任意に実行して、モーションキャプチャーされた仮想マーカーを可能な限り近付けることができる。 FDLSは、ディープラーニングソリューションの結果を改善するために必要な編集をサポートし、アクターの顔形状の小さな日々の変化を処理できる。 FDLSは、最小限のトレーニングと手作業の少ない信頼性と品質の高いパフォーマンスの解決を可能にすると同時に、異常で難しいケースで解決をガイドし、編集することを可能にする。 このシステムは数年間開発が続けられており、主要な映画で使用されている。

関連論文リスト

• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• Learning Semantic Facial Descriptors for Accurate Face Animation [43.370084532812044]
  ディレンマに対処するために,学習可能な不整合ベクトル空間に意味的顔記述子を導入する。 音源と駆動面にエンコーダを用いてベースベクトル係数を求め, 同一性および動作部分空間に有効な顔記述子を導出する。 提案手法は,高忠実度同定におけるモデルベース手法の限界問題と,高精度な動き伝達におけるモデルフリー手法が直面する課題に対処する。
  論文  参考訳（メタデータ） (2025-01-29T15:40:42Z)
• CFSynthesis: Controllable and Free-view 3D Human Video Synthesis [57.561237409603066]
  CFSynthesisは、カスタマイズ可能な属性で高品質なヒューマンビデオを生成するための新しいフレームワークである。 本手法はテクスチャ-SMPLに基づく表現を利用して,自由視点における一貫した,安定したキャラクタの出現を保証する。 複数のデータセットの結果から,複雑な人間のアニメーションにおいて,CFS合成が最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-12-15T05:57:36Z)
• Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
  本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
  論文  参考訳（メタデータ） (2024-03-07T00:00:02Z)
• Learning a Generalized Physical Face Model From Data [19.58920251013244]
  物理シミュレーションは3次元顔アニメーションの強力なアプローチである。 大規模な3次元顔データセットから学習する,一般化された顔モデルを提案する。 我々のモデルは、目に見えないあらゆるアイデンティティに迅速に適合し、自動的に自己認識可能な物理顔モデルを生成することができる。
  論文  参考訳（メタデータ） (2024-02-29T18:59:31Z)
• FAAC: Facial Animation Generation with Anchor Frame and Conditional Control for Superior Fidelity and Editability [14.896554342627551]
  顔のアイデンティティと編集能力を両立させる顔アニメーション生成手法を提案する。 このアプローチは、オリジナルのテキスト・ツー・イメージモデルにおける生成能力の劣化に対処するためのアンカーフレームの概念を取り入れている。 提案手法の有効性をDreamBoothモデルとLoRAモデルで検証した。
  論文  参考訳（メタデータ） (2023-12-06T02:55:35Z)
• Face Animation with an Attribute-Guided Diffusion Model [41.43427420949979]
  属性誘導拡散モデル(FADM)を用いた顔アニメーションフレームワークを提案する。 FADMは、フォトリアリスティックな対話ヘッド生成のための拡散モデルの優れたモデリング能力を利用するための最初の試みである。
  論文  参考訳（メタデータ） (2023-04-06T16:22:32Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• gradSim: Differentiable simulation for system identification and visuomotor control [66.37288629125996]
  本稿では,微分可能マルチフィジカルシミュレーションと微分可能レンダリングを活用し,3次元監督への依存を克服するフレームワークであるgradsimを提案する。 当社の統合グラフは、状態ベースの(3D)監督に頼ることなく、挑戦的なバイスモメータ制御タスクで学習を可能にします。
  論文  参考訳（メタデータ） (2021-04-06T16:32:01Z)
• CharacterGAN: Few-Shot Keypoint Character Animation and Reposing [64.19520387536741]
  本稿では,与えられた文字の少数のサンプルに対してのみトレーニング可能な生成モデルである characterGAN を紹介する。 我々のモデルはキーポイント位置に基づいて新しいポーズを生成し、インタラクティブなフィードバックを提供しながらリアルタイムで修正することができる。 提案手法は,近年のベースラインよりも優れており,多様なキャラクタに対してリアルなアニメーションを生成する。
  論文  参考訳（メタデータ） (2021-02-05T12:38:15Z)
• Neural Face Models for Example-Based Visual Speech Synthesis [2.2817442144155207]
  マルチビュー映像に基づく顔の動きキャプチャのためのマーカーレスアプローチを提案する。 アニメーション中の表情をシームレスに表現するために,表情のニューラル表現を学習する。
  論文  参考訳（メタデータ） (2020-09-22T07:35:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。