論文の概要: FDLS: A Deep Learning Approach to Production Quality, Controllable, and Retargetable Facial Performances

• arxiv url: http://arxiv.org/abs/2309.14897v1
• Date: Tue, 26 Sep 2023 12:54:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 13:42:07.870807
• Title: FDLS: A Deep Learning Approach to Production Quality, Controllable, and Retargetable Facial Performances
• Title（参考訳）: FDLS: 生産品質、制御可能、および顔認識性能の深い学習アプローチ
• Authors: Wan-Duo Kurt Ma, Muhammad Ghifary, J.P. Lewis, Byungkuk Choi, Haekwang Eom
• Abstract要約: 本稿では,これらの課題に対するWeta DigitalのソリューションであるFDLSについて述べる。 粗大で人為的なループ戦略を採用しており、解決されたパフォーマンスを検証し、編集することができる。 このシステムは数年間開発され、主要映画で使用されている。
• 参考スコア（独自算出の注目度）: 2.0481384394282798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual effects commonly requires both the creation of realistic synthetic humans as well as retargeting actors' performances to humanoid characters such as aliens and monsters. Achieving the expressive performances demanded in entertainment requires manipulating complex models with hundreds of parameters. Full creative control requires the freedom to make edits at any stage of the production, which prohibits the use of a fully automatic ``black box'' solution with uninterpretable parameters. On the other hand, producing realistic animation with these sophisticated models is difficult and laborious. This paper describes FDLS (Facial Deep Learning Solver), which is Weta Digital's solution to these challenges. FDLS adopts a coarse-to-fine and human-in-the-loop strategy, allowing a solved performance to be verified and edited at several stages in the solving process. To train FDLS, we first transform the raw motion-captured data into robust graph features. Secondly, based on the observation that the artists typically finalize the jaw pass animation before proceeding to finer detail, we solve for the jaw motion first and predict fine expressions with region-based networks conditioned on the jaw position. Finally, artists can optionally invoke a non-linear finetuning process on top of the FDLS solution to follow the motion-captured virtual markers as closely as possible. FDLS supports editing if needed to improve the results of the deep learning solution and it can handle small daily changes in the actor's face shape. FDLS permits reliable and production-quality performance solving with minimal training and little or no manual effort in many cases, while also allowing the solve to be guided and edited in unusual and difficult cases. The system has been under development for several years and has been used in major movies.
• Abstract（参考訳）: 視覚効果は通常、現実的な合成人間の創造と、俳優のパフォーマンスをエイリアンや怪物のようなヒューマノイドキャラクターに再ターゲットすることの両方を必要とする。 エンタテインメントで要求される表現力のあるパフォーマンスを達成するには、数百のパラメータを持つ複雑なモデルを操作する必要がある。 完全なクリエイティビティコントロールでは、プロダクションの任意の段階で編集を行う自由が要求されるため、解釈不能なパラメータを持つ ‘black box'' 完全自動のソリューションの使用が禁止されている。 一方、こうした洗練されたモデルでリアルなアニメーションを作るのは困難で手間がかかる。 本稿では,これらの課題に対するWeta DigitalのソリューションであるFDLS(Facial Deep Learning Solver)について述べる。 FDLSは粗大かつ人為的なループ戦略を採用しており、解決された性能をいくつかの段階で検証し、編集することができる。 FDLSをトレーニングするために、我々はまず、生のモーションキャプチャーデータを堅牢なグラフ特徴に変換する。 第2に,細部まで進む前に,アーティストが顎通アニメーションを完成させるのが典型的であるという観察に基づいて,まず顎運動を解き,顎位置を条件とした領域ベースのネットワークを用いて微細表現を予測した。 最後に、アーティストはFDLSソリューション上の非線形微調整プロセスを任意に実行して、モーションキャプチャーされた仮想マーカーを可能な限り近付けることができる。 FDLSは、ディープラーニングソリューションの結果を改善するために必要な編集をサポートし、アクターの顔形状の小さな日々の変化を処理できる。 FDLSは、最小限のトレーニングと手作業の少ない信頼性と品質の高いパフォーマンスの解決を可能にすると同時に、異常で難しいケースで解決をガイドし、編集することを可能にする。 このシステムは数年間開発が続けられており、主要な映画で使用されている。

関連論文リスト

• AVID: Adapting Video Diffusion Models to World Models [10.757223474031248]
  我々は,事前学習されたモデルのパラメータにアクセスすることなく,事前学習された映像拡散モデルを行動条件付き世界モデルに適用することを提案する。 AVIDは学習マスクを使用して、事前訓練されたモデルの中間出力を変更し、正確なアクション条件のビデオを生成する。 AVIDをゲームや実世界のロボットデータ上で評価し,既存の拡散モデル適応法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-01T13:48:31Z)
• 3D Face Modeling via Weakly-supervised Disentanglement Network joint Identity-consistency Prior [62.80458034704989]
  切り離された制御因子を特徴とする3次元顔モデルの生成は、コンピュータビジョンやコンピュータグラフィックスの多様な応用において大きな可能性を秘めている。 従来の3D顔モデリング手法は、これらの要因を効果的に解消するために特定のラベルを要求するため、課題に直面している。 本稿では,WSDF(Wakly Supervised Disentanglement Framework)を導入し,過度に拘束的なラベル付けを必要とせず,制御可能な3次元顔モデルのトレーニングを容易にする。
  論文  参考訳（メタデータ） (2024-04-25T11:50:47Z)
• Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
  本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
  論文  参考訳（メタデータ） (2024-03-07T00:00:02Z)
• Learning a Generalized Physical Face Model From Data [19.58920251013244]
  物理シミュレーションは3次元顔アニメーションの強力なアプローチである。 大規模な3次元顔データセットから学習する,一般化された顔モデルを提案する。 我々のモデルは、目に見えないあらゆるアイデンティティに迅速に適合し、自動的に自己認識可能な物理顔モデルを生成することができる。
  論文  参考訳（メタデータ） (2024-02-29T18:59:31Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• FAAC: Facial Animation Generation with Anchor Frame and Conditional Control for Superior Fidelity and Editability [14.896554342627551]
  顔のアイデンティティと編集能力を両立させる顔アニメーション生成手法を提案する。 このアプローチは、オリジナルのテキスト・ツー・イメージモデルにおける生成能力の劣化に対処するためのアンカーフレームの概念を取り入れている。 提案手法の有効性をDreamBoothモデルとLoRAモデルで検証した。
  論文  参考訳（メタデータ） (2023-12-06T02:55:35Z)
• Face Animation with an Attribute-Guided Diffusion Model [41.43427420949979]
  属性誘導拡散モデル(FADM)を用いた顔アニメーションフレームワークを提案する。 FADMは、フォトリアリスティックな対話ヘッド生成のための拡散モデルの優れたモデリング能力を利用するための最初の試みである。
  論文  参考訳（メタデータ） (2023-04-06T16:22:32Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• gradSim: Differentiable simulation for system identification and visuomotor control [66.37288629125996]
  本稿では,微分可能マルチフィジカルシミュレーションと微分可能レンダリングを活用し,3次元監督への依存を克服するフレームワークであるgradsimを提案する。 当社の統合グラフは、状態ベースの(3D)監督に頼ることなく、挑戦的なバイスモメータ制御タスクで学習を可能にします。
  論文  参考訳（メタデータ） (2021-04-06T16:32:01Z)
• CharacterGAN: Few-Shot Keypoint Character Animation and Reposing [64.19520387536741]
  本稿では,与えられた文字の少数のサンプルに対してのみトレーニング可能な生成モデルである characterGAN を紹介する。 我々のモデルはキーポイント位置に基づいて新しいポーズを生成し、インタラクティブなフィードバックを提供しながらリアルタイムで修正することができる。 提案手法は,近年のベースラインよりも優れており,多様なキャラクタに対してリアルなアニメーションを生成する。
  論文  参考訳（メタデータ） (2021-02-05T12:38:15Z)
• Neural Face Models for Example-Based Visual Speech Synthesis [2.2817442144155207]
  マルチビュー映像に基づく顔の動きキャプチャのためのマーカーレスアプローチを提案する。 アニメーション中の表情をシームレスに表現するために,表情のニューラル表現を学習する。
  論文  参考訳（メタデータ） (2020-09-22T07:35:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。