論文の概要: Neural Face Rigging for Animating and Retargeting Facial Meshes in the Wild

• arxiv url: http://arxiv.org/abs/2305.08296v1
• Date: Mon, 15 May 2023 01:51:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 16:28:35.192296
• Title: Neural Face Rigging for Animating and Retargeting Facial Meshes in the Wild
• Title（参考訳）: 野生の顔面メッシュをアニメーション化・再ターゲティングするための神経顔装置
• Authors: Dafei Qin, Jun Saito, Noam Aigerman, Thibault Groueix, Taku Komura
• Abstract要約: 本研究では,野生の人間の顔の3次元モデルの自動リギングと編集のためのエンド・ツー・エンドのディープラーニング手法を提案する。 NFRの表現空間は、芸術的制御のための人間の解釈可能な編集パラメータを保持する; (ii) NFRは、接続性や表現の異なる任意の顔メッシュに容易に適用可能である; (iii) NFRは、任意の被験者によって実行される複雑な表現の詳細な詳細をエンコードし、生成することができる。
• 参考スコア（独自算出の注目度）: 21.812692236392778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an end-to-end deep-learning approach for automatic rigging and retargeting of 3D models of human faces in the wild. Our approach, called Neural Face Rigging (NFR), holds three key properties: (i) NFR's expression space maintains human-interpretable editing parameters for artistic controls; (ii) NFR is readily applicable to arbitrary facial meshes with different connectivity and expressions; (iii) NFR can encode and produce fine-grained details of complex expressions performed by arbitrary subjects. To the best of our knowledge, NFR is the first approach to provide realistic and controllable deformations of in-the-wild facial meshes, without the manual creation of blendshapes or correspondence. We design a deformation autoencoder and train it through a multi-dataset training scheme, which benefits from the unique advantages of two data sources: a linear 3DMM with interpretable control parameters as in FACS, and 4D captures of real faces with fine-grained details. Through various experiments, we show NFR's ability to automatically produce realistic and accurate facial deformations across a wide range of existing datasets as well as noisy facial scans in-the-wild, while providing artist-controlled, editable parameters.
• Abstract（参考訳）: 本稿では,野生の人間の顔の3dモデルの自動配置と再ターゲティングのためのエンドツーエンドのディープラーニング手法を提案する。 NFR(Neural Face Rigging)と呼ばれる我々のアプローチには3つの重要な特性がある。 (i) nfrの表現空間は、芸術的制御のための人間の解釈可能な編集パラメータを維持する。 (ii)nfrは、接続性及び表現の異なる任意の顔メッシュに容易に適用することができる。 (iii)nfrは、任意の被験者が行う複雑な表現の詳細な詳細をエンコードし、生成することができる。 私たちの知る限りでは、nfrはブレンド形状や対応を手作業で作成することなく、現実的で制御可能な顔メッシュの変形を提供する最初のアプローチです。 我々は、FACSのように解釈可能な制御パラメータを持つ線形3DMMと、細かな詳細を持つ実顔の4Dキャプチャーという、2つのデータソースの独特な利点の恩恵を受けるマルチデータセットトレーニングスキームを用いて変形オートエンコーダを設計し、それを訓練する。 様々な実験を通じて、nfrは、アーティストが制御し、編集可能なパラメータを提供しながら、既存のデータセット全体にわたって、リアルで正確な顔変形を自動生成する能力を示す。

関連論文リスト

• DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors [4.697267141773321]
  人-物体相互作用(HOI)のゼロショット合成法であるDreamHOIを提案する。 我々は、何十億もの画像キャプチャーペアで訓練されたテキストと画像の拡散モデルを利用して、リアルなHOIを生成する。 提案手法は広範囲な実験を通じて検証し,現実的なHOIを生成する上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-12T17:59:49Z)
• Flatten Anything: Unsupervised Neural Surface Parameterization [76.4422287292541]
  本研究では,FAM(Flatten Anything Model)を導入し,グローバルな自由境界面パラメータ化を実現する。 従来の手法と比較して,FAMは接続情報を活用することなく,個別の面上で直接動作する。 当社のFAMは前処理を必要とせずに完全に自動化されており,高度に複雑なトポロジを扱うことができる。
  論文  参考訳（メタデータ） (2024-05-23T14:39:52Z)
• ImFace++: A Sophisticated Nonlinear 3D Morphable Face Model with Implicit Neural Representations [25.016000421755162]
  本稿では,暗黙のニューラル表現を持つ高度で連続的な空間を学習するために,ImFace++という新しい3次元顔モデルを提案する。 ImFace++は、まず2つの明示的に歪んだ変形フィールドを構築し、アイデンティティと式に関連する複雑な形状をモデル化する。 さらにテンプレート空間内の精細化変位場が組み込まれ、個々の顔の詳細をきめ細かな学習が可能となる。
  論文  参考訳（メタデータ） (2023-12-07T03:53:53Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• Implicit Neural Head Synthesis via Controllable Local Deformation Fields [12.191729556779972]
  我々は,大域的変形場を局所的に分解する部分的暗黙的形状モデルを構築した。 我々の新しい定式化は、3DMMに基づくパラメータによる局所的な意味的リグ様制御を伴う複数の暗黙的変形場をモデル化する。 我々の定式化は、従来の暗黙単分子アプローチよりも、局所的に制御可能な非線形変形をよりシャープに表現する。
  論文  参考訳（メタデータ） (2023-04-21T16:35:28Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• ImFace: A Nonlinear 3D Morphable Face Model with Implicit Neural Representations [21.389170615787368]
  本稿では,暗黙のニューラル表現を持つ非線形かつ連続的な空間を学習するために,新しい3次元顔モデルImFaceを提案する。 2つの明示的に非交叉な変形場を構築し、それぞれアイデンティティと表現に関連する複雑な形状をモデル化し、表現の埋め込みを拡張するための改良された学習戦略を設計する。 ImFaceに加えて、暗黙の表現における水密入力要求の問題に対処するために、効果的な前処理パイプラインが提案されている。
  論文  参考訳（メタデータ） (2022-03-28T05:37:59Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• Shape My Face: Registering 3D Face Scans by Surface-to-Surface Translation [75.59415852802958]
  Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。 私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
  論文  参考訳（メタデータ） (2020-12-16T20:02:36Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)
• Methodology for Building Synthetic Datasets with Virtual Humans [1.5556923898855324]
  大規模なデータセットは、ディープニューラルネットワークの改善、ターゲットトレーニングに使用することができる。 特に,100の合成IDからなるデータセットにまたがる複数の2次元画像のレンダリングに3次元形態素顔モデルを用いる。
  論文  参考訳（メタデータ） (2020-06-21T10:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。