論文の概要: 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling

• arxiv url: http://arxiv.org/abs/2209.07366v1
• Date: Thu, 15 Sep 2022 15:28:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 12:57:25.646376
• Title: 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling
• Title（参考訳）: 3DMM-RF:3次元顔モデリングのための畳み込み放射場
• Authors: Stathis Galanakis, Baris Gecer, Alexandros Lattas, Stefanos Zafeiriou
• Abstract要約: 本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
• 参考スコア（独自算出の注目度）: 111.98096975078158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Facial 3D Morphable Models are a main computer vision subject with countless applications and have been highly optimized in the last two decades. The tremendous improvements of deep generative networks have created various possibilities for improving such models and have attracted wide interest. Moreover, the recent advances in neural radiance fields, are revolutionising novel-view synthesis of known scenes. In this work, we present a facial 3D Morphable Model, which exploits both of the above, and can accurately model a subject's identity, pose and expression and render it in arbitrary illumination. This is achieved by utilizing a powerful deep style-based generator to overcome two main weaknesses of neural radiance fields, their rigidity and rendering speed. We introduce a style-based generative network that synthesizes in one pass all and only the required rendering samples of a neural radiance field. We create a vast labelled synthetic dataset of facial renders, and train the network on these data, so that it can accurately model and generalize on facial identity, pose and appearance. Finally, we show that this model can accurately be fit to "in-the-wild" facial images of arbitrary pose and illumination, extract the facial characteristics, and be used to re-render the face in controllable conditions.
• Abstract（参考訳）: Facial 3D Morphable Modelsは、数え切れないほどのアプリケーションを持つ主要なコンピュータビジョンであり、過去20年間に高度に最適化されてきた。 深層生成ネットワークの大幅な改善は、そのようなモデルを改善する様々な可能性を生み出し、広く関心を集めている。 さらに、近年のニューラルラディアンス分野の進歩は、既知のシーンの新規ビュー合成に革命をもたらしている。 本研究では,この2つの特徴を生かし,被験者の身元,ポーズ,表情を正確にモデル化し,任意の照明で表現できる顔の3D形態モデルを提案する。 これは、強力なディープスタイルベースのジェネレータを使用して、ニューラルネットワークの2つの主な弱点、剛性とレンダリング速度を克服する。 我々は、ニューラルネットワークの放射フィールドの必要なレンダリングサンプルのみを1パスで合成するスタイルベースの生成ネットワークを提案する。 私たちは、顔のレンダリングの膨大なラベル付き合成データセットを作成し、これらのデータでネットワークをトレーニングすることで、顔のアイデンティティ、ポーズ、外観を正確にモデル化し、一般化します。 最後に,このモデルが任意のポーズや照明の「野生の」顔画像に正確に適合し,顔の特徴を抽出し,制御可能な条件下で顔の再現に使用できることを示す。

関連論文リスト

• Cafca: High-quality Novel View Synthesis of Expressive Faces from Casual Few-shot Captures [33.463245327698]
  人間の顔に先立って,高忠実度表現型顔のモデリングが可能な新しい容積を提示する。 我々は3D Morphable Face Modelを活用して大規模なトレーニングセットを合成し、それぞれのアイデンティティを異なる表現でレンダリングする。 次に、この合成データセットに先立って条件付きニューラルレージアンスフィールドをトレーニングし、推論時に、モデルを1つの被験者の非常にスパースな実画像のセットで微調整する。
  論文  参考訳（メタデータ） (2024-10-01T12:24:50Z)
• FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
  拡散型3次元顔アバター生成モデルFitDiffを提案する。 本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。 FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
  論文  参考訳（メタデータ） (2023-12-07T17:35:49Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural Radiance Field [81.07651217942679]
  トーキングヘッド生成は、ソース画像の識別情報を保持し、駆動画像の動作を模倣する顔を生成することを目的としている。 我々は高忠実かつ自由視点の対話ヘッド合成を実現するHiDe-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-11T09:47:35Z)
• Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
  3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。 本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-30T13:40:48Z)
• ImFace: A Nonlinear 3D Morphable Face Model with Implicit Neural Representations [21.389170615787368]
  本稿では,暗黙のニューラル表現を持つ非線形かつ連続的な空間を学習するために,新しい3次元顔モデルImFaceを提案する。 2つの明示的に非交叉な変形場を構築し、それぞれアイデンティティと表現に関連する複雑な形状をモデル化し、表現の埋め込みを拡張するための改良された学習戦略を設計する。 ImFaceに加えて、暗黙の表現における水密入力要求の問題に対処するために、効果的な前処理パイプラインが提案されている。
  論文  参考訳（メタデータ） (2022-03-28T05:37:59Z)
• MoFaNeRF: Morphable Facial Neural Radiance Field [12.443638713719357]
  MoFaNeRFは、自由視点画像をベクトル空間で符号化された顔の形、表情、外観にマッピングするパラメトリックモデルである。 識別特異的変調とエンコーダテクスチャを導入することにより、正確な測光の詳細を合成する。 本モデルでは,画像ベースのフィッティング,ランダム生成,顔リギング,顔編集,新しいビューなど,複数のアプリケーションに強い能力を示す。
  論文  参考訳（メタデータ） (2021-12-04T11:25:28Z)
• Normalized Avatar Synthesis Using StyleGAN and Perceptual Refinement [11.422683083130577]
  我々は,1枚の制約のない写真から人物の正規化された3Dアバターをデジタル化する,非常に堅牢なGANベースのフレームワークを提案する。 入力画像は笑顔でもよいし、極端な照明条件で撮影することもできるが、この方法は人の顔の質の高いテクスチャモデルを確実に作成することができる。
  論文  参考訳（メタデータ） (2021-06-21T21:57:16Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。