論文の概要: MA-NeRF: Motion-Assisted Neural Radiance Fields for Face Synthesis from Sparse Images

• arxiv url: http://arxiv.org/abs/2306.10350v2
• Date: Sat, 24 Jun 2023 13:14:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 20:05:44.949644
• Title: MA-NeRF: Motion-Assisted Neural Radiance Fields for Face Synthesis from Sparse Images
• Title（参考訳）: MA-NeRF:スパース画像からの顔合成のための運動支援神経放射場
• Authors: Weichen Zhang, Xiang Zhou, Yukang Cao, Wensen Feng, Chun Yuan
• Abstract要約: 本研究では,高忠実度乾燥可能な顔アバターを再構成し,目に見えない表情を処理できる新しいフレームワークを提案する。 実装の核となるのは、構造化変位特徴と意味認識学習モジュールです。 我々の手法は現在の最先端技術よりもはるかに優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 21.811067296567252
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We address the problem of photorealistic 3D face avatar synthesis from sparse images. Existing Parametric models for face avatar reconstruction struggle to generate details that originate from inputs. Meanwhile, although current NeRF-based avatar methods provide promising results for novel view synthesis, they fail to generalize well for unseen expressions. We improve from NeRF and propose a novel framework that, by leveraging the parametric 3DMM models, can reconstruct a high-fidelity drivable face avatar and successfully handle the unseen expressions. At the core of our implementation are structured displacement feature and semantic-aware learning module. Our structured displacement feature will introduce the motion prior as an additional constraints and help perform better for unseen expressions, by constructing displacement volume. Besides, the semantic-aware learning incorporates multi-level prior, e.g., semantic embedding, learnable latent code, to lift the performance to a higher level. Thorough experiments have been doen both quantitatively and qualitatively to demonstrate the design of our framework, and our method achieves much better results than the current state-of-the-arts.
• Abstract（参考訳）: スパース画像からの3次元顔アバター合成の課題に対処する。 顔のアバターの復元のための既存のパラメトリックモデルは、入力に由来する詳細を生成するのに苦労しています。 一方、現在のNeRFベースのアバター法は、新しいビュー合成に有望な結果をもたらすが、未知の表現に対してうまく一般化できない。 パラメトリックな3DMMモデルを利用して、高忠実度乾燥可能な顔アバターを再構成し、未知の表現をうまく処理できる新しいフレームワークを提案する。 実装の核となるのは、構造化変位特徴と意味認識学習モジュールです。 構造的変位特性は, 運動を付加的な制約として導入し, 変位量を構成することにより, 未知の表現に対してより良く機能する。 さらに、セマンティック・アウェア・ラーニングには、セマンティック・埋め込み、学習可能な潜在コードなど、複数のレベルの事前処理が組み込まれ、パフォーマンスをより高いレベルに引き上げる。 フレームワークの設計を定量的かつ定性的に実証するために、詳細な実験が行われており、我々の手法は現在の最先端技術よりもはるかに優れた結果が得られる。

関連論文リスト

• 3D Facial Expressions through Analysis-by-Neural-Synthesis [30.2749903946587]
  SMIRK(Spatial Modeling for Image-based Reconstruction of Kinesics)は、画像から表現力のある3次元顔を忠実に再構築する。 既存の手法では,自己指導型トレーニングの定式化における欠点と,訓練画像における表現の多様性の欠如の2つの重要な限界を識別する。 我々の質的,定量的,特に知覚的評価は、SMIRKが正確な表現再構成における新しい最先端技術を実現することを証明している。
  論文  参考訳（メタデータ） (2024-04-05T14:00:07Z)
• HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural Radiance Field [44.848368616444446]
  我々は,NeRFの表現性とパラメトリックテンプレートからの事前情報を統合する,新しいハイブリッド・明示的3次元表現,顔モデル条件付きニューラルラジアンス場を導入する。 画像から画像への変換ネットワークを用いた全体的なGANアーキテクチャを採用することにより,動的頭部外観の高分解能,現実的,かつ一貫した合成を実現する。
  論文  参考訳（メタデータ） (2023-09-29T10:45:22Z)
• One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural Radiance Field [81.07651217942679]
  トーキングヘッド生成は、ソース画像の識別情報を保持し、駆動画像の動作を模倣する顔を生成することを目的としている。 我々は高忠実かつ自由視点の対話ヘッド合成を実現するHiDe-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-11T09:47:35Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• FDNeRF: Few-shot Dynamic Neural Radiance Fields for Face Reconstruction and Expression Editing [27.014582934266492]
  本研究では,3次元顔の再構成と表現編集が可能な最初のNeRF方式であるFew-shot Dynamic Neural Radiance Field (FDNeRF)を提案する。 入力として高密度画像を必要とする既存の動的NeRFと異なり、単一のアイデンティティのためにのみモデル化できるため、少ないショット入力を持つ異なる人物間での顔再構成が可能となる。
  論文  参考訳（メタデータ） (2022-08-11T11:05:59Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。