論文の概要: Novel View Synthesis for High-fidelity Headshot Scenes

• arxiv url: http://arxiv.org/abs/2205.15595v1
• Date: Tue, 31 May 2022 08:14:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 14:16:35.418282
• Title: Novel View Synthesis for High-fidelity Headshot Scenes
• Title（参考訳）: 高精細度ヘッドショットシーンのための新しいビュー合成
• Authors: Satoshi Tsutsui, Weijia Mao, Sijing Lin, Yunyi Zhu, Murong Ma, Mike Zheng Shou
• Abstract要約: 我々はNeRFが幾何的整合性を維持しながら新しいビューを描画できることを発見したが、モルや毛穴などの皮膚の詳細を適切に保持していない。 本研究では,NeRFと3DMMを併用して,顔を持つシーンの高忠実な新規ビューを合成する手法を提案する。
• 参考スコア（独自算出の注目度）: 5.33510552066148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rendering scenes with a high-quality human face from arbitrary viewpoints is a practical and useful technique for many real-world applications. Recently, Neural Radiance Fields (NeRF), a rendering technique that uses neural networks to approximate classical ray tracing, have been considered as one of the promising approaches for synthesizing novel views from a sparse set of images. We find that NeRF can render new views while maintaining geometric consistency, but it does not properly maintain skin details, such as moles and pores. These details are important particularly for faces because when we look at an image of a face, we are much more sensitive to details than when we look at other objects. On the other hand, 3D Morpable Models (3DMMs) based on traditional meshes and textures can perform well in terms of skin detail despite that it has less precise geometry and cannot cover the head and the entire scene with background. Based on these observations, we propose a method to use both NeRF and 3DMM to synthesize a high-fidelity novel view of a scene with a face. Our method learns a Generative Adversarial Network (GAN) to mix a NeRF-synthesized image and a 3DMM-rendered image and produces a photorealistic scene with a face preserving the skin details. Experiments with various real-world scenes demonstrate the effectiveness of our approach. The code will be available on https://github.com/showlab/headshot .
• Abstract（参考訳）: 任意の視点から高品質な人間の顔をレンダリングすることは、現実の多くのアプリケーションにとって実用的で有用な手法である。 近年,ニューラルネットワークを用いて古典的レイトレーシングを近似するレンダリング手法であるneural radiance fields(nerf)が,画像群から新たなビューを合成するための有望なアプローチの一つであると考えられている。 我々はNeRFが幾何的整合性を維持しながら新しいビューを描画できることを発見したが、モルや毛穴などの皮膚の詳細を適切に保持していない。 これらの詳細は特に顔にとって重要である。なぜなら、顔の画像を見るとき、私たちは他の物体を見るときよりも細部に敏感だからだ。 一方、従来のメッシュやテクスチャをベースとした3次元モーパブルモデル(3DMM)は、正確な形状が低く、頭部とシーン全体を背景で覆うことができないにもかかわらず、皮膚の細部において良好に機能する。 そこで本研究では,NeRFと3DMMを併用して,顔を持つシーンの高忠実な新規ビューを合成する手法を提案する。 提案手法は,NRF合成画像と3DMMレンダリング画像とを混合するGAN(Generative Adversarial Network)を学習し,皮膚の細部を保存した顔の写実的シーンを生成する。 実世界の様々なシーンによる実験は、我々のアプローチの有効性を実証している。 コードはhttps://github.com/showlab/headshotで入手できる。

関連論文リスト

• Cafca: High-quality Novel View Synthesis of Expressive Faces from Casual Few-shot Captures [33.463245327698]
  人間の顔に先立って,高忠実度表現型顔のモデリングが可能な新しい容積を提示する。 我々は3D Morphable Face Modelを活用して大規模なトレーニングセットを合成し、それぞれのアイデンティティを異なる表現でレンダリングする。 次に、この合成データセットに先立って条件付きニューラルレージアンスフィールドをトレーニングし、推論時に、モデルを1つの被験者の非常にスパースな実画像のセットで微調整する。
  論文  参考訳（メタデータ） (2024-10-01T12:24:50Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis [90.43371339871105]
  音声音声音声合成のための動的顔放射場(DFRF)を提案する。 DFRF条件は2次元外観画像上の放射界を呈示し、先行した顔の学習を行う。 実験により、DFRFは40kの反復しか持たない新しいアイデンティティのために、自然で高品質な音声駆動音声ヘッドビデオを合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-24T16:46:03Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• MoFaNeRF: Morphable Facial Neural Radiance Field [12.443638713719357]
  MoFaNeRFは、自由視点画像をベクトル空間で符号化された顔の形、表情、外観にマッピングするパラメトリックモデルである。 識別特異的変調とエンコーダテクスチャを導入することにより、正確な測光の詳細を合成する。 本モデルでは,画像ベースのフィッティング,ランダム生成,顔リギング,顔編集,新しいビューなど,複数のアプリケーションに強い能力を示す。
  論文  参考訳（メタデータ） (2021-12-04T11:25:28Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。