論文の概要: HeadNeRF: A Real-time NeRF-based Parametric Head Model

• arxiv url: http://arxiv.org/abs/2112.05637v2
• Date: Mon, 13 Dec 2021 03:05:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 11:29:07.085433
• Title: HeadNeRF: A Real-time NeRF-based Parametric Head Model
• Title（参考訳）: HeadNeRF:リアルタイムNeRFを用いたパラメトリックヘッドモデル
• Authors: Yang Hong, Bo Peng, Haiyao Xiao, Ligang Liu, Juyong Zhang
• Abstract要約: HeadNeRFは、神経放射場と人間の頭部のパラメトリック表現を統合する、新しいNeRFベースのパラメトリックヘッドモデルである。 高忠実度ヘッドイメージをリアルタイムでレンダリングでき、生成した画像のレンダリングポーズとさまざまなセマンティック属性を直接制御できる。
• 参考スコア（独自算出の注目度）: 39.240265611700735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose HeadNeRF, a novel NeRF-based parametric head model that integrates the neural radiance field to the parametric representation of the human head. It can render high fidelity head images in real-time, and supports directly controlling the generated images' rendering pose and various semantic attributes. Different from existing related parametric models, we use the neural radiance fields as a novel 3D proxy instead of the traditional 3D textured mesh, which makes that HeadNeRF is able to generate high fidelity images. However, the computationally expensive rendering process of the original NeRF hinders the construction of the parametric NeRF model. To address this issue, we adopt the strategy of integrating 2D neural rendering to the rendering process of NeRF and design novel loss terms. As a result, the rendering speed of HeadNeRF can be significantly accelerated, and the rendering time of one frame is reduced from 5s to 25ms. The novel-designed loss terms also improve the rendering accuracy, and the fine-level details of the human head, such as the gaps between teeth, wrinkles, and beards, can be represented and synthesized by HeadNeRF. Extensive experimental results and several applications demonstrate its effectiveness. We will release the code and trained model to the public.
• Abstract（参考訳）: 本稿では,人間の頭部のパラメトリック表現に神経放射場を統合する新しいNeRFを用いたパラメトリックヘッドモデルであるHeadNeRFを提案する。 高忠実度ヘッドイメージをリアルタイムでレンダリングでき、生成した画像のレンダリングポーズとさまざまなセマンティック属性を直接制御できる。 既存のパラメトリックモデルと異なり、従来の3Dテクスチャメッシュの代わりにニューラルレージアンスフィールドを新しい3Dプロキシとして使用することで、HeadNeRFは高忠実度画像を生成することができる。 しかし、原型NeRFの計算コストのかかるレンダリングプロセスは、パラメトリックNeRFモデルの構築を妨げる。 この問題に対処するために,2次元ニューラルレンダリングをnerfのレンダリングプロセスに統合し,新たな損失項を設計する手法を採用する。 その結果、HeadNeRFのレンダリング速度が大幅に向上し、1フレームのレンダリング時間が5sから25msに短縮される。 新規に設計された損失項はレンダリング精度も向上し、歯、しわ、あごひげの隙間などの人間の頭部の細部の詳細をヘッドナーフによって表現・合成することができる。 広範な実験結果といくつかの応用が有効性を示している。 コードとトレーニングされたモデルを一般公開します。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• PyNeRF: Pyramidal Neural Radiance Fields [51.25406129834537]
  本研究では,異なる空間グリッド解像度でモデルヘッドを訓練することにより,グリッドモデルへの簡単な修正を提案する。 レンダリング時には、単に粗いグリッドを使用して、より大きなボリュームをカバーするサンプルをレンダリングします。 Mip-NeRFと比較して、60倍高速なトレーニングをしながらエラー率を20%削減する。
  論文  参考訳（メタデータ） (2023-11-30T23:52:46Z)
• SurfelNeRF: Neural Surfel Radiance Fields for Online Photorealistic Reconstruction of Indoor Scenes [17.711755550841385]
  SLAMに基づく手法は、3Dシーンの形状をリアルタイムで段階的に再構成することができるが、フォトリアリスティックな結果を描画することはできない。 NeRFベースの手法は、将来有望な新しいビュー合成結果を生成し、その長いオフライン最適化時間と幾何的制約の欠如は、オンライン入力を効率的に処理する上での課題となる。 本稿では、フレキシブルでスケーラブルなニューラルサーベイル表現を用いて、入力画像から幾何学的属性と外観特徴を抽出するSurfelNeRFを紹介する。
  論文  参考訳（メタデータ） (2023-04-18T13:11:49Z)
• NeRFlame: FLAME-based conditioning of NeRF for 3D face rendering [10.991274404360194]
  本稿では,NeRF法とFLAME法の両方の長所を組み合わせた新しい手法NeRFlameを提案する。 提案手法では,FLAMEメッシュを異なる密度の体積として利用し,FLAMEメッシュ近傍にのみ色値が存在する。 このFLAMEフレームワークは,RGB色を予測するためのNeRFアーキテクチャにシームレスに組み込まれ,ボリューム密度を明示的に表現し,RGB色を暗黙的にキャプチャする。
  論文  参考訳（メタデータ） (2023-03-10T22:21:30Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• FastNeRF: High-Fidelity Neural Rendering at 200FPS [17.722927021159393]
  我々は,ハイエンドGPU上で200Hzの高忠実度画像をレンダリングするシステムであるFastNeRFを提案する。 提案手法は、元のNeRFアルゴリズムよりも3000倍高速で、NeRFを加速する既存の作業よりも少なくとも1桁高速である。
  論文  参考訳（メタデータ） (2021-03-18T17:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。