論文の概要: Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural Human Rendering

• arxiv url: http://arxiv.org/abs/2112.04312v1
• Date: Wed, 8 Dec 2021 14:42:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 14:27:35.241121
• Title: Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural Human Rendering
• Title（参考訳）: 汎用的で効率的なニューラルヒューマンレンダリングのための幾何学誘導プログレッシブNeRF
• Authors: Mingfei Chen, Jianfeng Zhang, Xiangyu Xu, Lijuan Liu, Jiashi Feng, Shuicheng Yan
• Abstract要約: 我々は、高忠実度自由視点人体詳細のための一般化可能で効率的なニューラルレーダランス・フィールド(NeRF)パイプラインを開発した。 自己閉塞性を改善するため,幾何誘導型多視点機能統合手法を考案した。 高いレンダリング効率を達成するため,幾何誘導型プログレッシブレンダリングパイプラインを導入する。
• 参考スコア（独自算出の注目度）: 139.159534903657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we develop a generalizable and efficient Neural Radiance Field (NeRF) pipeline for high-fidelity free-viewpoint human body synthesis under settings with sparse camera views. Though existing NeRF-based methods can synthesize rather realistic details for human body, they tend to produce poor results when the input has self-occlusion, especially for unseen humans under sparse views. Moreover, these methods often require a large number of sampling points for rendering, which leads to low efficiency and limits their real-world applicability. To address these challenges, we propose a Geometry-guided Progressive NeRF~(GP-NeRF). In particular, to better tackle self-occlusion, we devise a geometry-guided multi-view feature integration approach that utilizes the estimated geometry prior to integrate the incomplete information from input views and construct a complete geometry volume for the target human body. Meanwhile, for achieving higher rendering efficiency, we introduce a geometry-guided progressive rendering pipeline, which leverages the geometric feature volume and the predicted density values to progressively reduce the number of sampling points and speed up the rendering process. Experiments on the ZJU-MoCap and THUman datasets show that our method outperforms the state-of-the-arts significantly across multiple generalization settings, while the time cost is reduced >70% via applying our efficient progressive rendering pipeline.
• Abstract（参考訳）: 本研究では,高忠実度自由視点人体合成のための汎用的で効率的なニューラル・ラジアンス・フィールド(nerf)パイプラインを開発した。 既存のnerfベースの手法は、人体のよりリアルな詳細を合成することができるが、入力が自己排他的である場合、特に目立たない視点下では、結果が低くなる傾向がある。 さらに、これらの手法はレンダリングに多くのサンプリングポイントを必要とすることが多いため、効率が低く、実際の適用性が制限される。 これらの課題に対処するために、幾何誘導型プログレッシブNeRF~(GP-NeRF)を提案する。 特に,入力ビューからの不完全な情報を統合する前に,推定幾何を利用する幾何学誘導多視点特徴統合手法を考案し,対象の人体に対して完全な幾何学ボリュームを構築する。 一方,高いレンダリング効率を実現するため,幾何学的特徴量と予測密度値を利用して,サンプリング点数を段階的に削減し,レンダリング処理を高速化する幾何誘導プログレッシブレンダリングパイプラインを導入する。 ZJU-MoCap と THUman のデータセットを用いた実験により,本手法は複数の一般化設定において,最先端の処理性能を著しく向上させる一方で,効率的なプログレッシブ・レンダリング・パイプラインを適用して,時間コストを70%以上削減することを示した。

関連論文リスト

• SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance [106.0057551634008]
  FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。 新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。 モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
  論文  参考訳（メタデータ） (2024-04-01T08:37:57Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering [3.8200916793910973]
  ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。 しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。 本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T08:34:49Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• GARF:Geometry-Aware Generalized Neural Radiance Field [47.76524984421343]
  本稿では,GADS(Geometry-Aware Generalized Neural Radiance Field)戦略を用いたGARF(Geometry-Aware Generalized Neural Radiance Field)を提案する。 筆者らのフレームワークは,画素スケールと幾何学スケールの両方において,わずかに入力画像で見えないシーンを推測する。 屋内および屋外のデータセットの実験では、GARFはレンダリング品質と3次元幾何推定を改善しながら、サンプルを25%以上削減している。
  論文  参考訳（メタデータ） (2022-12-05T14:00:59Z)
• NeuralFusion: Neural Volumetric Rendering under Human-object Interactions [46.70371238621842]
  本稿では,スパース・コンシューマRGBDセンサを用いたボリューム・オブジェクトのキャプチャとレンダリングのためのニューラル・アプローチを提案する。 幾何学的モデリングでは,非剛性鍵体積融合を用いたニューラル暗黙的推論方式を提案する。 また,空間的領域と時間的領域の両方において,ボリュームと画像に基づくレンダリングを組み合わせた階層的ヒューマンオブジェクトテクスチャレンダリング手法を提案する。
  論文  参考訳（メタデータ） (2022-02-25T17:10:07Z)
• Few-shot Neural Human Performance Rendering from Sparse RGBD Videos [40.20382131461408]
  人間の活動に対する最近のニューラルレンダリングアプローチは、目覚ましいビューレンダリング結果を達成するが、それでもインプットビューの厳密なトレーニングに依存している。 本稿では、RGBD入力のみからFNHR(s fewshot Neural rendering approach)を提案し、光ビュー自由視点結果を生成する。
  論文  参考訳（メタデータ） (2021-07-14T06:28:16Z)
• Function4D: Real-time Human Volumetric Capture from Very Sparse Consumer RGBD Sensors [67.88097893304274]
  時間的融合と深い暗黙機能を組み合わせた人間の体積捕獲法を提案する。 トポロジーの整合性とともに深度観測を融合する動的スライディングを提案する。
  論文  参考訳（メタデータ） (2021-05-05T04:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。