論文の概要: EG-HumanNeRF: Efficient Generalizable Human NeRF Utilizing Human Prior for Sparse View

• arxiv url: http://arxiv.org/abs/2410.12242v1
• Date: Wed, 16 Oct 2024 05:08:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:41:16.810891
• Title: EG-HumanNeRF: Efficient Generalizable Human NeRF Utilizing Human Prior for Sparse View
• Title（参考訳）: EG-HumanNeRF: スパースビューにヒトを優先した効率的な一般化可能なヒトNeRF
• Authors: Zhaorong Wang, Yoshihiro Kanamori, Yuki Endo,
• Abstract要約: 一般化可能なニューラルレイディアンスフィールド(NeRF)は、シーンごとのトレーニングなしに、ニューラルネットワークによるデジタル人間のレンダリングを可能にする。 スパース・インプット・ビューを用いた高品質かつリアルタイムなレンダリングを実現する一般化可能なヒューマンNeRFフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 2.11923215233494
• License:
• Abstract: Generalizable neural radiance field (NeRF) enables neural-based digital human rendering without per-scene retraining. When combined with human prior knowledge, high-quality human rendering can be achieved even with sparse input views. However, the inference of these methods is still slow, as a large number of neural network queries on each ray are required to ensure the rendering quality. Moreover, occluded regions often suffer from artifacts, especially when the input views are sparse. To address these issues, we propose a generalizable human NeRF framework that achieves high-quality and real-time rendering with sparse input views by extensively leveraging human prior knowledge. We accelerate the rendering with a two-stage sampling reduction strategy: first constructing boundary meshes around the human geometry to reduce the number of ray samples for sampling guidance regression, and then volume rendering using fewer guided samples. To improve rendering quality, especially in occluded regions, we propose an occlusion-aware attention mechanism to extract occlusion information from the human priors, followed by an image space refinement network to improve rendering quality. Furthermore, for volume rendering, we adopt a signed ray distance function (SRDF) formulation, which allows us to propose an SRDF loss at every sample position to improve the rendering quality further. Our experiments demonstrate that our method outperforms the state-of-the-art methods in rendering quality and has a competitive rendering speed compared with speed-prioritized novel view synthesis methods.
• Abstract（参考訳）: 一般化可能なニューラルレイディアンスフィールド(NeRF)は、シーンごとのトレーニングなしに、ニューラルネットワークによるデジタル人間のレンダリングを可能にする。 人間の事前知識と組み合わせれば、少ない入力ビューでも高品質な人間のレンダリングが実現できる。 しかしながら、これらの手法の推論は、レンダリング品質を保証するために、各線上の多数のニューラルネットワーククエリを必要とするため、まだ遅い。 さらに、除外された領域は、特に入力ビューが疎い場合に、しばしばアーティファクトに悩まされる。 これらの課題に対処するために,人間の事前知識を広範囲に活用して,少ない入力ビューで高品質でリアルタイムなレンダリングを実現する,一般化可能なヒューマンNeRFフレームワークを提案する。 2段階のサンプリング削減戦略によりレンダリングを高速化し,まず人体形状を囲む境界メッシュを構築し,サンプリング誘導回帰のためのレイサンプル数を削減し,より少ないガイドサンプルを用いたボリュームレンダリングを行う。 特に閉鎖領域におけるレンダリング品質を改善するため,人間の先行者からオクルージョン情報を抽出するオクルージョン対応アテンション機構を提案し,次いで画像空間の精細化ネットワークを用いてレンダリング品質を向上させる。 さらに、ボリュームレンダリングでは、SRDF (Signed ray distance function) の定式化を採用し、各サンプル位置でのSRDF損失を提案し、レンダリング品質をさらに向上する。 実験により,本手法はレンダリング品質において最先端の手法よりも優れており,高速優先の新規ビュー合成法と比較して,競合的なレンダリング速度を有することが示された。

関連論文リスト

• RL-based Stateful Neural Adaptive Sampling and Denoising for Real-Time Path Tracing [1.534667887016089]
  モンテカルロ経路追跡は、現実的な画像合成の強力な手法であるが、低いサンプル数での高レベルのノイズに悩まされている。 本稿では,サンプリング重要度ネットワーク,遅延空間エンコーダネットワーク,デノイザネットワークをエンドツーエンドでトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-05T12:39:27Z)
• Volume Feature Rendering for Fast Neural Radiance Field Reconstruction [11.05302598034426]
  ニューラルレイディアンス場(NeRF)は、異なる位置と視点から撮影された多視点画像から現実的な新しいビューを合成することができる。 NeRFのレンダリングパイプラインでは、ニューラルネットワークはシーンを独立して表現したり、期待される色や密度のポイントのクエリ可能な特徴ベクトルを変換するために使用される。 提案手法では,まず,まず線の特徴ベクトルを描画し,次にニューラルネットワークにより最終画素色に変換する。
  論文  参考訳（メタデータ） (2023-05-29T06:58:27Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural Human Rendering [139.159534903657]
  我々は、高忠実度自由視点人体詳細のための一般化可能で効率的なニューラルレーダランス・フィールド(NeRF)パイプラインを開発した。 自己閉塞性を改善するため,幾何誘導型多視点機能統合手法を考案した。 高いレンダリング効率を達成するため,幾何誘導型プログレッシブレンダリングパイプラインを導入する。
  論文  参考訳（メタデータ） (2021-12-08T14:42:10Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo [97.07453889070574]
  本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。 提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-02T17:54:31Z)
• Few-shot Neural Human Performance Rendering from Sparse RGBD Videos [40.20382131461408]
  人間の活動に対する最近のニューラルレンダリングアプローチは、目覚ましいビューレンダリング結果を達成するが、それでもインプットビューの厳密なトレーニングに依存している。 本稿では、RGBD入力のみからFNHR(s fewshot Neural rendering approach)を提案し、光ビュー自由視点結果を生成する。
  論文  参考訳（メタデータ） (2021-07-14T06:28:16Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)
• Deep Unfolded Recovery of Sub-Nyquist Sampled Ultrasound Image [94.42139459221784]
  本稿では,ISTAアルゴリズムの展開に基づく時空間領域におけるサブNyquistサンプルからの再構成手法を提案する。 本手法は,高品質な撮像性能を確保しつつ,配列要素数,サンプリングレート,計算時間を削減できる。
  論文  参考訳（メタデータ） (2021-03-01T19:19:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。