論文の概要: Towards a Robust Framework for NeRF Evaluation

• arxiv url: http://arxiv.org/abs/2305.18079v1
• Date: Mon, 29 May 2023 13:30:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 15:01:27.930400
• Title: Towards a Robust Framework for NeRF Evaluation
• Title（参考訳）: NeRF評価のためのロバストフレームワークを目指して
• Authors: Adrian Azzarelli, Nantheera Anantrasirichai, David R Bull
• Abstract要約: ニューラルレージアンスフィールド(NeRF)パイプラインからニューラルレンダリングネットワークを分離する新しいテストフレームワークを提案する。 次に, 明示的放射場表現に基づくNeRFの訓練と評価を行い, パラメトリック評価を行う。 我々のアプローチは、NeRF法の比較客観的評価フレームワークを作成する可能性を提供します。
• 参考スコア（独自算出の注目度）: 11.348562090906576
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Neural Radiance Field (NeRF) research has attracted significant attention recently, with 3D modelling, virtual/augmented reality, and visual effects driving its application. While current NeRF implementations can produce high quality visual results, there is a conspicuous lack of reliable methods for evaluating them. Conventional image quality assessment methods and analytical metrics (e.g. PSNR, SSIM, LPIPS etc.) only provide approximate indicators of performance since they generalise the ability of the entire NeRF pipeline. Hence, in this paper, we propose a new test framework which isolates the neural rendering network from the NeRF pipeline and then performs a parametric evaluation by training and evaluating the NeRF on an explicit radiance field representation. We also introduce a configurable approach for generating representations specifically for evaluation purposes. This employs ray-casting to transform mesh models into explicit NeRF samples, as well as to "shade" these representations. Combining these two approaches, we demonstrate how different "tasks" (scenes with different visual effects or learning strategies) and types of networks (NeRFs and depth-wise implicit neural representations (INRs)) can be evaluated within this framework. Additionally, we propose a novel metric to measure task complexity of the framework which accounts for the visual parameters and the distribution of the spatial data. Our approach offers the potential to create a comparative objective evaluation framework for NeRF methods.
• Abstract（参考訳）: neural radiance field (nerf)の研究は、3dモデリング、バーチャル/拡張現実、視覚効果など、近年注目を集めている。 現在のNeRF実装では、高品質な視覚的結果が得られるが、それらを評価するための信頼性の高い方法が特に欠けている。 従来の画像品質評価手法と分析指標(PSNR、SSIM、LPIPSなど)は、NeRFパイプライン全体の能力を一般化するため、性能の近似指標を提供するだけである。 そこで本稿では,ニューラルレンダリングネットワークをNeRFパイプラインから分離した上で,明示的な放射場表現に基づいてNeRFをトレーニングし,評価することで,パラメトリック評価を行う新しいテストフレームワークを提案する。 また,評価目的に特有な表現を生成するための構成可能なアプローチも導入する。 これは、メッシュモデルを明示的なNeRFサンプルに変換するためにレイキャストを使用し、これらの表現を"シェード"する。 これら2つのアプローチを組み合わせることで、このフレームワーク内で異なる「タスク」(視覚効果や学習戦略の異なるシーン)と種類のネットワーク(nerfs and depth-wise implicit neural representations (inrs))をどのように評価できるかを実証する。 さらに,視覚的パラメータと空間データの分布を考慮に入れたフレームワークのタスク複雑性を測定するための新しい指標を提案する。 我々のアプローチは、NeRF法の比較客観的評価フレームワークを作成する可能性を提供します。

関連論文リスト

• OPONeRF: One-Point-One NeRF for Robust Neural Rendering [70.56874833759241]
  そこで我々は,ロバストなシーンレンダリングのためのOne-Point-One NeRF (OPONeRF) フレームワークを提案する。 物体の動き、光の変化、データ汚染といった小さなが予測不可能な摂動は、現実の3Dシーンに広く存在している。 実験の結果,OPONeRFは各種評価指標において最先端のNeRFよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-30T07:49:30Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands [51.305421495638434]
  ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。 本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T00:42:06Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• Analyzing the Internals of Neural Radiance Fields [4.681790910494339]
  粗大なサンプリングに使用される大規模で訓練されたReLU-MLPを解析する。 中間活性化を重み推定に変換することで、これらの大きなミニマ活性化をいかに加速できるかを示す。
  論文  参考訳（メタデータ） (2023-06-01T14:06:48Z)
• Mask-Based Modeling for Neural Radiance Fields [20.728248301818912]
  本研究では,マスクベースモデリングにより3次元暗黙表現学習を大幅に改善できることを明らかにする。 MRVM-NeRFは,各光線に沿った部分的マスキング特徴から,シーンの完全な表現を予測するための自己教師付き事前学習対象である。 この事前学習目標により、MRVM-NeRFは、幾何学的先行として異なる点とビュー間の相関をよりよく利用することができる。
  論文  参考訳（メタデータ） (2023-04-11T04:12:31Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。