論文の概要: Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations

• arxiv url: http://arxiv.org/abs/2303.14707v1
• Date: Sun, 26 Mar 2023 12:24:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 18:01:10.732823
• Title: Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations
• Title（参考訳）: クリーンネRF:視野依存性観測を考慮したNeRFの改質
• Authors: Xinhang Liu, Yu-Wing Tai, Chi-Keung Tang
• Abstract要約: 本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
• 参考スコア（独自算出の注目度）: 67.54358911994967
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While Neural Radiance Fields (NeRFs) had achieved unprecedented novel view synthesis results, they have been struggling in dealing with large-scale cluttered scenes with sparse input views and highly view-dependent appearances. Specifically, existing NeRF-based models tend to produce blurry rendering with the volumetric reconstruction often inaccurate, where a lot of reconstruction errors are observed in the form of foggy "floaters" hovering within the entire volume of an opaque 3D scene. Such inaccuracies impede NeRF's potential for accurate 3D NeRF registration, object detection, segmentation, etc., which possibly accounts for only limited significant research effort so far to directly address these important 3D fundamental computer vision problems to date. This paper analyzes the NeRF's struggles in such settings and proposes Clean-NeRF for accurate 3D reconstruction and novel view rendering in complex scenes. Our key insights consist of enforcing effective appearance and geometry constraints, which are absent in the conventional NeRF reconstruction, by 1) automatically detecting and modeling view-dependent appearances in the training views to prevent them from interfering with density estimation, which is complete with 2) a geometric correction procedure performed on each traced ray during inference. Clean-NeRF can be implemented as a plug-in that can immediately benefit existing NeRF-based methods without additional input. Codes will be released.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、前例のない新しいビュー合成結果を達成したが、スパース・インプット・ビューと高ビュー依存の外観を持つ大規模乱雑なシーンの処理に苦慮している。 特に、既存のnerfベースのモデルは、不透明な3dシーンの全ボリューム内をホバリングする霧のような"floaters"という形で多くの再構成エラーが観察される、ボリュームリコンストラクションによるぼやけたレンダリングをしばしば不正確なものにする傾向がある。 このような不正確さは、nerfが正確な3d nerf登録、オブジェクト検出、セグメンテーションなどを行う可能性を妨げるものであり、これらの重要な3d基本的なコンピュータビジョン問題に直接対処するための重要な研究努力は、おそらく限られている。 本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 我々の重要な洞察は、従来のNeRF再建に欠如している有効外観と幾何学的制約を強制することである。 1) トレーニングビューにおけるビュー依存的外観の自動検出とモデル化による密度推定の干渉を防止すること。 2) 推定中に各トレース線に対して行われた幾何補正手順。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用できる。 コードはリリースされる。

関連論文リスト

• Enhance-NeRF: Multiple Performance Evaluation for Neural Radiance Fields [2.5432277893532116]
  ニューラル・ラジアンス・フィールド(NeRF)は任意の視点からリアルな画像を生成することができる。 NeRFベースのモデルは、色付きの"fog"ノイズによって引き起こされる干渉問題の影響を受けやすい。 当社のアプローチはEnhance-NeRFと呼ばれ、低反射率と高反射率のオブジェクトの表示のバランスをとるためにジョイントカラーを採用している。
  論文  参考訳（メタデータ） (2023-06-08T15:49:30Z)
• DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction using Neural Radiance Fields [56.30120727729177]
  DehazeNeRFは,湿潤な環境下で頑健に動作するフレームワークとして紹介する。 提案手法は,複数視点のヘイズ除去,新しいビュー合成,既存手法が失敗する3次元形状再構成を成功させるものである。
  論文  参考訳（メタデータ） (2023-03-20T18:03:32Z)
• Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
  入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。 各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。 これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
  論文  参考訳（メタデータ） (2023-03-10T08:22:36Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。