論文の概要: GARF:Geometry-Aware Generalized Neural Radiance Field

• arxiv url: http://arxiv.org/abs/2212.02280v2
• Date: Wed, 7 Dec 2022 07:52:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 15:56:40.278862
• Title: GARF:Geometry-Aware Generalized Neural Radiance Field
• Title（参考訳）: GARF:Geometry-Aware Generalized Neural Radiance Field
• Authors: Yue Shi, Dingyi Rong, Bingbing Ni, Chang Chen, Wenjun Zhang
• Abstract要約: 本稿では,GADS(Geometry-Aware Generalized Neural Radiance Field)戦略を用いたGARF(Geometry-Aware Generalized Neural Radiance Field)を提案する。 筆者らのフレームワークは,画素スケールと幾何学スケールの両方において,わずかに入力画像で見えないシーンを推測する。 屋内および屋外のデータセットの実験では、GARFはレンダリング品質と3次元幾何推定を改善しながら、サンプルを25%以上削減している。
• 参考スコア（独自算出の注目度）: 47.76524984421343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Field (NeRF) has revolutionized free viewpoint rendering tasks and achieved impressive results. However, the efficiency and accuracy problems hinder its wide applications. To address these issues, we propose Geometry-Aware Generalized Neural Radiance Field (GARF) with a geometry-aware dynamic sampling (GADS) strategy to perform real-time novel view rendering and unsupervised depth estimation on unseen scenes without per-scene optimization. Distinct from most existing generalized NeRFs, our framework infers the unseen scenes on both pixel-scale and geometry-scale with only a few input images. More specifically, our method learns common attributes of novel-view synthesis by an encoder-decoder structure and a point-level learnable multi-view feature fusion module which helps avoid occlusion. To preserve scene characteristics in the generalized model, we introduce an unsupervised depth estimation module to derive the coarse geometry, narrow down the ray sampling interval to proximity space of the estimated surface and sample in expectation maximum position, constituting Geometry-Aware Dynamic Sampling strategy (GADS). Moreover, we introduce a Multi-level Semantic Consistency loss (MSC) to assist more informative representation learning. Extensive experiments on indoor and outdoor datasets show that comparing with state-of-the-art generalized NeRF methods, GARF reduces samples by more than 25\%, while improving rendering quality and 3D geometry estimation.
• Abstract（参考訳）: Neural Radiance Field (NeRF)は、自由視点レンダリングタスクに革命をもたらし、印象的な結果を得た。 しかし、効率と精度の問題は幅広い応用を妨げている。 そこで,これらの問題に対処するために,gemetry-aware dynamic sampling (gads) 戦略を用いた幾何認識型一般化ニューラルネットワーク放射場 (garf) を提案する。 既存の一般的なnerfとは異なり、我々のフレームワークはほんの数枚の入力画像でピクセルスケールと幾何スケールの両方で目に見えないシーンを推測する。 より具体的には,エンコーダ・デコーダ構造とポイントレベルの学習可能なマルチビュー機能融合モジュールにより,新規ビュー合成の共通属性を学習する。 一般化モデルにおけるシーン特性の保存のために, 粗い形状を導出する教師なし深さ推定モジュールを導入し, 推定面の近接空間へのレイサンプリング間隔を狭くし, 期待最大位置においてサンプルを絞り, 幾何認識動的サンプリング戦略 (gads) を構成する。 さらに,より情報的な表現学習を支援するために,マルチレベルセマンティック一貫性損失(MSC)を導入する。 室内および屋外のデータセットに対する大規模な実験は、最先端の一般化されたNeRF法と比較すると、GARFは、レンダリング品質と3D幾何推定を改善しながら、サンプルを25%以上削減することを示している。

関連論文リスト

• Learning Robust Generalizable Radiance Field with Visibility and Feature Augmented Point Representation [7.203073346844801]
  本稿では、一般化可能なニューラル放射場(NeRF)のための新しいパラダイムを提案する。 本稿では、画像ベースレンダリングではなく、点ベースに基づく一般化可能なニューラルネットワークを構築するための第1のパラダイムを提案する。 我々のアプローチは、幾何的先行性によって鮮度を明示的にモデル化し、それらをニューラル特徴で拡張する。
  論文  参考訳（メタデータ） (2024-01-25T17:58:51Z)
• HG3-NeRF: Hierarchical Geometric, Semantic, and Photometric Guided Neural Radiance Fields for Sparse View Inputs [7.715395970689711]
  HG3-NeRF(Hierarchical Geometric, Semantic, and Photometric Guided NeRF)を紹介する。 HG3-NeRFは、幾何学、意味的内容、外見の制約に対処する新しい手法である。 実験により、HG3-NeRFは、異なる標準ベンチマークにおいて、他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-22T06:28:08Z)
• NeRF-VO: Real-Time Sparse Visual Odometry with Neural Radiance Fields [13.178099653374945]
  NeRF-VOは、低遅延カメラトラッキングとニューラルラディアンスシーン表現のための学習ベースのスパースビジュアルオドメトリーを統合している。 我々は、様々な合成および実世界のデータセットに対して、ポーズ推定精度、新しいビュー忠実度、および密度の高い再構成品質においてSOTA法を超越した。
  論文  参考訳（メタデータ） (2023-12-20T22:42:17Z)
• Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail [54.03399077258403]
  本稿では,高頻度幾何細部リカバリとアンチエイリアス化された新しいビューレンダリングのための効率的なニューラル表現であるLoD-NeuSを提案する。 我々の表現は、光線に沿った円錐状のフラストラム内の多面体化から空間特徴を集約する。
  論文  参考訳（メタデータ） (2023-09-19T05:44:00Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
  画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
  論文  参考訳（メタデータ） (2022-10-24T08:53:35Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis [52.546998369121354]
  シングルビューRGB画像からニューラル放射場を再構成する学習フレームワークPVSeRFを提案する。 本稿では,明示的な幾何学的推論を取り入れ,放射場予測のための画素アラインな特徴と組み合わせることを提案する。 このような幾何学的特徴の導入は、外観と幾何学の絡み合いを改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-10T07:39:47Z)
• Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural Human Rendering [139.159534903657]
  我々は、高忠実度自由視点人体詳細のための一般化可能で効率的なニューラルレーダランス・フィールド(NeRF)パイプラインを開発した。 自己閉塞性を改善するため,幾何誘導型多視点機能統合手法を考案した。 高いレンダリング効率を達成するため,幾何誘導型プログレッシブレンダリングパイプラインを導入する。
  論文  参考訳（メタデータ） (2021-12-08T14:42:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。