論文の概要: DARF: Depth-Aware Generalizable Neural Radiance Field

• arxiv url: http://arxiv.org/abs/2212.02280v3
• Date: Sat, 15 Feb 2025 12:05:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:04:47.150226
• Title: DARF: Depth-Aware Generalizable Neural Radiance Field
• Title（参考訳）: DARF:Depth-Aware Generalizable Neural Radiance Field
• Authors: Yue Shi, Dingyi Rong, Chang Chen, Chaofan Ma, Bingbing Ni, Wenjun Zhang,
• Abstract要約: 本稿では,Depth-Aware Dynamic Smpling(DADS)戦略を用いたDARF(Depth-Aware Generalizable Neural Radiance Field)を提案する。 筆者らのフレームワークは,数枚の入力画像で,画素レベルと幾何学レベルの両方の見えないシーンを推測する。 DARFは、最先端の一般化可能なNeRF法と比較して、レンダリング品質と深さ推定を改善しつつ、サンプルを50%削減する。
• 参考スコア（独自算出の注目度）: 51.29437249009986
• License:
• Abstract: Neural Radiance Field (NeRF) has revolutionized novel-view rendering tasks and achieved impressive results. However, the inefficient sampling and per-scene optimization hinder its wide applications. Though some generalizable NeRFs have been proposed, the rendering quality is unsatisfactory due to the lack of geometry and scene uniqueness. To address these issues, we propose the Depth-Aware Generalizable Neural Radiance Field (DARF) with a Depth-Aware Dynamic Sampling (DADS) strategy to perform efficient novel view rendering and unsupervised depth estimation on unseen scenes without per-scene optimization. Distinct from most existing generalizable NeRFs, our framework infers the unseen scenes on both pixel level and geometry level with only a few input images. By introducing a pre-trained depth estimation module to derive the depth prior, narrowing down the ray sampling interval to the proximity space of the estimated surface, and sampling in expectation maximum position, we preserve scene characteristics while learning common attributes for novel-view synthesis. Moreover, we introduce a Multi-level Semantic Consistency loss (MSC) to assist with more informative representation learning. Extensive experiments on indoor and outdoor datasets show that compared with state-of-the-art generalizable NeRF methods, DARF reduces samples by 50%, while improving rendering quality and depth estimation. Our code is available on https://github.com/shiyue001/GARF.git.
• Abstract（参考訳）: Neural Radiance Field (NeRF)は、新しいビューレンダリングタスクに革命をもたらし、印象的な結果を得た。 しかし、非効率なサンプリングとシーンごとの最適化は広い応用を妨げる。 一般化可能なNeRFはいくつか提案されているが、幾何やシーンのユニークさが欠如しているため、レンダリング品質は不満足である。 これらの問題に対処するため,Depth-Aware Generalizable Neural Radiance Field (DARF) をDepth-Aware Dynamic Smpling (DADS) 戦略で提案する。 既存のほとんどの一般化可能なNeRFとは違い、我々のフレームワークは数枚の入力画像でピクセルレベルと幾何学レベルの両方で見えないシーンを推測する。 事前学習した深度推定モジュールを導入し、推定表面の近接空間にレイサンプリング間隔を狭め、予測最大位置をサンプリングすることにより、新規ビュー合成のための共通属性を学習しながらシーン特性を保存できる。 さらに,より情報的な表現学習を支援するために,マルチレベルセマンティック一貫性損失(MSC)を導入する。 室内および屋外のデータセットに対する大規模な実験は、最先端の一般化可能なNeRF法と比較して、DARFは、レンダリング品質と深度推定を改善しながら、サンプルを50%削減することを示している。 私たちのコードはhttps://github.com/shiyue001/GARF.gitで利用可能です。

関連論文リスト

• Learning Robust Generalizable Radiance Field with Visibility and Feature Augmented Point Representation [7.203073346844801]
  本稿では、一般化可能なニューラル放射場(NeRF)のための新しいパラダイムを提案する。 本稿では、画像ベースレンダリングではなく、点ベースに基づく一般化可能なニューラルネットワークを構築するための第1のパラダイムを提案する。 我々のアプローチは、幾何的先行性によって鮮度を明示的にモデル化し、それらをニューラル特徴で拡張する。
  論文  参考訳（メタデータ） (2024-01-25T17:58:51Z)
• HG3-NeRF: Hierarchical Geometric, Semantic, and Photometric Guided Neural Radiance Fields for Sparse View Inputs [7.715395970689711]
  HG3-NeRF(Hierarchical Geometric, Semantic, and Photometric Guided NeRF)を紹介する。 HG3-NeRFは、幾何学、意味的内容、外見の制約に対処する新しい手法である。 実験により、HG3-NeRFは、異なる標準ベンチマークにおいて、他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-22T06:28:08Z)
• NeRF-VO: Real-Time Sparse Visual Odometry with Neural Radiance Fields [13.178099653374945]
  NeRF-VOは、低遅延カメラトラッキングとニューラルラディアンスシーン表現のための学習ベースのスパースビジュアルオドメトリーを統合している。 我々は、様々な合成および実世界のデータセットに対して、ポーズ推定精度、新しいビュー忠実度、および密度の高い再構成品質においてSOTA法を超越した。
  論文  参考訳（メタデータ） (2023-12-20T22:42:17Z)
• Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail [54.03399077258403]
  本稿では,高頻度幾何細部リカバリとアンチエイリアス化された新しいビューレンダリングのための効率的なニューラル表現であるLoD-NeuSを提案する。 我々の表現は、光線に沿った円錐状のフラストラム内の多面体化から空間特徴を集約する。
  論文  参考訳（メタデータ） (2023-09-19T05:44:00Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
  画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
  論文  参考訳（メタデータ） (2022-10-24T08:53:35Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis [52.546998369121354]
  シングルビューRGB画像からニューラル放射場を再構成する学習フレームワークPVSeRFを提案する。 本稿では,明示的な幾何学的推論を取り入れ,放射場予測のための画素アラインな特徴と組み合わせることを提案する。 このような幾何学的特徴の導入は、外観と幾何学の絡み合いを改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-10T07:39:47Z)
• Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural Human Rendering [139.159534903657]
  我々は、高忠実度自由視点人体詳細のための一般化可能で効率的なニューラルレーダランス・フィールド(NeRF)パイプラインを開発した。 自己閉塞性を改善するため,幾何誘導型多視点機能統合手法を考案した。 高いレンダリング効率を達成するため,幾何誘導型プログレッシブレンダリングパイプラインを導入する。
  論文  参考訳（メタデータ） (2021-12-08T14:42:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。