論文の概要: Learning Robust Generalizable Radiance Field with Visibility and Feature Augmented Point Representation

• arxiv url: http://arxiv.org/abs/2401.14354v1
• Date: Thu, 25 Jan 2024 17:58:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 13:44:03.732811
• Title: Learning Robust Generalizable Radiance Field with Visibility and Feature Augmented Point Representation
• Title（参考訳）: 可視性と特徴拡張点表現を用いたロバスト一般化可能放射場学習
• Authors: Jiaxu Wang, Ziyi Zhang, Renjing Xu
• Abstract要約: 本稿では、一般化可能なニューラル放射場(NeRF)のための新しいパラダイムを提案する。 本稿では、画像ベースレンダリングではなく、点ベースに基づく一般化可能なニューラルネットワークを構築するための第1のパラダイムを提案する。 我々のアプローチは、幾何的先行性によって鮮度を明示的にモデル化し、それらをニューラル特徴で拡張する。
• 参考スコア（独自算出の注目度）: 7.203073346844801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel paradigm for the generalizable neural radiance field (NeRF). Previous generic NeRF methods combine multiview stereo techniques with image-based neural rendering for generalization, yielding impressive results, while suffering from three issues. First, occlusions often result in inconsistent feature matching. Then, they deliver distortions and artifacts in geometric discontinuities and locally sharp shapes due to their individual process of sampled points and rough feature aggregation. Third, their image-based representations experience severe degradations when source views are not near enough to the target view. To address challenges, we propose the first paradigm that constructs the generalizable neural field based on point-based rather than image-based rendering, which we call the Generalizable neural Point Field (GPF). Our approach explicitly models visibilities by geometric priors and augments them with neural features. We propose a novel nonuniform log sampling strategy to improve both rendering speed and reconstruction quality. Moreover, we present a learnable kernel spatially augmented with features for feature aggregations, mitigating distortions at places with drastically varying geometries. Besides, our representation can be easily manipulated. Experiments show that our model can deliver better geometries, view consistencies, and rendering quality than all counterparts and benchmarks on three datasets in both generalization and finetuning settings, preliminarily proving the potential of the new paradigm for generalizable NeRF.
• Abstract（参考訳）: 本稿では、一般化可能なニューラル放射場(NeRF)のための新しいパラダイムを提案する。 従来の一般的なNeRF法は、画像ベースのニューラルネットワークレンダリングと多視点ステレオ技術を組み合わせて一般化し、3つの問題に悩まされている。 まず、オクルージョンはしばしば一貫性のない特徴マッチングをもたらす。 そして、サンプル点の個々のプロセスと粗い特徴集約により、幾何学的不連続性や局所的な鋭い形状の歪みやアーチファクトを提供する。 第3に、ソースビューがターゲットビューに不十分な場合には、イメージベースの表現が深刻な劣化を経験する。 そこで我々は,画像ベースのレンダリングではなく,点ベースに基づく一般化可能なニューラルフィールドを構成する最初のパラダイムを提案し,これを一般化可能なニューラルポイントフィールド(GPF)と呼ぶ。 我々のアプローチは、幾何的先行性によって鮮度を明示的にモデル化し、それらをニューラル特徴で拡張する。 レンダリング速度と再構成品質の両方を改善するために,新しい非一様ログサンプリング手法を提案する。 さらに,特徴集約機能を備えた学習可能なカーネルを空間的に拡張し,地理的に異なる場所での歪みを緩和する。 また,表現の操作も容易である。 実験によって、我々のモデルは、一般化と微調整の2つの設定において、3つのデータセット上の全ての対応するデータやベンチマークよりも優れたジオメトリ、ビュー構成、レンダリング品質を提供できることが分かりました。

関連論文リスト

• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape Reconstruction from Point Clouds [53.02191521770926]
  我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。 nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。 全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-08-03T13:56:07Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis [35.035125537722514]
  ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。 DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。 CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-09T12:23:48Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• SparseNeuS: Fast Generalizable Neural Surface Reconstruction from Sparse views [40.7986573030214]
  SparseNeuSは,多視点画像から表面再構成を行う新しいニューラルレンダリング手法である。 SparseNeuSは、新しいシーンに一般化し、スパースイメージ(2または3まで)でうまく機能する。
  論文  参考訳（メタデータ） (2022-06-12T13:34:03Z)
• MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
  最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。 これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。 近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
  論文  参考訳（メタデータ） (2022-06-01T17:58:15Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。