論文の概要: HG3-NeRF: Hierarchical Geometric, Semantic, and Photometric Guided Neural Radiance Fields for Sparse View Inputs

• arxiv url: http://arxiv.org/abs/2401.11711v1
• Date: Mon, 22 Jan 2024 06:28:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 15:14:17.318144
• Title: HG3-NeRF: Hierarchical Geometric, Semantic, and Photometric Guided Neural Radiance Fields for Sparse View Inputs
• Title（参考訳）: HG3-NeRF:スパークビュー入力のための階層幾何学・意味・測光誘導ニューラル放射場
• Authors: Zelin Gao, Weichen Dai, Yu Zhang
• Abstract要約: HG3-NeRF(Hierarchical Geometric, Semantic, and Photometric Guided NeRF)を紹介する。 HG3-NeRFは、幾何学、意味的内容、外見の制約に対処する新しい手法である。 実験により、HG3-NeRFは、異なる標準ベンチマークにおいて、他の最先端手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 7.715395970689711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) have garnered considerable attention as a paradigm for novel view synthesis by learning scene representations from discrete observations. Nevertheless, NeRF exhibit pronounced performance degradation when confronted with sparse view inputs, consequently curtailing its further applicability. In this work, we introduce Hierarchical Geometric, Semantic, and Photometric Guided NeRF (HG3-NeRF), a novel methodology that can address the aforementioned limitation and enhance consistency of geometry, semantic content, and appearance across different views. We propose Hierarchical Geometric Guidance (HGG) to incorporate the attachment of Structure from Motion (SfM), namely sparse depth prior, into the scene representations. Different from direct depth supervision, HGG samples volume points from local-to-global geometric regions, mitigating the misalignment caused by inherent bias in the depth prior. Furthermore, we draw inspiration from notable variations in semantic consistency observed across images of different resolutions and propose Hierarchical Semantic Guidance (HSG) to learn the coarse-to-fine semantic content, which corresponds to the coarse-to-fine scene representations. Experimental results demonstrate that HG3-NeRF can outperform other state-of-the-art methods on different standard benchmarks and achieve high-fidelity synthesis results for sparse view inputs.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、離散的な観察からシーン表現を学習することで、新しい視点合成のパラダイムとして注目されている。 それでも、NeRFはスパースビューインプットに直面すると性能劣化を顕著に示し、その結果、さらに適用性を高めた。 本研究では, 上記の制約に対処し, 幾何, 意味的内容, 外観の整合性を高める新しい手法であるHG3-NeRF(Hierarchical Geometric, Semantic, and Photometric Guided NeRF)を紹介する。 本研究では階層型幾何学的ガイダンス(HGG)を提案し,SfM(Structure from Motion)のアタッチメントをシーン表現に組み込む。 直接深度監督と異なり、HGGは深度に固有の偏りが原因で生じるずれを緩和し、局所-球面幾何学領域から体積点をサンプリングした。 さらに,解像度の異なる画像間で観察されるセマンティック一貫性の顕著な変化からインスピレーションを得て,粗大なセマンティック・ガイダンス(HSG)を提案し,粗大なシーン表現に対応する粗大なセマンティック・コンテントを学習する。 実験により、HG3-NeRFは、異なる標準ベンチマークにおける他の最先端手法よりも優れ、スパースビュー入力に対する高忠実な合成結果が得られることが示された。

関連論文リスト

• Efficient Depth-Guided Urban View Synthesis [52.841803876653465]
  高速フィードフォワード推論とシーンごとのファインチューニングのための効率的な深層誘導型都市ビュー合成(EDUS)を提案する。 EDUSは、粗い入力画像から一般化可能な都市ビュー合成を可能にするためのガイダンスとして、ノイズの多い幾何学的先行情報を利用する。 その結果,EDUSは高速なテスト時間最適化と組み合わせることで,スパース・ビュー・セッティングにおける最先端性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-07-17T08:16:25Z)
• GSNeRF: Generalizable Semantic Neural Radiance Fields with Enhanced 3D Scene Understanding [30.951440204237166]
  本稿では,画像のセマンティクスを合成プロセスに取り込む汎用セマンティックニューラルネットワーク場(GSNeRF)について紹介する。 我々のGSNeRFはセマンティックジオ推論と奥行き誘導ビジュアルレンダリングの2つのステージで構成されている。
  論文  参考訳（メタデータ） (2024-03-06T10:55:50Z)
• Learning Robust Generalizable Radiance Field with Visibility and Feature Augmented Point Representation [7.203073346844801]
  本稿では、一般化可能なニューラル放射場(NeRF)のための新しいパラダイムを提案する。 本稿では、画像ベースレンダリングではなく、点ベースに基づく一般化可能なニューラルネットワークを構築するための第1のパラダイムを提案する。 我々のアプローチは、幾何的先行性によって鮮度を明示的にモデル化し、それらをニューラル特徴で拡張する。
  論文  参考訳（メタデータ） (2024-01-25T17:58:51Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
  Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。 本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:59:41Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates [16.344734292989504]
  SCADEは、スパースで制約のない入力ビューにおけるNeRF再構成品質を改善する新しい技術である。 本研究では,各視点に対して,深度推定の連続的マルチモーダル分布を予測する新しい手法を提案する。 実験により,本手法はスパースビューから高忠実度ノベルビューの合成を可能にすることが示された。
  論文  参考訳（メタデータ） (2023-03-23T18:00:07Z)
• GARF:Geometry-Aware Generalized Neural Radiance Field [47.76524984421343]
  本稿では,GADS(Geometry-Aware Generalized Neural Radiance Field)戦略を用いたGARF(Geometry-Aware Generalized Neural Radiance Field)を提案する。 筆者らのフレームワークは,画素スケールと幾何学スケールの両方において,わずかに入力画像で見えないシーンを推測する。 屋内および屋外のデータセットの実験では、GARFはレンダリング品質と3次元幾何推定を改善しながら、サンプルを25%以上削減している。
  論文  参考訳（メタデータ） (2022-12-05T14:00:59Z)
• 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning [54.24887282693925]
  本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。 既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。 実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-09-30T17:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。