論文の概要: Surface Normal Clustering for Implicit Representation of Manhattan Scenes

• arxiv url: http://arxiv.org/abs/2212.01331v4
• Date: Wed, 27 Sep 2023 15:39:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 22:13:21.710191
• Title: Surface Normal Clustering for Implicit Representation of Manhattan Scenes
• Title（参考訳）: マンハッタンシーンの入射表現のための表面正規クラスタリング
• Authors: Nikola Popovic, Danda Pani Paudel, Luc Van Gool
• Abstract要約: 暗黙のニューラルネットワーク表現を用いたビュー合成と3次元モデリングは、マルチビューカメラに非常に効果的である。 追加の監視を利用する既存の方法の多くは、高密度のピクセルワイドラベルや、ローカライズされたシーン先行を必要とする。 本研究では,マンハッタンのシーンの幾何学的先行性を活用し,暗黙的ニューラルラディアンス場表現を改善することを目的とする。
• 参考スコア（独自算出の注目度）: 67.16489078998961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Novel view synthesis and 3D modeling using implicit neural field representation are shown to be very effective for calibrated multi-view cameras. Such representations are known to benefit from additional geometric and semantic supervision. Most existing methods that exploit additional supervision require dense pixel-wise labels or localized scene priors. These methods cannot benefit from high-level vague scene priors provided in terms of scenes' descriptions. In this work, we aim to leverage the geometric prior of Manhattan scenes to improve the implicit neural radiance field representations. More precisely, we assume that only the knowledge of the indoor scene (under investigation) being Manhattan is known -- with no additional information whatsoever -- with an unknown Manhattan coordinate frame. Such high-level prior is used to self-supervise the surface normals derived explicitly in the implicit neural fields. Our modeling allows us to cluster the derived normals and exploit their orthogonality constraints for self-supervision. Our exhaustive experiments on datasets of diverse indoor scenes demonstrate the significant benefit of the proposed method over the established baselines. The source code is available at https://github.com/nikola3794/normal-clustering-nerf.
• Abstract（参考訳）: 暗黙的ニューラルフィールド表現を用いた新しいビュー合成と3次元モデリングは、マルチビューカメラの校正に非常に有効であることが示されている。 このような表現は、追加の幾何学的および意味的監督の恩恵を受けることが知られている。 追加の監視を利用する既存の方法の多くは、高密度のピクセルワイドラベルや、ローカライズされたシーン先行を必要とする。 これらの手法は、シーンの説明の観点で提供される高レベルな曖昧なシーン優先の恩恵を受けることができない。 本研究では,マンハッタンのシーンの幾何学的前兆を利用して,暗黙の神経放射場表現を改善することを目的とする。 より正確には、マンハッタンの屋内シーンに関する知識(調査中の)のみが、マンハッタンの座標フレームが未知の状態で、追加情報を持たないことがわかっていると仮定する。 このようなハイレベルな事前処理は、暗黙の神経野で明示的に導出される表面正規化を自己監督するために用いられる。 我々のモデリングにより、導出した正規項をクラスタリングし、それらの直交制約を自己超越のために利用することができる。 様々な屋内シーンのデータセットを徹底的に実験した結果,提案手法が確立したベースラインよりも有益であることが示された。 ソースコードはhttps://github.com/nikola3794/normal-clustering-nerfで入手できる。

関連論文リスト

• Self-supervised Learning of Neural Implicit Feature Fields for Camera Pose Refinement [32.335953514942474]
  本稿では,3次元の高密度特徴場と2次元の特徴抽出器を併用してシーン表現を共同学習することを提案する。 暗黙の場に符号化された中間的幾何情報を活用するために、ボリュームレンダリングを通してシーンの基盤となる幾何学を学習し、特徴体を設計する。 次に、画像ベースの機能とレンダリングされたボリューム機能を調整することで、視覚的なローカライゼーションを実現する。
  論文  参考訳（メタデータ） (2024-06-12T17:51:53Z)
• N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
  3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。 N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。 本手法は, 視認性, 深度, 外観特性を忠実に近似する。
  論文  参考訳（メタデータ） (2024-05-25T13:54:34Z)
• NeuralGF: Unsupervised Point Normal Estimation by Learning Neural Gradient Function [55.86697795177619]
  3次元点雲の正規推定は3次元幾何処理の基本的な課題である。 我々は,ニューラルネットワークが入力点雲に適合することを奨励する,ニューラルグラデーション関数の学習のための新しいパラダイムを導入する。 広範に使用されているベンチマークの優れた結果から,本手法は非指向性および指向性正常推定タスクにおいて,より正確な正規性を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-11-01T09:25:29Z)
• Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid Representation and Normal Prior Enhancement [50.56517624931987]
  多視点RGB画像からの室内シーンの再構成は、平坦領域とテクスチャレス領域の共存により困難である。 近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。 本研究は, 上記の制限に対処して, 高忠実度表面を細かな詳細で再構築することを目的とする。
  論文  参考訳（メタデータ） (2023-09-14T12:05:29Z)
• Tetra-NeRF: Representing Neural Radiance Fields Using Tetrahedra [31.654710376807593]
  本稿では,一様部分分割や点ベース表現の代わりに,デラウネーによって得られるテトラヘドラに基づく適応表現を用いることを提案する。 このような表現が効率的なトレーニングを可能にし、最先端の成果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-04-19T21:44:27Z)
• NPC: Neural Point Characters from Video [21.470471345454524]
  高忠実な人間の3Dモデルは、ビデオから直接学ぶことができる。 以前の方法はテンプレートの使用を避けるが、観測から標準空間への高コストあるいは不適切なマッピングに依存していた。 アニマタブルな文字を再構成するためのハイブリッドなポイントベース表現を提案する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:22Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• Coordinates Are NOT Lonely -- Codebook Prior Helps Implicit Neural 3D Representations [29.756718435405983]
  暗黙的な3D表現は、表面やシーンの再構築や新しいビュー合成において、印象的な成果を上げている。 ニューラル・レージアンス・フィールド(Neural Radiance Field、NeRF)とその変種のような既存のアプローチは、通常、密度の高い入力ビューを必要とする。 暗黙的な3次元表現のための座標モデルCoCo-INRを提案する。
  論文  参考訳（メタデータ） (2022-10-20T11:13:50Z)
• Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
  本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。 平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。 提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)
• Semantic Implicit Neural Scene Representations With Semi-Supervised Training [47.61092265963234]
  その結果,暗黙的なシーン表現がポイントごとのセマンティックセマンティックセグメンテーションに活用できることが示唆された。 我々の手法は単純で汎用的で、数個のラベル付き2Dセグメンテーションマスクしか必要としない。 意味的に認識された暗黙的なニューラルシーン表現のための2つの新しい応用を探索する。
  論文  参考訳（メタデータ） (2020-03-28T00:43:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。