論文の概要: DReg-NeRF: Deep Registration for Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2308.09386v1
• Date: Fri, 18 Aug 2023 08:37:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 13:57:09.446429
• Title: DReg-NeRF: Deep Registration for Neural Radiance Fields
• Title（参考訳）: DReg-NeRF:ニューラルラジアンスフィールドの深部登録
• Authors: Yu Chen, Gim Hee Lee
• Abstract要約: 我々は,人間の介入なしにオブジェクト中心のアノテートシーンにおけるNeRF登録問題を解くためにDReg-NeRFを提案する。 提案手法は,SOTAポイントクラウド登録方式を大きなマージンで打ち負かす。
• 参考スコア（独自算出の注目度）: 66.69049158826677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Neural Radiance Fields (NeRF) is popular in the computer vision community recently, registering multiple NeRFs has yet to gain much attention. Unlike the existing work, NeRF2NeRF, which is based on traditional optimization methods and needs human annotated keypoints, we propose DReg-NeRF to solve the NeRF registration problem on object-centric scenes without human intervention. After training NeRF models, our DReg-NeRF first extracts features from the occupancy grid in NeRF. Subsequently, our DReg-NeRF utilizes a transformer architecture with self-attention and cross-attention layers to learn the relations between pairwise NeRF blocks. In contrast to state-of-the-art (SOTA) point cloud registration methods, the decoupled correspondences are supervised by surface fields without any ground truth overlapping labels. We construct a novel view synthesis dataset with 1,700+ 3D objects obtained from Objaverse to train our network. When evaluated on the test set, our proposed method beats the SOTA point cloud registration methods by a large margin, with a mean $\text{RPE}=9.67^{\circ}$ and a mean $\text{RTE}=0.038$. Our code is available at https://github.com/AIBluefisher/DReg-NeRF.
• Abstract（参考訳）: 最近、コンピュータビジョンコミュニティでNeRF(Neural Radiance Fields)が人気になっているが、複数のNeRFを登録することは、まだ大きな注目を集めていない。 従来の最適化手法をベースとして,人間のアノテートキーポイントを必要とするNeRF2NeRFとは異なり,人間の介入を伴わないオブジェクト中心シーンにおけるNeRF登録問題を解決するためにDReg-NeRFを提案する。 DReg-NeRFは、NeRFの占有格子から特徴を抽出する。 その後、DReg-NeRFは自己アテンション層とクロスアテンション層を持つトランスフォーマーアーキテクチャを用いて、対のNeRFブロックの関係を学習する。 sota(state-of-the-art)ポイントクラウド登録法とは対照的に、分離された対応はラベルを重複させることなく表面フィールドによって監督される。 我々は,objaverseから得られた1,700以上の3dオブジェクトを用いた新しいビュー合成データセットを構築し,ネットワークを訓練する。 テストセットで評価すると,提案手法は平均$\text{RPE}=9.67^{\circ}$,平均$\text{RTE}=0.038$でSOTAポイントクラウド登録手法を大きなマージンで打ち破る。 私たちのコードはhttps://github.com/aibluefisher/dreg-nerfで利用可能です。

関連論文リスト

• NeRFuser: Large-Scale Scene Representation by NeRF Fusion [35.749208740102546]
  Neural Radiance Fields (NeRF)のような暗黙的な視覚表現の実用的な利点は、そのメモリ効率である。 既製のNeRFへのアクセスのみを前提としたNeRF登録とブレンディングのための新しいアーキテクチャであるNeRFuserを提案する。
  論文  参考訳（メタデータ） (2023-05-22T17:59:05Z)
• Learning a Diffusion Prior for NeRFs [84.99454404653339]
  正規化グリッド上に符号化されたNeRFを生成するために拡散モデルを提案する。 提案モデルでは,現実的なNeRFのサンプル化が可能である一方で,条件付き世代を許容すると同時に,特定の観察をガイダンスとして与えることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T19:24:21Z)
• FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization [32.1581416980828]
  本稿では、従来の手法よりも優れた驚くほど単純なベースラインである周波数正規化NeRF(FreeNeRF)を提案する。 我々は、数ショットのニューラルレンダリングにおける重要な課題を分析し、NeRFのトレーニングにおいて周波数が重要な役割を果たすことを発見した。
  論文  参考訳（メタデータ） (2023-03-13T18:59:03Z)
• Removing Objects From Neural Radiance Fields [60.067117643543824]
  RGB-Dシーケンスから生成されたNeRF表現からオブジェクトを除去するフレームワークを提案する。 当社のNeRF塗装法は,最近の2次元画像塗装技術を活用し,ユーザが提供するマスクでガイドされる。 提案手法は多視点コヒーレントな方法で可塑性塗料の合成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:51:06Z)
• NeRF-RPN: A general framework for object detection in NeRFs [54.54613914831599]
  NeRF-RPNは、シーン内のオブジェクトのすべてのバウンディングボックスを検出することを目的としている。 NeRF-RPNは一般的なフレームワークであり、クラスラベルなしでオブジェクトを検出できる。
  論文  参考訳（メタデータ） (2022-11-21T17:02:01Z)
• NeRF-Loc: Transformer-Based Object Localization Within Neural Radiance Fields [62.89785701659139]
  我々は,NeRFシーン内の物体の3次元境界ボックスを抽出するトランスフォーマーベースのフレームワークNeRF-Locを提案する。 NeRF-Locは、事前訓練されたNeRFモデルとカメラビューを入力として、オブジェクトのラベル付き3Dバウンディングボックスを出力として生成する。
  論文  参考訳（メタデータ） (2022-09-24T18:34:22Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。