論文の概要: NeRF-RPN: A general framework for object detection in NeRFs
- arxiv url: http://arxiv.org/abs/2211.11646v1
- Date: Mon, 21 Nov 2022 17:02:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 21:26:05.353404
- Title: NeRF-RPN: A general framework for object detection in NeRFs
- Title（参考訳）: NeRF-RPN:NeRFにおける物体検出のための一般的なフレームワーク
- Authors: Benran Hu (1), Junkai Huang (1), Yichen Liu (1), Yu-Wing Tai (1 and
2), Chi-Keung Tang (1) ((1) The Hong Kong University of Science and
Technology, (2) Kuaishou Technology)
- Abstract要約: NeRF-RPNは、シーン内のオブジェクトのすべてのバウンディングボックスを検出することを目的としている。
NeRF-RPNは一般的なフレームワークであり、クラスラベルなしでオブジェクトを検出できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents the first significant object detection framework,
NeRF-RPN, which directly operates on NeRF. Given a pre-trained NeRF model,
NeRF-RPN aims to detect all bounding boxes of objects in a scene. By exploiting
a novel voxel representation that incorporates multi-scale 3D neural volumetric
features, we demonstrate it is possible to regress the 3D bounding boxes of
objects in NeRF directly without rendering the NeRF at any viewpoint. NeRF-RPN
is a general framework and can be applied to detect objects without class
labels. We experimented the NeRF-RPN with various backbone architectures, RPN
head designs and loss functions. All of them can be trained in an end-to-end
manner to estimate high quality 3D bounding boxes. To facilitate future
research in object detection for NeRF, we built a new benchmark dataset which
consists of both synthetic and real-world data with careful labeling and clean
up. Please watch the \href{https://youtu.be/M8_4Ih1CJjE}{video} for visualizing
the 3D region proposals by our NeRF-RPN. Code and dataset will be made
available.
- Abstract（参考訳）: 本稿では,NeRF上で直接動作する最初の重要な物体検出フレームワークであるNeRF-RPNを提案する。
NeRF-RPNは、事前訓練されたNeRFモデルにより、シーン内のすべてのオブジェクトの境界ボックスを検出することを目的としている。
マルチスケールの3次元ニューラルボリューム特徴を組み込んだ新しいボクセル表現を利用することで,NeRF内の物体の3次元境界ボックスを任意の視点でレンダリングすることなく直接回帰できることを実証する。
NeRF-RPNは一般的なフレームワークであり、クラスラベルなしでオブジェクトを検出できる。
我々は、NeRF-RPNを様々なバックボーンアーキテクチャ、RPNヘッド設計、損失関数で実験した。
それらはすべて、エンドツーエンドでトレーニングでき、高品質な3dバウンディングボックスを推定できる。
NeRFのオブジェクト検出の今後の研究を容易にするため、我々は、注意深くラベル付けしてクリーンアップした合成データと実世界のデータの両方からなる新しいベンチマークデータセットを構築した。
NeRF-RPNによる3D領域の提案を視覚化するために、 \href{https://youtu.be/M8_4Ih1CJjE}{video}を見てください。
コードとデータセットが利用可能になる。
関連論文リスト
- Explicit-NeRF-QA: A Quality Assessment Database for Explicit NeRF Model Compression [10.469092315640696]
我々は、NeRF圧縮研究の課題に対処するため、Explicit-NeRF-QAと呼ばれる新しいデータセットを構築した。
4つの典型的なNeRFモデルをトレーニングするために,22個の3Dオブジェクトを多様なジオメトリ,テクスチャ,材料複雑度で使用しています。
実験室環境における主観的な実験を行い、21人の視聴者から主観的なスコアを収集する。
論文 参考訳（メタデータ） (2024-07-11T04:02:05Z) - DReg-NeRF: Deep Registration for Neural Radiance Fields [66.69049158826677]
我々は,人間の介入なしにオブジェクト中心のアノテートシーンにおけるNeRF登録問題を解くためにDReg-NeRFを提案する。
提案手法は,SOTAポイントクラウド登録方式を大きなマージンで打ち負かす。
論文 参考訳（メタデータ） (2023-08-18T08:37:49Z) - NeRF-Det: Learning Geometry-Aware Volumetric Representation for
Multi-View 3D Object Detection [65.02633277884911]
提案するNeRF-Detは,RGB画像を入力として室内3次元検出を行う新しい手法である。
提案手法は3次元形状を明示的に推定するため, エンドツーエンドでNeRFを用いて3次元検出性能を向上する。
論文 参考訳（メタデータ） (2023-07-27T04:36:16Z) - StegaNeRF: Embedding Invisible Information within Neural Radiance Fields [61.653702733061785]
我々は、NeRFレンダリングにステガノグラフィー情報を埋め込む方法であるStegaNeRFを提案する。
我々は、NeRFで描画された画像から正確な隠れ情報抽出を可能にする最適化フレームワークを設計する。
StegaNeRFは、NeRFレンダリングにカスタマイズ可能で、認識不能で、回復不能な情報を注入する新しい問題に対する最初の調査である。
論文 参考訳（メタデータ） (2022-12-03T12:14:19Z) - NeRF-Loc: Transformer-Based Object Localization Within Neural Radiance
Fields [62.89785701659139]
我々は,NeRFシーン内の物体の3次元境界ボックスを抽出するトランスフォーマーベースのフレームワークNeRF-Locを提案する。
NeRF-Locは、事前訓練されたNeRFモデルとカメラビューを入力として、オブジェクトのラベル付き3Dバウンディングボックスを出力として生成する。
論文 参考訳（メタデータ） (2022-09-24T18:34:22Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳（メタデータ） (2020-12-10T18:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。