論文の概要: Semantically-aware Neural Radiance Fields for Visual Scene
Understanding: A Comprehensive Review
- arxiv url: http://arxiv.org/abs/2402.11141v1
- Date: Sat, 17 Feb 2024 00:15:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 23:15:56.909673
- Title: Semantically-aware Neural Radiance Fields for Visual Scene
Understanding: A Comprehensive Review
- Title（参考訳）: 視覚シーン理解のための意味的認識型ニューラルラジアンスフィールド:総合的レビュー
- Authors: Thang-Anh-Quan Nguyen, Amine Bourki, M\'aty\'as Macudzinski, Anthony
Brunel, Mohammed Bennamoun
- Abstract要約: 視覚的シーン理解における意味的認識型ニューラルレイディアンスフィールド(NeRF)の役割を概観する。
NeRFはシーン内の静止オブジェクトと動的オブジェクトの両方に対して3D表現を正確に推論する。
- 参考スコア（独自算出の注目度）: 26.436253160392123
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This review thoroughly examines the role of semantically-aware Neural
Radiance Fields (NeRFs) in visual scene understanding, covering an analysis of
over 250 scholarly papers. It explores how NeRFs adeptly infer 3D
representations for both stationary and dynamic objects in a scene. This
capability is pivotal for generating high-quality new viewpoints, completing
missing scene details (inpainting), conducting comprehensive scene segmentation
(panoptic segmentation), predicting 3D bounding boxes, editing 3D scenes, and
extracting object-centric 3D models. A significant aspect of this study is the
application of semantic labels as viewpoint-invariant functions, which
effectively map spatial coordinates to a spectrum of semantic labels, thus
facilitating the recognition of distinct objects within the scene. Overall,
this survey highlights the progression and diverse applications of
semantically-aware neural radiance fields in the context of visual scene
interpretation.
- Abstract（参考訳）: 本稿では,250以上の学術論文の分析を網羅し,視覚的場面理解における意味認識型ニューラルラジアンスフィールド(NeRF)の役割を徹底的に検討する。
シーン内の静止オブジェクトと動的オブジェクトの両方に対して、NeRFが正確に3D表現を推測する方法を探索する。
この機能は、高品質な新しい視点の生成、欠落したシーンの詳細(インペインティング)の完了、包括的なシーンセグメンテーション(panoptic segmentation)の実行、3dバウンディングボックスの予測、3dシーンの編集、オブジェクト中心の3dモデル抽出に欠かせない。
本研究の重要な側面は、空間座標をセマンティックラベルのスペクトルに効果的にマッピングし、シーン内の異なる物体の認識を容易にする、視点不変関数としてのセマンティックラベルの適用である。
本調査は,視覚的シーン解釈の文脈における意味的認識型ニューラルラディアンスフィールドの進展と多様な応用に焦点を当てた。
関連論文リスト
- In-Place Panoptic Radiance Field Segmentation with Perceptual Prior for 3D Scene Understanding [1.8130068086063336]
そこで本研究では,視覚を主眼とした3次元シーン表現とパノプティクス理解手法を提案する。
2次元セマンティクスとインスタンス認識を含む線形代入問題として、神経放射場内のパノプティクス理解を再構成する。
合成シーンや実世界のシーンを含む課題条件下での実験とアブレーション研究は,提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-10-06T15:49:58Z) - HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳（メタデータ） (2024-03-19T13:39:05Z) - GSNeRF: Generalizable Semantic Neural Radiance Fields with Enhanced 3D
Scene Understanding [30.951440204237166]
本稿では,画像のセマンティクスを合成プロセスに取り込む汎用セマンティックニューラルネットワーク場(GSNeRF)について紹介する。
我々のGSNeRFはセマンティックジオ推論と奥行き誘導ビジュアルレンダリングの2つのステージで構成されている。
論文 参考訳（メタデータ） (2024-03-06T10:55:50Z) - Slot-guided Volumetric Object Radiance Fields [13.996432950674045]
本稿では,3次元オブジェクト中心表現学習のための新しいフレームワークを提案する。
本手法では,複雑なシーンを,教師なしの方法で単一の画像から個々のオブジェクトに分解する。
論文 参考訳（メタデータ） (2024-01-04T12:52:48Z) - Lowis3D: Language-Driven Open-World Instance-Level 3D Scene
Understanding [57.47315482494805]
オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。
モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。
本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
論文 参考訳（メタデータ） (2023-08-01T07:50:14Z) - CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。
我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。
3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
論文 参考訳（メタデータ） (2022-09-13T05:26:09Z) - Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D
Image Representations [92.88108411154255]
本稿では,3次元シーンとして再構成可能な複数画像の解析に後者を適用する際に,高密度な2次元画像特徴抽出器を改善する手法を提案する。
本手法は,手動ラベルを使わずに,シーン固有のニューラルネットワークの文脈における意味理解を可能にするだけでなく,自己監督型2Dベースラインよりも一貫して改善されていることを示す。
論文 参考訳（メタデータ） (2022-09-07T23:24:09Z) - Neural Groundplans: Persistent Neural Scene Representations from a
Single Image [90.04272671464238]
本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。
本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
論文 参考訳（メタデータ） (2022-07-22T17:41:24Z) - Beyond RGB: Scene-Property Synthesis with Neural Radiance Fields [32.200557554874784]
本稿では,暗黙の3次元表現とニューラルレンダリングの最近の進歩を活用し,シーン理解への新たなアプローチを提案する。
ニューラル・レージアンス・フィールド(NeRF)の大成功を生かして,ネRFを用いたシーン・プロパリティ・シンセサイザーを導入する。
セマンティックセグメンテーション,表面正規推定,リシェーディング,キーポイント検出,エッジ検出など,統合されたフレームワーク下でのさまざまなシーン理解タスクへの対処を容易にする。
論文 参考訳（メタデータ） (2022-06-09T17:59:50Z) - Neural Volumetric Object Selection [126.04480613166194]
マルチプレーン画像(MPI)やニューラルレイディアンスフィールド(NeRF)のような,神経体積の3次元表現における物体の選択手法を提案する。
提案手法では,前景と背景の2次元ユーザを1つの視点で記述し,対象物の3次元セグメンテーションを自動的に推定する。
論文 参考訳（メタデータ） (2022-05-30T08:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。