論文の概要: Semantic Is Enough: Only Semantic Information For NeRF Reconstruction
- arxiv url: http://arxiv.org/abs/2403.16043v1
- Date: Sun, 24 Mar 2024 07:04:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 17:55:17.204525
- Title: Semantic Is Enough: Only Semantic Information For NeRF Reconstruction
- Title(参考訳): セマンティック、NeRF再建のためのセマンティック情報のみを公開
- Authors: Ruibo Wang, Song Zhang, Ping Huang, Donghai Zhang, Wei Yan,
- Abstract要約: 本研究の目的は,セマンティックニューラルネットワーク場(Semantic Neural Radiance Fields, Semantic-NeRF)モデルの拡張である。
我々はモデルとその訓練手順を再構成し、モデル意味出力と基底真理意味画像の間のクロスエントロピー損失のみを活用する。
- 参考スコア(独自算出の注目度): 12.156617601347769
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent research that combines implicit 3D representation with semantic information, like Semantic-NeRF, has proven that NeRF model could perform excellently in rendering 3D structures with semantic labels. This research aims to extend the Semantic Neural Radiance Fields (Semantic-NeRF) model by focusing solely on semantic output and removing the RGB output component. We reformulate the model and its training procedure to leverage only the cross-entropy loss between the model semantic output and the ground truth semantic images, removing the colour data traditionally used in the original Semantic-NeRF approach. We then conduct a series of identical experiments using the original and the modified Semantic-NeRF model. Our primary objective is to obverse the impact of this modification on the model performance by Semantic-NeRF, focusing on tasks such as scene understanding, object detection, and segmentation. The results offer valuable insights into the new way of rendering the scenes and provide an avenue for further research and development in semantic-focused 3D scene understanding.
- Abstract(参考訳): Semantic-NeRFのような暗黙的な3D表現と意味情報を組み合わせる最近の研究は、NeRFモデルがセマンティックラベルを用いた3D構造のレンダリングにおいて優れた性能を発揮することを証明している。
本研究の目的は,意味的出力のみに着目し,RGB出力成分を除去することによって,意味的ニューラルラディアンス場(Semantic Neural Radiance Fields, Semantic-NeRF)モデルを拡張することである。
モデルとその訓練手順を再構成し、モデル意味出力と基底真理意味画像の相互エントロピー損失のみを活用できるようにし、従来のセマンティック・ニューラルアプローチで用いられてきた色データを除去する。
次に、元のSemantic-NeRFモデルと修正されたSemantic-NeRFモデルを用いて、一連の同一実験を行う。
我々の主な目的は、シーン理解、オブジェクト検出、セグメンテーションといったタスクに焦点をあて、セマンティック・ネRFによるモデル性能に対するこの修正の影響を覆すことである。
これらの結果は、シーンを描画する新しい方法に関する貴重な洞察を与え、セマンティックに焦点を当てた3Dシーン理解におけるさらなる研究と開発のための道筋を提供する。
関連論文リスト
- GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。
本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
論文 参考訳(メタデータ) (2023-11-20T15:59:41Z) - Edit-DiffNeRF: Editing 3D Neural Radiance Fields using 2D Diffusion
Model [11.05302598034426]
事前学習した拡散モデルとニューラルラジアンス場(NeRF)の組み合わせは,テキストから3D生成への有望なアプローチとして現れている。
本研究では,凍結拡散モデルと,拡散モデルの潜在意味空間を編集するデルタモジュールと,NeRFからなるEdit-DiffNeRFフレームワークを提案する。
提案手法は実世界の3Dシーンを効果的に編集し,25%の改善が得られた。
論文 参考訳(メタデータ) (2023-06-15T23:41:58Z) - RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。
具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。
実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
論文 参考訳(メタデータ) (2023-06-09T04:49:31Z) - Interactive Segment Anything NeRF with Feature Imitation [20.972098365110426]
我々は,NeRFを用いたゼロショットセマンティックセグメンテーションを実現するために,オフザシェルフ認識モデルのバックボーン特徴を模倣することを提案する。
本フレームワークは,意味的特徴を直接描画し,認識モデルからデコーダのみを適用することによって,セグメンテーションプロセスを再構築する。
さらに,学習したセマンティクスを抽出したメッシュ表面に投影することで,リアルタイムインタラクションを実現する。
論文 参考訳(メタデータ) (2023-05-25T16:44:51Z) - Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and
Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。
本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文 参考訳(メタデータ) (2023-04-13T17:59:01Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-20T17:12:00Z) - SegNeRF: 3D Part Segmentation with Neural Radiance Fields [63.12841224024818]
SegNeRFは、通常の放射場とセマンティックフィールドを統合するニューラルネットワーク表現である。
SegNeRFは、未確認のオブジェクトであっても、ポーズされた画像から幾何学、外観、意味情報を同時に予測することができる。
SegNeRFは、野生で撮影されたオブジェクトの1つのイメージから、対応する部分のセグメンテーションによって、明示的な3Dモデルを生成することができる。
論文 参考訳(メタデータ) (2022-11-21T07:16:03Z) - PeRFception: Perception using Radiance Fields [72.99583614735545]
私たちは、PeRFceptionと呼ばれる知覚タスクのための、最初の大規模な暗黙的表現データセットを作成します。
元のデータセットからかなりのメモリ圧縮率 (96.4%) を示し、2D情報と3D情報の両方を統一形式で格納している。
この暗黙の形式を直接入力する分類とセグメンテーションモデルを構築し、画像の背景に過度に収まらないよう、新しい拡張手法を提案する。
論文 参考訳(メタデータ) (2022-08-24T13:32:46Z) - Sem2NeRF: Converting Single-View Semantic Masks to Neural Radiance
Fields [49.41982694533966]
本稿では,1つの単一ビューセマンティックマスクを入力として条件付けしたSemantic-to-NeRF変換を提案する。
特に、Sem2NeRFは、事前訓練されたデコーダの3Dシーン表現を制御する潜在コードにセマンティックマスクをエンコードすることで、非常に困難なタスクに対処する。
提案したSem2NeRFの有効性を検証し、2つのベンチマークデータセット上でいくつかの強いベースラインを上回ります。
論文 参考訳(メタデータ) (2022-03-21T09:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。