論文の概要: Semantic Is Enough: Only Semantic Information For NeRF Reconstruction

• arxiv url: http://arxiv.org/abs/2403.16043v1
• Date: Sun, 24 Mar 2024 07:04:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 17:55:17.204525
• Title: Semantic Is Enough: Only Semantic Information For NeRF Reconstruction
• Title（参考訳）: セマンティック、NeRF再建のためのセマンティック情報のみを公開
• Authors: Ruibo Wang, Song Zhang, Ping Huang, Donghai Zhang, Wei Yan,
• Abstract要約: 本研究の目的は,セマンティックニューラルネットワーク場(Semantic Neural Radiance Fields, Semantic-NeRF)モデルの拡張である。 我々はモデルとその訓練手順を再構成し、モデル意味出力と基底真理意味画像の間のクロスエントロピー損失のみを活用する。
• 参考スコア（独自算出の注目度）: 12.156617601347769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research that combines implicit 3D representation with semantic information, like Semantic-NeRF, has proven that NeRF model could perform excellently in rendering 3D structures with semantic labels. This research aims to extend the Semantic Neural Radiance Fields (Semantic-NeRF) model by focusing solely on semantic output and removing the RGB output component. We reformulate the model and its training procedure to leverage only the cross-entropy loss between the model semantic output and the ground truth semantic images, removing the colour data traditionally used in the original Semantic-NeRF approach. We then conduct a series of identical experiments using the original and the modified Semantic-NeRF model. Our primary objective is to obverse the impact of this modification on the model performance by Semantic-NeRF, focusing on tasks such as scene understanding, object detection, and segmentation. The results offer valuable insights into the new way of rendering the scenes and provide an avenue for further research and development in semantic-focused 3D scene understanding.
• Abstract（参考訳）: Semantic-NeRFのような暗黙的な3D表現と意味情報を組み合わせる最近の研究は、NeRFモデルがセマンティックラベルを用いた3D構造のレンダリングにおいて優れた性能を発揮することを証明している。 本研究の目的は,意味的出力のみに着目し,RGB出力成分を除去することによって,意味的ニューラルラディアンス場(Semantic Neural Radiance Fields, Semantic-NeRF)モデルを拡張することである。 モデルとその訓練手順を再構成し、モデル意味出力と基底真理意味画像の相互エントロピー損失のみを活用できるようにし、従来のセマンティック・ニューラルアプローチで用いられてきた色データを除去する。 次に、元のSemantic-NeRFモデルと修正されたSemantic-NeRFモデルを用いて、一連の同一実験を行う。 我々の主な目的は、シーン理解、オブジェクト検出、セグメンテーションといったタスクに焦点をあて、セマンティック・ネRFによるモデル性能に対するこの修正の影響を覆すことである。 これらの結果は、シーンを描画する新しい方法に関する貴重な洞察を与え、セマンティックに焦点を当てた3Dシーン理解におけるさらなる研究と開発のための道筋を提供する。

関連論文リスト

• DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors [4.697267141773321]
  人-物体相互作用(HOI)のゼロショット合成法であるDreamHOIを提案する。 我々は、何十億もの画像キャプチャーペアで訓練されたテキストと画像の拡散モデルを利用して、リアルなHOIを生成する。 提案手法は広範囲な実験を通じて検証し,現実的なHOIを生成する上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-12T17:59:49Z)
• Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
  人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。 そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:01:10Z)
• GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
  Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。 本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:59:41Z)
• Edit-DiffNeRF: Editing 3D Neural Radiance Fields using 2D Diffusion Model [11.05302598034426]
  事前学習した拡散モデルとニューラルラジアンス場(NeRF)の組み合わせは,テキストから3D生成への有望なアプローチとして現れている。 本研究では,凍結拡散モデルと,拡散モデルの潜在意味空間を編集するデルタモジュールと,NeRFからなるEdit-DiffNeRFフレームワークを提案する。 提案手法は実世界の3Dシーンを効果的に編集し,25%の改善が得られた。
  論文  参考訳（メタデータ） (2023-06-15T23:41:58Z)
• RePaint-NeRF: NeRF Editting via Semantic Masks and Diffusion Models [36.236190350126826]
  本稿では,RGB画像を入力として取り出し,ニューラルシーンの3Dコンテンツを変更可能な新しいフレームワークを提案する。 具体的には,対象オブジェクトを意味的に選択し,事前学習した拡散モデルを用いてNeRFモデルを誘導し,新しい3Dオブジェクトを生成する。 実験の結果,本アルゴリズムは,異なるテキストプロンプト下でのNeRFの3次元オブジェクトの編集に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T04:49:31Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• SegNeRF: 3D Part Segmentation with Neural Radiance Fields [63.12841224024818]
  SegNeRFは、通常の放射場とセマンティックフィールドを統合するニューラルネットワーク表現である。 SegNeRFは、未確認のオブジェクトであっても、ポーズされた画像から幾何学、外観、意味情報を同時に予測することができる。 SegNeRFは、野生で撮影されたオブジェクトの1つのイメージから、対応する部分のセグメンテーションによって、明示的な3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2022-11-21T07:16:03Z)
• PeRFception: Perception using Radiance Fields [72.99583614735545]
  私たちは、PeRFceptionと呼ばれる知覚タスクのための、最初の大規模な暗黙的表現データセットを作成します。 元のデータセットからかなりのメモリ圧縮率 (96.4%) を示し、2D情報と3D情報の両方を統一形式で格納している。 この暗黙の形式を直接入力する分類とセグメンテーションモデルを構築し、画像の背景に過度に収まらないよう、新しい拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-08-24T13:32:46Z)
• Sem2NeRF: Converting Single-View Semantic Masks to Neural Radiance Fields [49.41982694533966]
  本稿では,1つの単一ビューセマンティックマスクを入力として条件付けしたSemantic-to-NeRF変換を提案する。 特に、Sem2NeRFは、事前訓練されたデコーダの3Dシーン表現を制御する潜在コードにセマンティックマスクをエンコードすることで、非常に困難なタスクに対処する。 提案したSem2NeRFの有効性を検証し、2つのベンチマークデータセット上でいくつかの強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-21T09:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。