論文の概要: SSDNeRF: Semantic Soft Decomposition of Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2212.03406v1
• Date: Wed, 7 Dec 2022 02:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 16:16:56.485516
• Title: SSDNeRF: Semantic Soft Decomposition of Neural Radiance Fields
• Title（参考訳）: SSDNeRF:神経放射場の意味的ソフト分解
• Authors: Siddhant Ranade, Christoph Lassner, Kai Li, Christian Haene, Shen-Chi Chen, Jean-Charles Bazin, Sofien Bouaziz
• Abstract要約: ニューラルレイディアンスフィールド(SSDNeRF)のセマンティックソフト分解技術について紹介する。 このアプローチはシーンをセマンティック部分へソフトに分解し、同じ方向に混在する複数のセマンティッククラスを正しくエンコードする。 一般的なオブジェクトのデータセット上で,最先端のセグメンテーションと再構築結果を示す。
• 参考スコア（独自算出の注目度）: 23.213296435244313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRFs) encode the radiance in a scene parameterized by the scene's plenoptic function. This is achieved by using an MLP together with a mapping to a higher-dimensional space, and has been proven to capture scenes with a great level of detail. Naturally, the same parameterization can be used to encode additional properties of the scene, beyond just its radiance. A particularly interesting property in this regard is the semantic decomposition of the scene. We introduce a novel technique for semantic soft decomposition of neural radiance fields (named SSDNeRF) which jointly encodes semantic signals in combination with radiance signals of a scene. Our approach provides a soft decomposition of the scene into semantic parts, enabling us to correctly encode multiple semantic classes blending along the same direction -- an impossible feat for existing methods. Not only does this lead to a detailed, 3D semantic representation of the scene, but we also show that the regularizing effects of the MLP used for encoding help to improve the semantic representation. We show state-of-the-art segmentation and reconstruction results on a dataset of common objects and demonstrate how the proposed approach can be applied for high quality temporally consistent video editing and re-compositing on a dataset of casually captured selfie videos.
• Abstract（参考訳）: neural radiance fields (nerfs) は、シーンのプレンオプティクス関数によってパラメータ化されたシーンの輝度を符号化する。 これは、MLPと高次元空間へのマッピングを併用して実現され、非常に詳細なシーンを撮影することが証明されている。 当然のことながら、同じパラメータ化を使ってシーンの余分な特性を符号化することができる。 この点において特に興味深いのは、シーンの意味分解である。 本稿では,シーンの放射信号と組み合わせて意味信号を符号化する,ニューラルレイディアンスフィールド(SSDNeRF)のセマンティックソフト分解手法を提案する。 このアプローチでは,シーンのソフトな分解をセマンティックなパーツにすることで,複数の意味クラスを同じ方向にブレンドして正しくエンコードすることが可能です。 これはシーンの詳細な3Dセマンティック表現をもたらすだけでなく、エンコーディングに使用されるMLPの正規化効果が意味表現の改善に役立つことも示している。 本稿では,共有オブジェクトのデータセット上に最先端のセグメンテーションと再構成結果を示し,提案手法が,カジュアルに撮影された自撮りビデオのデータセット上で,高品質な時間的一貫性のあるビデオ編集と再合成にどのように適用できるかを実証する。

関連論文リスト

• Self-supervised Learning of Neural Implicit Feature Fields for Camera Pose Refinement [32.335953514942474]
  本稿では,3次元の高密度特徴場と2次元の特徴抽出器を併用してシーン表現を共同学習することを提案する。 暗黙の場に符号化された中間的幾何情報を活用するために、ボリュームレンダリングを通してシーンの基盤となる幾何学を学習し、特徴体を設計する。 次に、画像ベースの機能とレンダリングされたボリューム機能を調整することで、視覚的なローカライゼーションを実現する。
  論文  参考訳（メタデータ） (2024-06-12T17:51:53Z)
• GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
  Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。 本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:59:41Z)
• Factored Neural Representation for Scene Understanding [39.66967677639173]
  本稿では,モノクラーRGB-Dビデオから直接学習して,オブジェクトレベルのニューラルプレゼンテーションを生成する,ファクタリングされたニューラルシーン表現を提案する。 我々は、合成データと実データの両方に対する一連のニューラルアプローチに対して、表現が効率的で、解釈可能で、編集可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-21T13:40:30Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering [42.37007176376849]
  本稿では,物体合成型ニューラルラジアンス場を学習し,クラスタ化された実世界のシーンをリアルにレンダリングするニューラルシーンレンダリングシステムを提案する。 密集したシーンでのトレーニングを生き残るために, 密集した領域における3次元空間のあいまいさを解消し, それぞれの物体の鋭い境界を学習するためのシーン誘導型トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-04T11:37:18Z)
• In-Place Scene Labelling and Understanding with Implicit Scene Representation [39.73806072862176]
  ニューラルラジアンスフィールド(NeRF)を拡張して、外観とジオメトリでセマンティクスを共同エンコードします。 ルームスケールのシーンでは、ラベルがスパースまたは非常に騒々しい場合、このアプローチの利点を示します。
  論文  参考訳（メタデータ） (2021-03-29T18:30:55Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)
• Neural Scene Graphs for Dynamic Scenes [57.65413768984925]
  動的シーンをシーングラフに分解する最初のニューラルレンダリング手法を提案する。 我々は暗黙的に符号化されたシーンと、単一の暗黙の関数でオブジェクトを記述するために共同で学習された潜在表現を組み合わせる。
  論文  参考訳（メタデータ） (2020-11-20T12:37:10Z)
• Neural Sparse Voxel Fields [151.20366604586403]
  高速かつ高品質な自由視点レンダリングのためのニューラルシーン表現であるNeural Sparse Voxel Fields (NSVF)を紹介する。 NSVFは、各細胞の局所特性をモデル化するために、スパース・ボクセル・オクツリーで組織された、ボクセルに結合した暗黙のフィールドのセットを定義する。 提案手法は, 高い品質を達成しつつ, 推論時の最先端技術(NeRF(Mildenhall et al., 2020))よりも10倍以上高速である。
  論文  参考訳（メタデータ） (2020-07-22T17:51:31Z)
• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
  本稿では,複雑なシーンの新たなビューを合成する手法を提案する。 提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。 ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
  論文  参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。