論文の概要: Instance Neural Radiance Field

• arxiv url: http://arxiv.org/abs/2304.04395v3
• Date: Mon, 4 Sep 2023 03:26:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 05:44:50.521615
• Title: Instance Neural Radiance Field
• Title（参考訳）: 事例 ニューラル放射場
• Authors: Yichen Liu, Benran Hu, Junkai Huang, Yu-Wing Tai, Chi-Keung Tang
• Abstract要約: 本稿では,最初の学習ベースNeRF3Dインスタンスセグメンテーションパイプラインについて述べる。 我々は、NeRFのサンプルボリューム特徴に基づいて、3Dプロポーザルベースのマスク予測ネットワークを採用する。 また、本手法は、そのような結果を純粋推論で最初に達成した手法の一つである。
• 参考スコア（独自算出の注目度）: 62.152611795824185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents one of the first learning-based NeRF 3D instance segmentation pipelines, dubbed as Instance Neural Radiance Field, or Instance NeRF. Taking a NeRF pretrained from multi-view RGB images as input, Instance NeRF can learn 3D instance segmentation of a given scene, represented as an instance field component of the NeRF model. To this end, we adopt a 3D proposal-based mask prediction network on the sampled volumetric features from NeRF, which generates discrete 3D instance masks. The coarse 3D mask prediction is then projected to image space to match 2D segmentation masks from different views generated by existing panoptic segmentation models, which are used to supervise the training of the instance field. Notably, beyond generating consistent 2D segmentation maps from novel views, Instance NeRF can query instance information at any 3D point, which greatly enhances NeRF object segmentation and manipulation. Our method is also one of the first to achieve such results in pure inference. Experimented on synthetic and real-world NeRF datasets with complex indoor scenes, Instance NeRF surpasses previous NeRF segmentation works and competitive 2D segmentation methods in segmentation performance on unseen views. Watch the demo video at https://youtu.be/wW9Bme73coI. Code and data are available at https://github.com/lyclyc52/Instance_NeRF.
• Abstract（参考訳）: 本稿では,neural radiance field または instance nerf と呼ばれる,最初の学習ベースの3dインスタンスセグメンテーションパイプラインの1つを提案する。 マルチビューRGB画像から予めトレーニングされたNeRFを入力として、インスタンスNeRFは、NeRFモデルのインスタンスフィールドコンポーネントとして表される、与えられたシーンの3Dインスタンスセグメンテーションを学習することができる。 この目的のために,NeRFからサンプリングされたボリューム特徴に3次元提案に基づくマスク予測ネットワークを導入し,個別の3次元マスクを生成する。 次に、粗い3dマスク予測を画像空間に投影し、既存のpanopticセグメンテーションモデルによって生成された異なるビューからの2dセグメンテーションマスクとマッチングし、インスタンスフィールドのトレーニングを監督する。 特に、新しいビューから一貫した2Dセグメンテーションマップを生成するだけでなく、インスタンスNeRFは任意の3Dポイントでインスタンス情報をクエリすることができる。 また,本手法は,純粋な推論による結果を達成する最初の方法の1つである。 複雑な屋内シーンを持つ合成および実世界のNeRFデータセットで実験した結果、インスタンスNeRFは、それまでのNeRFセグメンテーション作業と、目に見えないビューでのセグメンテーションパフォーマンスにおける競合する2Dセグメンテーションメソッドを上回った。 デモビデオはhttps://youtu.be/wW9Bme73coI。 コードとデータはhttps://github.com/lyclyc52/instance_nerfで入手できる。

関連論文リスト

• NeRFDeformer: NeRF Transformation from a Single View via 3D Scene Flows [60.291277312569285]
  本研究では,単一観測値に基づいてNeRF表現を自動的に修正する手法を提案する。 本手法は, 変形を3次元流れ, 特に剛性変換の重み付き線形ブレンディングとして定義する。 また,単一観測によるNeRFシーンの修正問題を探索するための新しいデータセットも導入した。
  論文  参考訳（メタデータ） (2024-06-15T07:58:08Z)
• SANeRF-HQ: Segment Anything for NeRF in High Quality [61.77762568224097]
  本研究では,高品質な物体の高品質な3次元セグメンテーションを実現するために,SANeRF-HQ(Segment Anything for NeRF in High Quality)を提案する。 我々は,集約時のセグメンテーション境界の精度を高めるために密度場とRGB類似性を用いる。
  論文  参考訳（メタデータ） (2023-12-03T23:09:38Z)
• Obj-NeRF: Extract Object NeRFs from Multi-view Images [7.669778218573394]
  単一プロンプトを用いた多視点画像から特定の物体の3次元形状を復元する包括的パイプラインNeRFを提案する。 また、オブジェクトの除去、回転、置換、再色など、様々な用途に-NeRFを適用する。
  論文  参考訳（メタデータ） (2023-11-26T13:15:37Z)
• Registering Neural Radiance Fields as 3D Density Images [55.64859832225061]
  我々は,様々な場面でトレーニングやテストが可能な,普遍的な事前学習型ニューラルネットワークを提案する。 我々は,グローバルアプローチとして,NeRFモデルを効果的に登録できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T09:08:46Z)
• FeatureNeRF: Learning Generalizable NeRFs by Distilling Foundation Models [21.523836478458524]
  一般化可能なNeRFに関する最近の研究は、単一または少数の画像からの新規なビュー合成に関する有望な結果を示している。 本研究では,事前学習された視覚モデルを蒸留することにより,一般化可能なNeRFを学習するためのFeatureNeRFという新しいフレームワークを提案する。 一般化可能な3次元特徴抽出器としてのFeatureNeRFの有効性を実証した。
  論文  参考訳（メタデータ） (2023-03-22T17:57:01Z)
• SegNeRF: 3D Part Segmentation with Neural Radiance Fields [63.12841224024818]
  SegNeRFは、通常の放射場とセマンティックフィールドを統合するニューラルネットワーク表現である。 SegNeRFは、未確認のオブジェクトであっても、ポーズされた画像から幾何学、外観、意味情報を同時に予測することができる。 SegNeRFは、野生で撮影されたオブジェクトの1つのイメージから、対応する部分のセグメンテーションによって、明示的な3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2022-11-21T07:16:03Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• Decomposing 3D Scenes into Objects via Unsupervised Volume Segmentation [26.868351498722884]
  ニューラルラジアンスフィールド(NeRF)の集合として表現された3Dモデルにシーンの単一のイメージを変換する手法であるObSuRFを紹介します。 RGB-D入力でのNeRFのトレーニングを可能にする新しい損失を導き出し、より計算的に学習を効率化します。
  論文  参考訳（メタデータ） (2021-04-02T16:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。