論文の概要: InvNeRF-Seg: Fine-Tuning a Pre-Trained NeRF for 3D Object Segmentation

• arxiv url: http://arxiv.org/abs/2504.05751v1
• Date: Tue, 08 Apr 2025 07:31:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:29:48.172058
• Title: InvNeRF-Seg: Fine-Tuning a Pre-Trained NeRF for 3D Object Segmentation
• Title（参考訳）: InvNeRF-Seg:3次元オブジェクトセグメンテーションのための事前訓練されたNeRFの微調整
• Authors: Jiangsan Zhao, Jakob Geipel, Krzysztof Kusnierek, Xuean Cui,
• Abstract要約: InvNeRFSeg(InvNeRFSeg)の2ステップに対して、3次元セグメンテーションのためのゼロ変更微調整戦略を提案する。 まず、RGB画像上で標準のNeRFをトレーニングし、モデルアーキテクチャや損失関数を変更することなく、2Dセグメンテーションマスクを用いて微調整する。 このアプローチは、計算オーバーヘッドや複雑さが最小限に抑えられた洗練された放射場から直接、より高品質でクリーンな分節点雲を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Neural Radiance Fields (NeRF) have been widely adopted for reconstructing high quality 3D point clouds from 2D RGB images. However, the segmentation of these reconstructed 3D scenes is more essential for downstream tasks such as object counting, size estimation, and scene understanding. While segmentation on raw 3D point clouds using deep learning requires labor intensive and time-consuming manual annotation, directly training NeRF on binary masks also fails due to the absence of color and shading cues essential for geometry learning. We propose Invariant NeRF for Segmentation (InvNeRFSeg), a two step, zero change fine tuning strategy for 3D segmentation. We first train a standard NeRF on RGB images and then fine tune it using 2D segmentation masks without altering either the model architecture or loss function. This approach produces higher quality, cleaner segmented point clouds directly from the refined radiance field with minimal computational overhead or complexity. Field density analysis reveals consistent semantic refinement: densities of object regions increase while background densities are suppressed, ensuring clean and interpretable segmentations. We demonstrate InvNeRFSegs superior performance over both SA3D and FruitNeRF on both synthetic fruit and real world soybean datasets. This approach effectively extends 2D segmentation to high quality 3D segmentation.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は2次元RGB画像から高品質な3D点雲を再構成するために広く採用されている。 しかし、これらの再構成された3Dシーンのセグメンテーションは、オブジェクトカウント、サイズ推定、シーン理解といった下流タスクに必要不可欠である。 深層学習を用いた生の3D点雲のセグメンテーションには、労働集約的かつ時間を要する手作業のアノテーションが必要であるが、二元マスク上でのNeRFの直接トレーニングは、幾何学的学習に不可欠な色と陰影の手がかりが欠如しているために失敗する。 Invariant NeRF for Segmentation (InvNeRFSeg)を提案する。 まず、RGB画像上で標準のNeRFをトレーニングし、モデルアーキテクチャや損失関数を変更することなく、2Dセグメンテーションマスクを用いて微調整する。 このアプローチは、計算オーバーヘッドや複雑さが最小限に抑えられた洗練された放射場から直接、より高品質でクリーンな分節点雲を生成する。 対象領域の密度は増加し、背景密度は抑制され、クリーンで解釈可能なセグメンテーションが確保される。 InvNeRFSegsはSA3DとFruitNeRFのいずれよりも、合成果実と実世界の大豆のデータセット上で優れた性能を示す。 このアプローチは、2Dセグメンテーションを高品質な3Dセグメンテーションに効果的に拡張する。

関連論文リスト

• Enforcing View-Consistency in Class-Agnostic 3D Segmentation Fields [46.711276257688326]
  Radiance Fieldsは、複数の画像から3Dシーンをモデリングするための強力なツールになっている。 いくつかの手法は2Dセマンティックマスクを用いてうまく機能するが、クラスに依存しないセグメンテーションにはあまり一般化しない。 より最近の手法では、コントラスト学習を用いて高次元の3次元特徴場を最適化することでこの問題を回避することができる。
  論文  参考訳（メタデータ） (2024-08-19T12:07:24Z)
• NeRF-MAE: Masked AutoEncoders for Self-Supervised 3D Representation Learning for Neural Radiance Fields [57.617972778377215]
  提案手法は,RGB画像から有効な3D表現を生成する方法を示す。 我々は、この表現を、提案した擬似RGBデータに基づいて、180万枚以上の画像で事前訓練する。 我々は,NeRFの自己教師型プレトレーニングであるNeRF-MAE(NeRF-MAE)を目覚ましいスケールで実施し,様々な3Dタスクの性能向上を実現した。
  論文  参考訳（メタデータ） (2024-04-01T17:59:55Z)
• SANeRF-HQ: Segment Anything for NeRF in High Quality [61.77762568224097]
  本研究では,高品質な物体の高品質な3次元セグメンテーションを実現するために,SANeRF-HQ(Segment Anything for NeRF in High Quality)を提案する。 我々は,集約時のセグメンテーション境界の精度を高めるために密度場とRGB類似性を用いる。
  論文  参考訳（メタデータ） (2023-12-03T23:09:38Z)
• Instance Neural Radiance Field [62.152611795824185]
  本稿では,最初の学習ベースNeRF3Dインスタンスセグメンテーションパイプラインについて述べる。 我々は、NeRFのサンプルボリューム特徴に基づいて、3Dプロポーザルベースのマスク予測ネットワークを採用する。 また、本手法は、そのような結果を純粋推論で最初に達成した手法の一つである。
  論文  参考訳（メタデータ） (2023-04-10T05:49:24Z)
• Lightweight integration of 3D features to improve 2D image segmentation [1.3799488979862027]
  画像のセグメンテーションは3次元の基底構造を必要とせずに3次元の幾何学的情報から恩恵を受けることができることを示す。 提案手法は,多くの2次元セグメンテーションネットワークに適用でき,性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-12-16T08:22:55Z)
• SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields [26.296017756560467]
  3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
  論文  参考訳（メタデータ） (2022-11-22T13:14:50Z)
• SegNeRF: 3D Part Segmentation with Neural Radiance Fields [63.12841224024818]
  SegNeRFは、通常の放射場とセマンティックフィールドを統合するニューラルネットワーク表現である。 SegNeRFは、未確認のオブジェクトであっても、ポーズされた画像から幾何学、外観、意味情報を同時に予測することができる。 SegNeRFは、野生で撮影されたオブジェクトの1つのイメージから、対応する部分のセグメンテーションによって、明示的な3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2022-11-21T07:16:03Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• Decomposing 3D Scenes into Objects via Unsupervised Volume Segmentation [26.868351498722884]
  ニューラルラジアンスフィールド(NeRF)の集合として表現された3Dモデルにシーンの単一のイメージを変換する手法であるObSuRFを紹介します。 RGB-D入力でのNeRFのトレーニングを可能にする新しい損失を導き出し、より計算的に学習を効率化します。
  論文  参考訳（メタデータ） (2021-04-02T16:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。