論文の概要: Enforcing View-Consistency in Class-Agnostic 3D Segmentation Fields

• arxiv url: http://arxiv.org/abs/2408.09928v3
• Date: Thu, 03 Apr 2025 14:23:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:53:35.641830
• Title: Enforcing View-Consistency in Class-Agnostic 3D Segmentation Fields
• Title（参考訳）: クラス非依存な3次元セグメンテーションフィールドにおけるビュー一貫性の強化
• Authors: Corentin Dumery, Aoxiang Fan, Ren Li, Nicolas Talabot, Pascal Fua,
• Abstract要約: Radiance Fieldsは、複数の画像から3Dシーンをモデリングするための強力なツールになっている。 いくつかの手法は2Dセマンティックマスクを用いてうまく機能するが、クラスに依存しないセグメンテーションにはあまり一般化しない。 より最近の手法では、コントラスト学習を用いて高次元の3次元特徴場を最適化することでこの問題を回避することができる。
• 参考スコア（独自算出の注目度）: 46.711276257688326
• License:
• Abstract: Radiance Fields have become a powerful tool for modeling 3D scenes from multiple images. However, they remain difficult to segment into semantically meaningful regions. Some methods work well using 2D semantic masks, but they generalize poorly to class-agnostic segmentations. More recent methods circumvent this issue by using contrastive learning to optimize a high-dimensional 3D feature field instead. However, recovering a segmentation then requires clustering and fine-tuning the associated hyperparameters. In contrast, we aim to identify the necessary changes in segmentation field methods to directly learn a segmentation field while being robust to inconsistent class-agnostic masks, successfully decomposing the scene into a set of objects of any class. By introducing an additional spatial regularization term and restricting the field to a limited number of competing object slots against which masks are matched, a meaningful object representation emerges that best explains the 2D supervision. Our experiments demonstrate the ability of our method to generate 3D panoptic segmentations on complex scenes, and extract high-quality 3D assets from radiance fields that can then be used in virtual 3D environments.
• Abstract（参考訳）: Radiance Fieldsは、複数の画像から3Dシーンをモデリングするための強力なツールになっている。 しかし、意味的に意味のある領域に区分することは困難である。 いくつかの方法は2Dセマンティックマスクを用いてうまく機能するが、クラスに依存しないセグメンテーションにはあまり一般化しない。 より最近の手法では、コントラスト学習を用いて高次元の3次元特徴場を最適化することでこの問題を回避することができる。 しかし、セグメンテーションを回復するには、クラスタ化と関連するハイパーパラメータの微調整が必要である。 これとは対照的に,セグメンテーションフィールド法において,セグメンテーションフィールドを直接学習するために必要な変更を,一貫性のないクラス非依存のマスクに頑健にし,シーンを任意のクラスのオブジェクトの集合に分解することに成功した。 追加の空間正規化項を導入し、マスクがマッチする限られた数の競合するオブジェクトスロットにフィールドを制限することにより、有意義なオブジェクト表現が出現し、2Dの監督を最もよく説明する。 実験では,複雑なシーンで3次元パノプティクスのセグメンテーションを生成し,仮想3次元環境において使用可能な放射場から高品質な3Dアセットを抽出する手法を実証した。

関連論文リスト

• CutS3D: Cutting Semantics in 3D for 2D Unsupervised Instance Segmentation [13.871856894814005]
  我々は,シーンのポイントクラウド表現を利用して,最後の2Dインスタンスを得るために,3次元のセマンティックマスクをカットすることを提案する。 また,クリーンな学習信号の分離を目的とした3つの空間信頼成分を用いたクラス非依存検出器のトレーニングの強化も提案する。
  論文  参考訳（メタデータ） (2024-11-25T12:11:27Z)
• XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation [72.12250272218792]
  本稿では,3次元特徴量と2次元テキスト埋め込み空間とのより精巧なマスクレベルのアライメントを,クロスモーダルマスク推論フレームワークであるXMask3Dを用いて提案する。 我々は、3Dグローバルな特徴を暗黙の条件として、事前訓練された2D denoising UNetに統合し、セグメンテーションマスクの生成を可能にする。 生成した2Dマスクを用いて、マスクレベルの3D表現を視覚言語の特徴空間と整合させ、3D幾何埋め込みの開語彙能力を増大させる。
  論文  参考訳（メタデータ） (2024-11-20T12:02:12Z)
• Fast and Efficient: Mask Neural Fields for 3D Scene Segmentation [47.08813064337934]
  本稿では,新しい視点から3次元オープン語彙セグメンテーションを実現するMaskFieldを提案する。 MaskFieldは、マスクの特徴フィールドとクエリを定式化することによって、基礎モデルからマスクと意味的特徴の蒸留を分解する。 実験の結果,MaskFieldは従来の最先端手法を超越するだけでなく,極めて高速な収束を実現することがわかった。
  論文  参考訳（メタデータ） (2024-07-01T12:07:26Z)
• OR-NeRF: Object Removing from 3D Scenes Guided by Multiview Segmentation with Neural Radiance Fields [53.32527220134249]
  ニューラル・レージアンス・フィールド(NeRF)の出現により,3次元シーン編集への関心が高まっている。 現在の手法では、時間を要するオブジェクトのラベル付け、特定のターゲットを削除する能力の制限、削除後のレンダリング品質の妥協といった課題に直面している。 本稿では, OR-NeRF と呼ばれる新しいオブジェクト除去パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-17T18:18:05Z)
• Segment Anything in 3D with Radiance Fields [83.14130158502493]
  本稿では,Segment Anything Model (SAM) を一般化して3次元オブジェクトをセグメント化する。 提案手法をSA3D, 略してSegment Anything in 3Dと呼ぶ。 実験では,SA3Dが様々なシーンに適応し,数秒で3Dセグメンテーションを実現することを示す。
  論文  参考訳（メタデータ） (2023-04-24T17:57:15Z)
• SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields [26.296017756560467]
  3Dでは、解は複数のビューで一貫し、幾何学的に有効でなければならない。 本稿では,これらの課題に対処する新しい3Dインペイント手法を提案する。 我々はまず,NeRF法と2次元セグメンテーション法と比較して,マルチビューセグメンテーションにおけるアプローチの優位性を実証する。
  論文  参考訳（メタデータ） (2022-11-22T13:14:50Z)
• ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
  OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。 セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
  論文  参考訳（メタデータ） (2022-11-22T06:19:37Z)
• Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation [55.9577535403381]
  本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。 提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。 我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
  論文  参考訳（メタデータ） (2022-10-02T11:14:23Z)
• Decomposing 3D Scenes into Objects via Unsupervised Volume Segmentation [26.868351498722884]
  ニューラルラジアンスフィールド(NeRF)の集合として表現された3Dモデルにシーンの単一のイメージを変換する手法であるObSuRFを紹介します。 RGB-D入力でのNeRFのトレーニングを可能にする新しい損失を導き出し、より計算的に学習を効率化します。
  論文  参考訳（メタデータ） (2021-04-02T16:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。