論文の概要: Scene-Generalizable Interactive Segmentation of Radiance Fields

• arxiv url: http://arxiv.org/abs/2308.05104v1
• Date: Wed, 9 Aug 2023 17:55:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 12:45:52.523111
• Title: Scene-Generalizable Interactive Segmentation of Radiance Fields
• Title（参考訳）: 放射界のシーン一般化型インタラクティブセグメンテーション
• Authors: Songlin Tang, Wenjie Pei, Xin Tao, Tanghui Jia, Guangming Lu, Yu-Wing Tai
• Abstract要約: 我々はSGISRF(Scene-Generalizable Interactive in Radiance Fields)の最初の試みを行う。 そこで本研究では,複数視点の2D画像に対して,対話的なユーザクリック数回しか表示されない,新しい(見えない)シーンの3Dオブジェクトセグメンテーションを実現するSGISRF手法を提案する。 多様なシーンをカバーする2つの実世界の挑戦的ベンチマーク実験は,1) 提案手法の有効性とシーン一般化性を示し,2) シーン固有の最適化を必要とする古典的手法と比較して良好な性能を示した。
• 参考スコア（独自算出の注目度）: 64.37093918762
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing methods for interactive segmentation in radiance fields entail scene-specific optimization and thus cannot generalize across different scenes, which greatly limits their applicability. In this work we make the first attempt at Scene-Generalizable Interactive Segmentation in Radiance Fields (SGISRF) and propose a novel SGISRF method, which can perform 3D object segmentation for novel (unseen) scenes represented by radiance fields, guided by only a few interactive user clicks in a given set of multi-view 2D images. In particular, the proposed SGISRF focuses on addressing three crucial challenges with three specially designed techniques. First, we devise the Cross-Dimension Guidance Propagation to encode the scarce 2D user clicks into informative 3D guidance representations. Second, the Uncertainty-Eliminated 3D Segmentation module is designed to achieve efficient yet effective 3D segmentation. Third, Concealment-Revealed Supervised Learning scheme is proposed to reveal and correct the concealed 3D segmentation errors resulted from the supervision in 2D space with only 2D mask annotations. Extensive experiments on two real-world challenging benchmarks covering diverse scenes demonstrate 1) effectiveness and scene-generalizability of the proposed method, 2) favorable performance compared to classical method requiring scene-specific optimization.
• Abstract（参考訳）: 既存のラディアンスフィールドにおけるインタラクティブセグメンテーション手法では、シーン固有の最適化が必要であり、異なるシーンをまたいで一般化できないため、適用性が大幅に制限される。 本研究は,SGISRF(Scene-Generalizable Interactive Segmentation in Radiance Fields)の最初の試みであり,複数視点の2D画像に対して,対話的なユーザクリック数回のみをガイドした,放射場で表現された新しい(見えない)シーンの3Dオブジェクトセグメンテーションを実現する新しいSGISRF法を提案する。 特に、提案したSGISRFは、特別に設計された3つの技術を用いて、3つの重要な課題に対処することに焦点を当てている。 まず,少ない2Dユーザクリックを情報的な3Dガイダンス表現にエンコードするために,クロスディメンションガイダンス伝搬法を考案する。 第2に, 不確実性解消型3dセグメンテーションモジュールは, 効率的かつ効果的な3dセグメンテーションを実現するために設計されている。 第3に,2次元マスクアノテーションのみを用いた2次元空間の監督による隠れた3次元分割誤差を明らかにし,修正する。 多様なシーンをカバーする2つの実世界の挑戦的ベンチマークの大規模な実験 1)提案手法の有効性とシーン一般化性 2) シーン固有の最適化を必要とする古典的手法と比較して, 性能がよい。

関連論文リスト

• Zero-Shot Dual-Path Integration Framework for Open-Vocabulary 3D Instance Segmentation [19.2297264550686]
  Open-vocabulary 3Dのインスタンスセグメンテーションは、従来のクローズドボキャブラリーメソッドを超越する。 我々は、Zero-Shot Dual-Path Integration Frameworkを導入し、3Dと2Dの両方のモダリティの貢献を等しく評価する。 筆者らのフレームワークは,ゼロショット方式で事前学習したモデルを利用しており,モデル非依存であり,目に見えるデータと目に見えないデータの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-16T07:52:00Z)
• iSeg: Interactive 3D Segmentation via Interactive Attention [14.036050263210182]
  iSegは3次元形状を分割するインタラクティブな手法である。 異なる数や種類のクリックを処理できる対話型アテンションモジュールを提案する。 我々は、iSegを異なるドメインからの無数の形状に適用し、その汎用性とユーザ仕様への忠実性を示す。
  論文  参考訳（メタデータ） (2024-04-04T05:54:19Z)
• SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance Fields [92.14328581392633]
  放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。 提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。 この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
  論文  参考訳（メタデータ） (2023-12-26T02:50:42Z)
• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• Geometry Aware Field-to-field Transformations for 3D Semantic Segmentation [48.307734886370014]
  ニューラル・レージアンス・フィールド(NeRF)を利用した3次元セマンティック・セマンティック・セマンティック・セマンティック・セマンティクスの手法を提案する。 表面点雲に沿って特徴を抽出することにより,サンプル効率が高く3次元推論に導出しやすいシーンのコンパクトな表現を実現する。
  論文  参考訳（メタデータ） (2023-10-08T11:48:19Z)
• ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
  OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。 セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
  論文  参考訳（メタデータ） (2022-11-22T06:19:37Z)
• Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation [55.9577535403381]
  本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。 提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。 我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
  論文  参考訳（メタデータ） (2022-10-02T11:14:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。