論文の概要: Scene-Generalizable Interactive Segmentation of Radiance Fields
- arxiv url: http://arxiv.org/abs/2308.05104v1
- Date: Wed, 9 Aug 2023 17:55:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 12:45:52.523111
- Title: Scene-Generalizable Interactive Segmentation of Radiance Fields
- Title(参考訳): 放射界のシーン一般化型インタラクティブセグメンテーション
- Authors: Songlin Tang, Wenjie Pei, Xin Tao, Tanghui Jia, Guangming Lu, Yu-Wing
Tai
- Abstract要約: 我々はSGISRF(Scene-Generalizable Interactive in Radiance Fields)の最初の試みを行う。
そこで本研究では,複数視点の2D画像に対して,対話的なユーザクリック数回しか表示されない,新しい(見えない)シーンの3Dオブジェクトセグメンテーションを実現するSGISRF手法を提案する。
多様なシーンをカバーする2つの実世界の挑戦的ベンチマーク実験は,1) 提案手法の有効性とシーン一般化性を示し,2) シーン固有の最適化を必要とする古典的手法と比較して良好な性能を示した。
- 参考スコア(独自算出の注目度): 64.37093918762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing methods for interactive segmentation in radiance fields entail
scene-specific optimization and thus cannot generalize across different scenes,
which greatly limits their applicability. In this work we make the first
attempt at Scene-Generalizable Interactive Segmentation in Radiance Fields
(SGISRF) and propose a novel SGISRF method, which can perform 3D object
segmentation for novel (unseen) scenes represented by radiance fields, guided
by only a few interactive user clicks in a given set of multi-view 2D images.
In particular, the proposed SGISRF focuses on addressing three crucial
challenges with three specially designed techniques. First, we devise the
Cross-Dimension Guidance Propagation to encode the scarce 2D user clicks into
informative 3D guidance representations. Second, the Uncertainty-Eliminated 3D
Segmentation module is designed to achieve efficient yet effective 3D
segmentation. Third, Concealment-Revealed Supervised Learning scheme is
proposed to reveal and correct the concealed 3D segmentation errors resulted
from the supervision in 2D space with only 2D mask annotations. Extensive
experiments on two real-world challenging benchmarks covering diverse scenes
demonstrate 1) effectiveness and scene-generalizability of the proposed method,
2) favorable performance compared to classical method requiring scene-specific
optimization.
- Abstract(参考訳): 既存のラディアンスフィールドにおけるインタラクティブセグメンテーション手法では、シーン固有の最適化が必要であり、異なるシーンをまたいで一般化できないため、適用性が大幅に制限される。
本研究は,SGISRF(Scene-Generalizable Interactive Segmentation in Radiance Fields)の最初の試みであり,複数視点の2D画像に対して,対話的なユーザクリック数回のみをガイドした,放射場で表現された新しい(見えない)シーンの3Dオブジェクトセグメンテーションを実現する新しいSGISRF法を提案する。
特に、提案したSGISRFは、特別に設計された3つの技術を用いて、3つの重要な課題に対処することに焦点を当てている。
まず,少ない2Dユーザクリックを情報的な3Dガイダンス表現にエンコードするために,クロスディメンションガイダンス伝搬法を考案する。
第2に, 不確実性解消型3dセグメンテーションモジュールは, 効率的かつ効果的な3dセグメンテーションを実現するために設計されている。
第3に,2次元マスクアノテーションのみを用いた2次元空間の監督による隠れた3次元分割誤差を明らかにし,修正する。
多様なシーンをカバーする2つの実世界の挑戦的ベンチマークの大規模な実験
1)提案手法の有効性とシーン一般化性
2) シーン固有の最適化を必要とする古典的手法と比較して, 性能がよい。
関連論文リスト
- SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance
Fields [97.63648347686456]
放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。
提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。
この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
論文 参考訳(メタデータ) (2023-12-26T02:50:42Z) - Segment Any 3D Gaussians [90.24631304563835]
本稿では,新しい3次元対話型セグメンテーション手法であるSegment Any 3D GAussians (SAGA)を紹介する。
SAGAは2次元セグメンテーションの基礎モデルを3次元ガウススプラッティング(3DGS)とシームレスにブレンドする。
SAGAはミリ秒で3Dセグメンテーションを完了でき、以前のSOTAと比べて1000倍の加速を実現している。
論文 参考訳(メタデータ) (2023-12-01T17:15:24Z) - ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic
Reconstruction [62.599588577671796]
本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。
オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
論文 参考訳(メタデータ) (2023-11-29T20:30:18Z) - Geometry Aware Field-to-field Transformations for 3D Semantic
Segmentation [48.307734886370014]
ニューラル・レージアンス・フィールド(NeRF)を利用した3次元セマンティック・セマンティック・セマンティック・セマンティック・セマンティクスの手法を提案する。
表面点雲に沿って特徴を抽出することにより,サンプル効率が高く3次元推論に導出しやすいシーンのコンパクトな表現を実現する。
論文 参考訳(メタデータ) (2023-10-08T11:48:19Z) - Unsupervised Multi-View Object Segmentation Using Radiance Field
Propagation [55.9577535403381]
本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。
提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。
我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
論文 参考訳(メタデータ) (2022-10-02T11:14:23Z) - 3D Guided Weakly Supervised Semantic Segmentation [27.269847900950943]
本稿では,スパース境界ボックスラベルを利用可能な3次元情報に組み込むことにより,弱教師付き2次元セマンティックセマンティックセマンティックセマンティクスモデルを提案する。
手動で2D-3Dセマンティックス(2D-3D-S)データセットのサブセットにバウンディングボックスをラベル付けし、2D-3D推論モジュールを導入し、正確なピクセルワイドセグメント提案マスクを生成する。
論文 参考訳(メタデータ) (2020-12-01T03:34:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。