論文の概要: CutS3D: Cutting Semantics in 3D for 2D Unsupervised Instance Segmentation

• arxiv url: http://arxiv.org/abs/2411.16319v2
• Date: Tue, 26 Nov 2024 07:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:35:47.697963
• Title: CutS3D: Cutting Semantics in 3D for 2D Unsupervised Instance Segmentation
• Title（参考訳）: CutS3D:2次元教師なしインスタンスセグメンテーションのための3次元のセマンティクスのカット
• Authors: Leon Sick, Dominik Engel, Sebastian Hartwig, Pedro Hermosilla, Timo Ropinski,
• Abstract要約: 我々は,シーンのポイントクラウド表現を利用して,最後の2Dインスタンスを得るために,3次元のセマンティックマスクをカットすることを提案する。 また,クリーンな学習信号の分離を目的とした3つの空間信頼成分を用いたクラス非依存検出器のトレーニングの強化も提案する。
• 参考スコア（独自算出の注目度）: 13.871856894814005
• License:
• Abstract: Traditionally, algorithms that learn to segment object instances in 2D images have heavily relied on large amounts of human-annotated data. Only recently, novel approaches have emerged tackling this problem in an unsupervised fashion. Generally, these approaches first generate pseudo-masks and then train a class-agnostic detector. While such methods deliver the current state of the art, they often fail to correctly separate instances overlapping in 2D image space since only semantics are considered. To tackle this issue, we instead propose to cut the semantic masks in 3D to obtain the final 2D instances by utilizing a point cloud representation of the scene. Furthermore, we derive a Spatial Importance function, which we use to resharpen the semantics along the 3D borders of instances. Nevertheless, these pseudo-masks are still subject to mask ambiguity. To address this issue, we further propose to augment the training of a class-agnostic detector with three Spatial Confidence components aiming to isolate a clean learning signal. With these contributions, our approach outperforms competing methods across multiple standard benchmarks for unsupervised instance segmentation and object detection.
• Abstract（参考訳）: 伝統的に、オブジェクトのインスタンスを2D画像に分割するアルゴリズムは、大量の人間の注釈付きデータに大きく依存している。 つい最近になって、この問題を教師なしの方法で解決する新しいアプローチが登場した。 一般に、これらのアプローチはまず擬似マスクを生成し、次にクラスに依存しない検出器を訓練する。 このような手法は現在の最先端を提供するが、セマンティクスのみが考慮されているため、2D画像空間で重複するインスタンスを正しく分離することができないことが多い。 この問題に対処するために,シーンのポイントクラウド表現を利用して3次元のセマンティックマスクをカットして最終2次元のインスタンスを得る方法を提案する。 さらに,実例の3次元境界に沿ってセマンティクスを再構築するために,空間的重要度関数を導出する。 しかし、これらの擬似マスクは依然としてマスクの曖昧さを被っている。 この問題に対処するために,クリーンな学習信号の分離を目的とした3つの空間信頼成分を用いたクラス非依存型検出器のトレーニングを強化することを提案する。 これらの貢献により、本手法は、教師なしインスタンスのセグメンテーションとオブジェクト検出のための複数の標準ベンチマークで競合する手法よりも優れている。

関連論文リスト

• SA3DIP: Segment Any 3D Instance with Potential 3D Priors [41.907914881608995]
  本稿では,SA3DIPを提案する。SA3DIPは,任意の3Dインスタンスを,潜在的3Dプライオリティを利用してセグメント化するための新しい手法である。 具体的には,幾何学的およびテクスチャ的先行性の両方に基づいて,相補的な3Dプリミティブを生成する。 一方,3次元検出器を用いて3次元空間からの補足制約を導入し,さらなるマージプロセスの導出を行う。
  論文  参考訳（メタデータ） (2024-11-06T10:39:00Z)
• MOSE: Monocular Semantic Reconstruction Using NeRF-Lifted Noisy Priors [11.118490283303407]
  画像レベルの雑音を3次元に引き上げるニューラルネットワークセマンティック・リコンストラクション手法を提案する。 本手法は3次元空間と2次元空間の両方で正確な意味論と幾何学を生成する。
  論文  参考訳（メタデータ） (2024-09-21T05:12:13Z)
• Bayesian Self-Training for Semi-Supervised 3D Segmentation [59.544558398992386]
  3Dセグメンテーションはコンピュータビジョンの中核的な問題である。 完全に教師されたトレーニングを採用するために、3Dポイントクラウドを密にラベル付けすることは、労働集約的で高価です。 半教師付きトレーニングは、ラベル付きデータの小さなセットのみを付与し、より大きなラベル付きデータセットを伴って、より実用的な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-09-12T14:54:31Z)
• DiscoNeRF: Class-Agnostic Object Field for 3D Object Discovery [46.711276257688326]
  NeRFは複数の画像から3Dシーンをモデリングするための強力なツールになっている。 以前のNeRFの3Dセグメンテーションへのアプローチは、単一のオブジェクトを分離するためにユーザーインタラクションを必要とするか、あるいは監督のために限られた数のクラスを持つ2Dセマンティックマスクに依存している。 本稿では,一貫性のないセグメンテーションに頑健な手法を提案し,シーンを任意のクラスのオブジェクトの集合に分解することに成功した。
  論文  参考訳（メタデータ） (2024-08-19T12:07:24Z)
• MaskClustering: View Consensus based Mask Graph Clustering for Open-Vocabulary 3D Instance Segmentation [11.123421412837336]
  オープン語彙の3Dインスタンスセグメンテーションは、事前に定義されたカテゴリなしで3Dインスタンスをセグメンテーションできる能力のために最先端である。 最近の研究はまず2Dモデルを通して2Dオープンボキャブラリマスクを生成し、2つの隣接するフレーム間で計算されたメトリクスに基づいてそれらを3Dインスタンスにマージする。 本稿では,多視点観測の利用率を高めるために,新しい基準であるビューコンセンサス率を提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:56:15Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes [35.38074724231105]
  UnScene3Dは、クラスに依存しない屋内スキャンの3Dインスタンスセグメンテーションのための、完全に教師なしの3D学習アプローチである。 高分解能な3次元データに基づく効率的な表現と学習を可能にする。 提案手法は,最先端の教師なし3次元インスタンス分割法を平均精度300%以上で改善する。
  論文  参考訳（メタデータ） (2023-03-25T19:15:16Z)
• Mask3D: Mask Transformer for 3D Semantic Instance Segmentation [89.41640045953378]
  一般的なTransformerビルディングブロックを利用して、3Dポイントクラウドからインスタンスマスクを直接予測できることが示されています。 Transformerデコーダを使用して、インスタンスクエリは、複数のスケールでクラウド機能をポイントする反復的な参加者によって学習される。 Mask3Dは、新しい最先端ScanNetテスト(+6.2 mAP)、S3DIS 6-fold(+10.1 mAP)、LS3D(+11.2 mAP)、ScanNet200テスト(+12.4 mAP)を設定する。
  論文  参考訳（メタデータ） (2022-10-06T17:55:09Z)
• Unsupervised Object Detection with LiDAR Clues [70.73881791310495]
  本稿では,LiDARの手がかりを用いた非教師対象検出のための最初の実用的手法を提案する。 提案手法では,まず3次元点雲に基づく候補オブジェクトセグメントを生成する。 そして、セグメントラベルを割り当て、セグメントラベルネットワークを訓練する反復的なセグメントラベル処理を行う。 ラベル付けプロセスは、長い尾とオープンエンドの分布の問題を軽減するために慎重に設計されている。
  論文  参考訳（メタデータ） (2020-11-25T18:59:54Z)
• Semantic Correspondence via 2D-3D-2D Cycle [58.023058561837686]
  本稿では,3次元領域に利用して意味的対応を予測するための新しい手法を提案する。 提案手法は,標準的なセマンティックベンチマークにおいて比較,さらに優れた結果を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-20T05:27:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。