論文の概要: SupeRGB-D: Zero-shot Instance Segmentation in Cluttered Indoor Environments

• arxiv url: http://arxiv.org/abs/2212.11922v2
• Date: Thu, 25 May 2023 12:25:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 23:07:43.235902
• Title: SupeRGB-D: Zero-shot Instance Segmentation in Cluttered Indoor Environments
• Title（参考訳）: SupeRGB-D: クラッタ内環境におけるゼロショットインスタンスセグメンテーション
• Authors: Evin P{\i}nar \"Ornek, Aravindhan K Krishnan, Shreekant Gayaka, Cheng-Hao Kuo, Arnie Sen, Nassir Navab, Federico Tombari
• Abstract要約: 本研究では,RGB-Dデータからゼロショットのインスタンスセグメンテーション(ZSIS)を探索し,意味的カテゴリに依存しない方法で未知のオブジェクトを識別する。 本稿では,注釈付きオブジェクトを用いて画素のオブジェクト性」を学習し,乱雑な屋内環境における未知のオブジェクトカテゴリに一般化する手法を提案する。
• 参考スコア（独自算出の注目度）: 67.34330257205525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Object instance segmentation is a key challenge for indoor robots navigating cluttered environments with many small objects. Limitations in 3D sensing capabilities often make it difficult to detect every possible object. While deep learning approaches may be effective for this problem, manually annotating 3D data for supervised learning is time-consuming. In this work, we explore zero-shot instance segmentation (ZSIS) from RGB-D data to identify unseen objects in a semantic category-agnostic manner. We introduce a zero-shot split for Tabletop Objects Dataset (TOD-Z) to enable this study and present a method that uses annotated objects to learn the ``objectness'' of pixels and generalize to unseen object categories in cluttered indoor environments. Our method, SupeRGB-D, groups pixels into small patches based on geometric cues and learns to merge the patches in a deep agglomerative clustering fashion. SupeRGB-D outperforms existing baselines on unseen objects while achieving similar performance on seen objects. We further show competitive results on the real dataset OCID. With its lightweight design (0.4 MB memory requirement), our method is extremely suitable for mobile and robotic applications. Additional DINO features can increase performance with a higher memory requirement. The dataset split and code are available at https://github.com/evinpinar/supergb-d.
• Abstract（参考訳）: オブジェクトインスタンスのセグメンテーションは多くの小さなオブジェクトで散らかった環境をナビゲートする屋内ロボットにとって重要な課題である。 3Dセンシング能力の限界はしばしば、可能な全てのオブジェクトを検出するのを難しくする。 ディープラーニングのアプローチはこの問題に有効かもしれないが、教師付き学習のために手動で3Dデータをアノテートするのは時間を要する。 本研究では,RGB-Dデータからゼロショットのインスタンスセグメンテーション(ZSIS)を探索し,意味的カテゴリに依存しない方法で未知のオブジェクトを識別する。 本稿では,テーブルトップオブジェクトデータセット(tod-z)のゼロショットスプリットを導入し,アノテートされたオブジェクトを用いてピクセルの ‘objectness' を学習し,乱雑な屋内環境において被写体カテゴリに一般化する手法を提案する。 提案手法であるsupergb-dは,画素を幾何学的手がかりに基づいて小さなパッチにグループ化し,そのパッチを深い凝集的クラスタリング方式でマージすることを学ぶ。 SupeRGB-Dは、見えないオブジェクトで既存のベースラインを上回り、見えるオブジェクトで同様のパフォーマンスを達成する。 さらに、実際のデータセットOCID上での競合結果を示す。 軽量な設計(0.4MBのメモリ要件)により,本手法はモバイルおよびロボットアプリケーションに極めて適している。 追加のdino機能により、より高いメモリ要求でパフォーマンスが向上する。 データセットの分割とコードはhttps://github.com/evinpinar/supergb-dで入手できる。

関連論文リスト

• Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast Contrastive Fusion [110.84357383258818]
  本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。 このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。 我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
  論文  参考訳（メタデータ） (2023-06-07T17:57:45Z)
• 3D Small Object Detection with Dynamic Spatial Pruning [62.72638845817799]
  本稿では,3次元小物体検出のための効率的な特徴解析手法を提案する。 空間分解能の高いDSPDet3Dというマルチレベル3次元検出器を提案する。 ほぼ全ての物体を検知しながら、4500k以上のポイントからなる建物全体を直接処理するには2秒もかからない。
  論文  参考訳（メタデータ） (2023-05-05T17:57:04Z)
• Learning Object-level Point Augmentor for Semi-supervised 3D Object Detection [85.170578641966]
  半教師付き3次元オブジェクト検出のための局所変換を行うオブジェクトレベルポイント拡張器(OPA)を提案する。 このようにして、結果のオーグメンタは、無関係なバックグラウンドではなく、オブジェクトインスタンスを強調するように導出されます。 ScanNetとSUN RGB-Dデータセットの実験は、提案したOPAが最先端の手法に対して好適に動作することを示している。
  論文  参考訳（メタデータ） (2022-12-19T06:56:14Z)
• FewSOL: A Dataset for Few-Shot Object Learning in Robotic Environments [21.393674766169543]
  本稿では,オブジェクト認識のためのFew-Shot Object Learningデータセットについて紹介する。 私たちは、異なる視点から、オブジェクトごとに9つのRGB-D画像を持つ336の現実世界のオブジェクトをキャプチャしました。 評価結果から, ロボット環境下では, 数発の物体分類において, 改良の余地がまだ大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-07-06T05:57:24Z)
• Learning RGB-D Feature Embeddings for Unseen Object Instance Segmentation [67.88276573341734]
  合成データからRGB-D特徴埋め込みを学習し,オブジェクトのインスタンスセグメンテーションを未確認する手法を提案する。 距離学習損失関数を用いて画素単位の機能埋め込みを学習する。 新たな2段階クラスタリングアルゴリズムにより,セグメンテーションの精度をさらに向上する。
  論文  参考訳（メタデータ） (2020-07-30T00:23:07Z)
• Unseen Object Instance Segmentation for Robotic Environments [67.88276573341734]
  本稿では,テーブルトップ環境において未確認のオブジェクトインスタンスをセグメント化する手法を提案する。 UOIS-Netは2つのステージで構成されている: まず、オブジェクトのインスタンス中心の投票を2Dまたは3Dで生成するために、深さでのみ動作する。 驚くべきことに、我々のフレームワークは、RGBが非フォトリアリスティックな合成RGB-Dデータから学習することができる。
  論文  参考訳（メタデータ） (2020-07-16T01:59:13Z)
• Spatial Semantic Embedding Network: Fast 3D Instance Segmentation with Deep Metric Learning [5.699350798684963]
  ディープラーニングを用いた3次元インスタンスセグメンテーションのための,単純かつ効率的なアルゴリズムを提案する。 大規模シーンからの高レベルのインテリジェントなタスクに対して、3Dインスタンスセグメンテーションはオブジェクトの個々のインスタンスを認識する。 我々は,ScanNet 3D インスタンス分割ベンチマークにおいて,我々のアルゴリズムの最先端性能をAPスコアで示す。
  論文  参考訳（メタデータ） (2020-07-07T02:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。