論文の概要: Self-Supervised Learning of Object Segmentation from Unlabeled RGB-D Videos

• arxiv url: http://arxiv.org/abs/2304.04325v1
• Date: Sun, 9 Apr 2023 23:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 16:25:32.749641
• Title: Self-Supervised Learning of Object Segmentation from Unlabeled RGB-D Videos
• Title（参考訳）: ラベルなしrgb-dビデオからの物体分割の自己教師あり学習
• Authors: Shiyang Lu, Yunfu Deng, Abdeslam Boularias, Kostas Bekris
• Abstract要約: 本研究では,RGB画像中の剛体物体をセグメント化するための自己教師型学習システムを提案する。 提案するパイプラインは、静的オブジェクトのラベル付けされていないRGB-Dビデオに基づいてトレーニングされている。
• 参考スコア（独自算出の注目度）: 11.40098981859033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work proposes a self-supervised learning system for segmenting rigid objects in RGB images. The proposed pipeline is trained on unlabeled RGB-D videos of static objects, which can be captured with a camera carried by a mobile robot. A key feature of the self-supervised training process is a graph-matching algorithm that operates on the over-segmentation output of the point cloud that is reconstructed from each video. The graph matching, along with point cloud registration, is able to find reoccurring object patterns across videos and combine them into 3D object pseudo labels, even under occlusions or different viewing angles. Projected 2D object masks from 3D pseudo labels are used to train a pixel-wise feature extractor through contrastive learning. During online inference, a clustering method uses the learned features to cluster foreground pixels into object segments. Experiments highlight the method's effectiveness on both real and synthetic video datasets, which include cluttered scenes of tabletop objects. The proposed method outperforms existing unsupervised methods for object segmentation by a large margin.
• Abstract（参考訳）: 本研究では,RGB画像中の剛体物体をセグメント化するための自己教師型学習システムを提案する。 提案するパイプラインは、静的オブジェクトのラベルのないrgb-dビデオでトレーニングされ、モバイルロボットがカメラで撮影することができる。 自己教師付きトレーニングプロセスの重要な特徴は、各ビデオから再構成されたポイントクラウドのオーバーセグメンテーション出力で動作するグラフマッチングアルゴリズムである。 グラフマッチングは、ポイントクラウドの登録とともに、ビデオ間で再発生するオブジェクトパターンを見つけ出し、それを3Dオブジェクトの擬似ラベルに組み合わせることができる。 3D擬似ラベルから投影された2Dオブジェクトマスクは、コントラスト学習を通じて画素ワイド特徴抽出器を訓練するために使用される。 オンライン推論では、学習した特徴を使って前景ピクセルをオブジェクトセグメントにクラスタリングする。 実験では、テーブルトップオブジェクトの散らかったシーンを含む実データと合成ビデオの両方で、この手法の有効性を強調している。 提案手法は,既存の非教師なしのオブジェクトセグメンテーション法を大きなマージンで上回っている。

関連論文リスト

• 3D Instance Segmentation Using Deep Learning on RGB-D Indoor Data [0.0]
  2次元領域をベースとした畳み込みニューラルネットワーク(Mask R-CNN)深層学習モデルにポイントベースレンダリングモジュールを適用し,深度情報と統合してオブジェクトの3Dインスタンスを認識し,セグメント化する。 3Dポイントクラウド座標を生成するために、RGB画像内の認識対象領域のセグメンテーションされた2Dピクセルを奥行き画像の(u,v)ポイントにマージする。
  論文  参考訳（メタデータ） (2024-06-19T08:00:35Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• Unified Mask Embedding and Correspondence Learning for Self-Supervised Video Segmentation [76.40565872257709]
  我々は、局所的な識別的特徴学習のためのフレーム間密度対応を同時にモデル化する統合フレームワークを開発する。 ラベルなしビデオから直接マスク誘導シーケンシャルセグメンテーションを実行することができる。 我々のアルゴリズムは、2つの標準ベンチマーク(DAVIS17とYouTube-VOS)に最先端をセットする。
  論文  参考訳（メタデータ） (2023-03-17T16:23:36Z)
• SupeRGB-D: Zero-shot Instance Segmentation in Cluttered Indoor Environments [67.34330257205525]
  本研究では,RGB-Dデータからゼロショットのインスタンスセグメンテーション(ZSIS)を探索し,意味的カテゴリに依存しない方法で未知のオブジェクトを識別する。 本稿では,注釈付きオブジェクトを用いて画素のオブジェクト性」を学習し,乱雑な屋内環境における未知のオブジェクトカテゴリに一般化する手法を提案する。
  論文  参考訳（メタデータ） (2022-12-22T17:59:48Z)
• ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
  OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。 セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
  論文  参考訳（メタデータ） (2022-11-22T06:19:37Z)
• Topologically Persistent Features-based Object Recognition in Cluttered Indoor Environments [1.2691047660244335]
  見えない屋内環境における隠蔽物体の認識は、移動ロボットにとって困難な問題である。 本研究では,物体点雲の3次元形状を捉えるスライシングに基づく新しいトポロジカルディスクリプタを提案する。 これは、隠蔽対象のディスクリプタとそれに対応する非隠蔽対象との類似性を生じさせ、オブジェクトのユニティに基づく認識を可能にする。
  論文  参考訳（メタデータ） (2022-05-16T07:01:16Z)
• A Self-supervised Learning System for Object Detection in Videos Using Random Walks on Graphs [20.369646864364547]
  本稿では,画像中の対象の新規かつ未確認なカテゴリを検出するための,自己教師型学習システムを提案する。 提案システムは,様々なオブジェクトを含むシーンの未ラベル映像を入力として受信する。 ビデオのフレームは深度情報を使ってオブジェクトに分割され、各ビデオに沿ってセグメントが追跡される。
  論文  参考訳（メタデータ） (2020-11-10T23:37:40Z)
• DyStaB: Unsupervised Object Segmentation via Dynamic-Static Bootstrapping [72.84991726271024]
  我々は,コヒーレントなシーン全体を移動しているように見えるシーンの画像の一部を検出し,分割するための教師なしの手法について述べる。 提案手法はまず,セグメント間の相互情報を最小化することにより,運動場を分割する。 セグメントを使用してオブジェクトモデルを学習し、静的なイメージの検出に使用することができる。
  論文  参考訳（メタデータ） (2020-08-16T22:05:13Z)
• Learning RGB-D Feature Embeddings for Unseen Object Instance Segmentation [67.88276573341734]
  合成データからRGB-D特徴埋め込みを学習し,オブジェクトのインスタンスセグメンテーションを未確認する手法を提案する。 距離学習損失関数を用いて画素単位の機能埋め込みを学習する。 新たな2段階クラスタリングアルゴリズムにより,セグメンテーションの精度をさらに向上する。
  論文  参考訳（メタデータ） (2020-07-30T00:23:07Z)
• Self-Supervised Object-in-Gripper Segmentation from Robotic Motions [27.915309216800125]
  ロボットが把握した未知の物体をセグメント化するための頑健な解法を提案する。 我々はRGBビデオシーケンスにおける動きと時間的手がかりを利用する。 当社のアプローチは、カメラキャリブレーションや3Dモデル、あるいは潜在的に不完全な深度データとは独立して、完全に自己管理されている。
  論文  参考訳（メタデータ） (2020-02-11T15:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。