論文の概要: Self-Supervised Unseen Object Instance Segmentation via Long-Term Robot Interaction

• arxiv url: http://arxiv.org/abs/2302.03793v1
• Date: Tue, 7 Feb 2023 23:11:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 17:51:03.599416
• Title: Self-Supervised Unseen Object Instance Segmentation via Long-Term Robot Interaction
• Title（参考訳）: 長期ロボットインタラクションによる自己教師なしオブジェクトインスタンスセグメンテーション
• Authors: Yangxiao Lu, Ninad Khargonkar, Zesheng Xu, Charles Averill, Kamalesh Palanisamy, Kaiyu Hang, Yunhui Guo, Nicholas Ruozzi, Yu Xiang
• Abstract要約: 本研究では,オブジェクトとの長期的なインタラクションを活用することで,オブジェクトのインスタンス分割を現実の世界で改善するための新しいロボットシステムを提案する。 本システムは,ロボットのプッシュ動作の後,オブジェクトのセグメント化の決定に反する。 システムによって収集された実世界データを用いて合成データに基づいて訓練されたセグメンテーションネットワークを微調整することで,システムの有用性を実証する。
• 参考スコア（独自算出の注目度）: 23.572104156617844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a novel robotic system for improving unseen object instance segmentation in the real world by leveraging long-term robot interaction with objects. Previous approaches either grasp or push an object and then obtain the segmentation mask of the grasped or pushed object after one action. Instead, our system defers the decision on segmenting objects after a sequence of robot pushing actions. By applying multi-object tracking and video object segmentation on the images collected via robot pushing, our system can generate segmentation masks of all the objects in these images in a self-supervised way. These include images where objects are very close to each other, and segmentation errors usually occur on these images for existing object segmentation networks. We demonstrate the usefulness of our system by fine-tuning segmentation networks trained on synthetic data with real-world data collected by our system. We show that, after fine-tuning, the segmentation accuracy of the networks is significantly improved both in the same domain and across different domains. In addition, we verify that the fine-tuned networks improve top-down robotic grasping of unseen objects in the real world.
• Abstract（参考訳）: 本研究では,オブジェクトとの長期的なインタラクションを活用することで,オブジェクトのインスタンス分割を現実の世界で改善するための新しいロボットシステムを提案する。 従来のアプローチでは、オブジェクトをつかむか、押すかのいずれかで、ひとつのアクションの後、つかむか押されるオブジェクトのセグメンテーションマスクを取得する。 我々のシステムは、ロボットのプッシュアクションの連続の後、オブジェクトをセグメント化する決定に反する。 ロボットプッシュで収集した画像に多目的追跡とビデオオブジェクトのセグメンテーションを適用することで,これらの画像中の全オブジェクトのセグメンテーションマスクを自己管理的に生成することができる。 これらは、オブジェクトが互いに非常に近い画像を含み、セグメンテーションエラーは通常、既存のオブジェクトセグメンテーションネットワークでこれらの画像に発生する。 本システムで収集した実世界データを用いた合成データに基づく微調整セグメンテーションネットワークにより,本システムの有用性を実証する。 その結果,ネットワークの分割精度は,同一領域と異なる領域の両方において著しく向上することがわかった。 さらに,ネットワークの微調整により,ロボットによる実世界の物体把握が改善されることを検証した。

関連論文リスト

• LAC-Net: Linear-Fusion Attention-Guided Convolutional Network for Accurate Robotic Grasping Under the Occlusion [79.22197702626542]
  本稿では, 乱れ場面におけるロボットグルーピングのためのアモーダルセグメンテーションを探求する枠組みを提案する。 線形融合注意誘導畳み込みネットワーク(LAC-Net)を提案する。 その結果,本手法が最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-08-06T14:50:48Z)
• Training-Free Robust Interactive Video Object Segmentation [82.05906654403684]
  対話型ビデオオブジェクトセグメンテーション(I-PT)のためのトレーニングフリープロンプトトラッキングフレームワークを提案する。 スパースポイントとボックストラッキングを共同で採用し、不安定なポイントをフィルタリングし、オブジェクトワイズ情報をキャプチャします。 我々のフレームワークは、人気のあるVOSデータセット上で、ゼロショットビデオセグメンテーションの堅牢な結果を示してきた。
  論文  参考訳（メタデータ） (2024-06-08T14:25:57Z)
• RISeg: Robot Interactive Object Segmentation via Body Frame-Invariant Features [6.358423536732677]
  本稿では,ロボットインタラクションとデザインされたボディーフレーム不変機能を用いて,不正確なセグメンテーションを補正する新しい手法を提案する。 オブジェクト分割精度を平均80.7%とすることで、散らばったシーンを正確にセグメント化するための対話型知覚パイプラインの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-04T05:03:24Z)
• Self-Supervised Instance Segmentation by Grasping [84.2469669256257]
  我々は、画像の前後から把握対象をセグメント化するためのグリップセグメンテーションモデルを学習する。 セグメント化されたオブジェクトを使用して、元のシーンからオブジェクトを"カット"し、それらを新しいシーンに"ペースト"することで、インスタンスの監視を生成する。 本稿では,従来の画像サブトラクション手法と比較して,グリップセグメント化モデルにより,グリップオブジェクトをセグメント化する場合の誤差が5倍になることを示す。
  論文  参考訳（メタデータ） (2023-05-10T16:51:36Z)
• DynaMITe: Dynamic Query Bootstrapping for Multi-object Interactive Segmentation Transformer [58.95404214273222]
  最先端のインスタンスセグメンテーション手法の多くは、訓練のために大量のピクセル精度のグランドトルースに依存している。 ユーザインタラクションを時間的クエリとして表現するDynaMITeという,より効率的なアプローチを導入する。 我々のアーキテクチャはまた、改善中にイメージ機能を再計算する必要をなくし、単一のイメージに複数のインスタンスをセグメント化するためのインタラクションを少なくする。
  論文  参考訳（メタデータ） (2023-04-13T16:57:02Z)
• Semantically Grounded Object Matching for Robust Robotic Scene Rearrangement [21.736603698556042]
  そこで本研究では,大規模な事前学習型視覚言語モデルを用いて,オブジェクトをクロスインスタンス設定でマッチングするオブジェクトマッチング手法を提案する。 これにより、クロスインスタンス環境でのマッチング性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-11-15T18:39:43Z)
• RICE: Refining Instance Masks in Cluttered Environments with Graph Neural Networks [53.15260967235835]
  本稿では,インスタンスマスクのグラフベース表現を利用して,そのような手法の出力を改良する新しいフレームワークを提案する。 我々は、セグメンテーションにスマートな摂動をサンプリングできるディープネットワークと、オブジェクト間の関係をエンコード可能なグラフニューラルネットワークを訓練し、セグメンテーションを評価する。 本稿では,本手法によって生成された不確実性推定を用いてマニピュレータを誘導し,乱れたシーンを効率的に理解するアプリケーションについて紹介する。
  論文  参考訳（メタデータ） (2021-06-29T20:29:29Z)
• DyStaB: Unsupervised Object Segmentation via Dynamic-Static Bootstrapping [72.84991726271024]
  我々は,コヒーレントなシーン全体を移動しているように見えるシーンの画像の一部を検出し,分割するための教師なしの手法について述べる。 提案手法はまず,セグメント間の相互情報を最小化することにより,運動場を分割する。 セグメントを使用してオブジェクトモデルを学習し、静的なイメージの検出に使用することができる。
  論文  参考訳（メタデータ） (2020-08-16T22:05:13Z)
• Learning Object Depth from Camera Motion and Video Object Segmentation [43.81711115175958]
  本稿では,カメラの動きを測定することによって,分割対象の深度を推定する学習の課題に対処する。 我々は、カメラとオブジェクト間の距離の変化に対してスケールされた人工的なオブジェクトセグメンテーションを作成し、そのネットワークは、セグメンテーションエラーがあっても、オブジェクトの深さを推定することを学ぶ。 ロボットカメラを用いて、YCBデータセットから物体を検知するためのアプローチと、運転中の障害物を見つけるための車両カメラとのアプローチを実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:50:57Z)
• Self-supervised Transfer Learning for Instance Segmentation through Physical Interaction [25.956451840257916]
  本稿では,ロボットが自己指導型で環境と対話してオブジェクトをセグメント化することを学習するための移動学習手法を提案する。 我々のロボットは未知の物体をテーブルの上に押し込み、光学フローからの情報を用いて物体マスクの形でトレーニングラベルを作成する。 学習したネットワーク(SelfDeepMask)を,難易度と散らかったシーンを新しいオブジェクトで表現した実画像群を用いて評価した。
  論文  参考訳（メタデータ） (2020-05-19T14:31:24Z)
• Instance Segmentation of Visible and Occluded Regions for Finding and Picking Target from a Pile of Objects [25.836334764387498]
  本研究では,対象物体の発見・把握が可能な物体の山から対象物を選択するロボットシステムを提案する。 既存のインスタンスセグメンテーションモデルを新しいリルックアーキテクチャで拡張し、モデルがインスタンス間の関係を明示的に学習する。 また、画像合成により、人間のアノテーションを使わずに新しいオブジェクトを処理できるシステムを構築する。
  論文  参考訳（メタデータ） (2020-01-21T12:28:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。