論文の概要: "What's This?" -- Learning to Segment Unknown Objects from Manipulation Sequences

• arxiv url: http://arxiv.org/abs/2011.03279v2
• Date: Thu, 17 Jun 2021 09:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 04:57:58.568306
• Title: "What's This?" -- Learning to Segment Unknown Objects from Manipulation Sequences
• Title（参考訳）: 「これは何ですか?」 --未知のオブジェクトを操作シーケンスから分割する学習
• Authors: Wout Boerdijk, Martin Sundermeyer, Maximilian Durner, Rudolph Triebel
• Abstract要約: 本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。 本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。 我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
• 参考スコア（独自算出の注目度）: 27.915309216800125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel framework for self-supervised grasped object segmentation with a robotic manipulator. Our method successively learns an agnostic foreground segmentation followed by a distinction between manipulator and object solely by observing the motion between consecutive RGB frames. In contrast to previous approaches, we propose a single, end-to-end trainable architecture which jointly incorporates motion cues and semantic knowledge. Furthermore, while the motion of the manipulator and the object are substantial cues for our algorithm, we present means to robustly deal with distraction objects moving in the background, as well as with completely static scenes. Our method neither depends on any visual registration of a kinematic robot or 3D object models, nor on precise hand-eye calibration or any additional sensor data. By extensive experimental evaluation we demonstrate the superiority of our framework and provide detailed insights on its capability of dealing with the aforementioned extreme cases of motion. We also show that training a semantic segmentation network with the automatically labeled data achieves results on par with manually annotated training data. Code and pretrained model are available at https://github.com/DLR-RM/DistinctNet.
• Abstract（参考訳）: 本稿では,ロボットマニピュレータを用いた自己教師付き把持物体セグメンテーションのための新しい枠組みを提案する。 本手法は, rgbフレーム間の動きのみを観察することで, 被写体と被写体との区別を逐次学習する。 従来のアプローチとは対照的に,モーションキューとセマンティック知識を併用した,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。 さらに, マニピュレータと物体の動きはアルゴリズムにとって重要な手がかりであるが, 背景を移動している物体や, 完全に静的なシーンに頑健に対処する手段を提案する。 我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。 広範な実験評価により,提案手法の優位性を実証し,上述の極端な動作事例に対する対処能力に関する詳細な知見を提供する。 また,自動ラベル付きデータで意味セグメンテーションネットワークを訓練することで,手作業による学習データと同等の結果が得られることを示す。 コードと事前訓練されたモデルはhttps://github.com/DLR-RM/DistinctNet.comで入手できる。

関連論文リスト

• Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
  アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。 従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。 本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:59:56Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• SeMoLi: What Moves Together Belongs Together [51.72754014130369]
  動作手がかりに基づく半教師付き物体検出に挑戦する。 近年,移動物体の擬似ラベルインスタンスに対して,動きに基づくクラスタリング手法が適用可能であることが示唆された。 我々は、このアプローチを再考し、オブジェクト検出とモーションインスパイアされた擬似ラベルの両方が、データ駆動方式で取り組めることを示唆する。
  論文  参考訳（メタデータ） (2024-02-29T18:54:53Z)
• Event-Free Moving Object Segmentation from Moving Ego Vehicle [88.33470650615162]
  動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において重要で困難だが、未調査の研究テーマである。 ほとんどのセグメンテーション法は、光学フローマップから得られるモーションキューを利用する。 我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
  論文  参考訳（メタデータ） (2023-04-28T23:43:10Z)
• Instance Segmentation with Cross-Modal Consistency [13.524441194366544]
  本稿では,複数センサモードの測定を協調的に活用するインスタンスセグメンテーションへの新しいアプローチを提案する。 本手法は, センサ・モダリティと時間領域の両面において, 現場の点に対してコントラスト学習を適用した。 この定式化は、視点の変化に不変な埋め込みを学ぶことをモデルに促すことを実証する。
  論文  参考訳（メタデータ） (2022-10-14T21:17:19Z)
• Discovering Objects that Can Move [55.743225595012966]
  手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。 既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。 私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
  論文  参考訳（メタデータ） (2022-03-18T21:13:56Z)
• A System for Traded Control Teleoperation of Manipulation Tasks using Intent Prediction from Hand Gestures [20.120263332724438]
  本稿では,ロボットの知覚と手の動きからの意図予測を含む遠隔操作システムを提案する。 知覚モジュールは、ロボットワークスペースに存在するオブジェクトと、ユーザが把握したいと思われるオブジェクトの意図予測モジュールを識別する。
  論文  参考訳（メタデータ） (2021-07-05T07:37:17Z)
• DyStaB: Unsupervised Object Segmentation via Dynamic-Static Bootstrapping [72.84991726271024]
  我々は,コヒーレントなシーン全体を移動しているように見えるシーンの画像の一部を検出し,分割するための教師なしの手法について述べる。 提案手法はまず,セグメント間の相互情報を最小化することにより,運動場を分割する。 セグメントを使用してオブジェクトモデルを学習し、静的なイメージの検出に使用することができる。
  論文  参考訳（メタデータ） (2020-08-16T22:05:13Z)
• A Deep Learning Approach to Object Affordance Segmentation [31.221897360610114]
  我々は,ビデオと静的画像の両方において,画素単位の価格ラベルを推定するオートエンコーダを設計する。 本モデルは,ソフトアテンション機構を用いて,オブジェクトラベルやバウンディングボックスの必要性を克服する。 本モデルは,SOR3D-AFF上での強い教師付き手法と比較して,競争力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-18T15:34:41Z)
• Self-Supervised Object-in-Gripper Segmentation from Robotic Motions [27.915309216800125]
  ロボットが把握した未知の物体をセグメント化するための頑健な解法を提案する。 我々はRGBビデオシーケンスにおける動きと時間的手がかりを利用する。 当社のアプローチは、カメラキャリブレーションや3Dモデル、あるいは潜在的に不完全な深度データとは独立して、完全に自己管理されている。
  論文  参考訳（メタデータ） (2020-02-11T15:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。