論文の概要: Learning Keypoints for Robotic Cloth Manipulation using Synthetic Data

• arxiv url: http://arxiv.org/abs/2401.01734v2
• Date: Tue, 21 May 2024 12:13:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 18:51:19.396590
• Title: Learning Keypoints for Robotic Cloth Manipulation using Synthetic Data
• Title（参考訳）: 合成データを用いたロボット衣服マニピュレーションのための学習キーポイント
• Authors: Thomas Lips, Victor-Louis De Gusseme, Francis wyffels,
• Abstract要約: ほぼ平らな布品のキーポイント検出器を訓練するための合成データパイプラインを提案する。 我々は、Tシャツ、タオル、ショートパンツの両方の検出器を訓練し、平均精度は64%、平均キーポイント距離は18ピクセルである。 実世界のデータの微調整により、パフォーマンスは74% mAP、平均距離は9ピクセルに向上する。
• 参考スコア（独自算出の注目度）: 1.125159338610819
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Assistive robots should be able to wash, fold or iron clothes. However, due to the variety, deformability and self-occlusions of clothes, creating robot systems for cloth manipulation is challenging. Synthetic data is a promising direction to improve generalization, but the sim-to-real gap limits its effectiveness. To advance the use of synthetic data for cloth manipulation tasks such as robotic folding, we present a synthetic data pipeline to train keypoint detectors for almost-flattened cloth items. To evaluate its performance, we have also collected a real-world dataset. We train detectors for both T-shirts, towels and shorts and obtain an average precision of 64% and an average keypoint distance of 18 pixels. Fine-tuning on real-world data improves performance to 74% mAP and an average distance of only 9 pixels. Furthermore, we describe failure modes of the keypoint detectors and compare different approaches to obtain cloth meshes and materials. We also quantify the remaining sim-to-real gap and argue that further improvements to the fidelity of cloth assets will be required to further reduce this gap. The code, dataset and trained models are available
• Abstract（参考訳）: 補助ロボットは、洗濯、折りたたみ、鉄の衣服を作れるべきである。 しかし, 衣服の変形性, 自己閉塞性などにより, 布を操るロボットシステムの構築は困難である。 合成データは、一般化を改善するための有望な方向であるが、sim-to-realギャップは、その有効性を制限する。 ロボットの折り畳みなどの布操作作業における合成データの利用を促進するために, ほぼ平らな布品のキーポイント検出器を訓練するための合成データパイプラインを提案する。 その性能を評価するために,実世界のデータセットも収集した。 我々は、Tシャツ、タオル、ショートパンツの両方の検出器を訓練し、平均精度は64%、平均キーポイント距離は18ピクセルである。 実世界のデータの微調整により、パフォーマンスは74% mAP、平均距離は9ピクセルに向上する。 さらに、キーポイント検出器の故障モードを記述し、異なるアプローチを用いて布メッシュや材料を得る。 また、残りのsim-to-realギャップを定量化し、このギャップをさらに小さくするためには、布質資産の健全性をさらに改善する必要があると論じる。 コード、データセット、トレーニングされたモデルが利用可能

関連論文リスト

• Efficient Data Collection for Robotic Manipulation via Compositional Generalization [70.76782930312746]
  本研究では, 環境要因をデータから構成し, 未確認の要因の組み合わせに遭遇した場合に成功できることを示す。 コンポジションを利用したドメイン内データ収集手法を提案する。 ビデオはhttp://iliad.stanford.edu/robot-data-comp/で公開しています。
  論文  参考訳（メタデータ） (2024-03-08T07:15:38Z)
• ParGANDA: Making Synthetic Pedestrians A Reality For Object Detection [2.7648976108201815]
  本稿では,GAN(Generative Adversarial Network)を用いて,実データと合成データのギャップを埋めることを提案する。 我々のアプローチは、視覚的に可視なサンプルを生成するだけでなく、実際のドメインのラベルも必要としない。
  論文  参考訳（メタデータ） (2023-07-21T05:26:32Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Towards Precise Model-free Robotic Grasping with Sim-to-Real Transfer Learning [11.470950882435927]
  本稿では,ロボットの把持ネットワークについて述べる。 物理ロボット実験では,1つの既知の物体と,90.91%の成功率を持つ新しい複合形状の家庭用物体を把握した。 提案した把握フレームワークは、既知の物体と未知の物体の両方において、最先端の2つの手法より優れていた。
  論文  参考訳（メタデータ） (2023-01-28T16:57:19Z)
• Automatically Prepare Training Data for YOLO Using Robotic In-Hand Observation and Synthesis [14.034128227585143]
  本稿では,ロボットが収集した限られたデータセットを拡大するために,ロボット内観察とデータ合成を組み合わせることを提案する。 収集された合成画像を組み合わせて、ディープ検出ニューラルネットワークをトレーニングする。 その結果, 観察画像と合成画像の組み合わせが手動データ作成に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-01-04T04:20:08Z)
• RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
  我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。 実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
  論文  参考訳（メタデータ） (2022-12-13T18:55:15Z)
• Learning Keypoints from Synthetic Data for Robotic Cloth Folding [1.2504473943407093]
  我々は,キーポイント検出器を合成データから純粋に学習し,低コストなデータ収集を実現することを提案する。 本稿では,タオルの画像を手続き的に生成し,それをCNNの訓練に利用する。 本研究では, 片手ロボットにおけるタオルの折り畳み検出性能を評価し, グリップと折り畳みの成功率は, それぞれ77%, 53%であった。
  論文  参考訳（メタデータ） (2022-05-13T15:38:49Z)
• Bayesian Imitation Learning for End-to-End Mobile Manipulation [80.47771322489422]
  RGB + 深度カメラのような追加のセンサー入力によるポリシーの強化は、ロボットの知覚能力を改善するための簡単なアプローチである。 畳み込みニューラルネットワークを正規化するために変分情報ボトルネックを用いることで、保持領域への一般化が向上することを示す。 提案手法は, シミュレーションと現実のギャップを埋めることと, RGBと奥行き変調をうまく融合できることを実証する。
  論文  参考訳（メタデータ） (2022-02-15T17:38:30Z)
• Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
  本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
  論文  参考訳（メタデータ） (2021-02-09T10:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。