論文の概要: VisuoSpatial Foresight for Multi-Step, Multi-Task Fabric Manipulation
- arxiv url: http://arxiv.org/abs/2003.09044v3
- Date: Thu, 18 Feb 2021 07:10:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 03:47:55.730126
- Title: VisuoSpatial Foresight for Multi-Step, Multi-Task Fabric Manipulation
- Title(参考訳): マルチステップ・マルチタスクファブリックマニピュレーションのためのVisuoSpatial Foresight
- Authors: Ryan Hoque, Daniel Seita, Ashwin Balakrishna, Aditya Ganapathi, Ajay
Kumar Tanwani, Nawid Jamali, Katsu Yamane, Soshi Iba, Ken Goldberg
- Abstract要約: 我々はVisual Foresightフレームワークを拡張して、異なるファブリック操作タスクを達成するために効率的に再利用できるファブリックダイナミクスを学習する。
シミュレーションにおいて,多段階の布地平滑化および折り畳み作業に対して,VSFをシミュレーションで評価し,da Vinci Research Kit (dVRK) の手術用ロボットに対して,列車や試験時間でのデモンストレーションを行なわずに,VSFを実験的に評価した。
- 参考スコア(独自算出の注目度): 24.262746504997683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic fabric manipulation has applications in home robotics, textiles,
senior care and surgery. Existing fabric manipulation techniques, however, are
designed for specific tasks, making it difficult to generalize across different
but related tasks. We extend the Visual Foresight framework to learn fabric
dynamics that can be efficiently reused to accomplish different fabric
manipulation tasks with a single goal-conditioned policy. We introduce
VisuoSpatial Foresight (VSF), which builds on prior work by learning visual
dynamics on domain randomized RGB images and depth maps simultaneously and
completely in simulation. We experimentally evaluate VSF on multi-step fabric
smoothing and folding tasks against 5 baseline methods in simulation and on the
da Vinci Research Kit (dVRK) surgical robot without any demonstrations at train
or test time. Furthermore, we find that leveraging depth significantly improves
performance. RGBD data yields an 80% improvement in fabric folding success rate
over pure RGB data. Code, data, videos, and supplementary material are
available at https://sites.google.com/view/fabric-vsf/.
- Abstract(参考訳): ロボット織物の操作は、家庭ロボット、織物、シニアケア、手術に応用されている。
しかし、既存のファブリック操作技術は特定のタスクのために設計されており、異なる関連するタスクにまたがる一般化が困難である。
我々は、Visual Foresightフレームワークを拡張して、単一のゴール条件で異なるファブリック操作タスクを効率的に再利用できるファブリックダイナミクスを学習する。
本稿では,領域ランダム化rgb画像と奥行きマップの視覚ダイナミクスをシミュレーションで学習することにより,事前作業に基づく visuospatial foresight (vsf) を提案する。
シミュレーションにおいて,多段階のファブリック平滑化および折り畳み作業に対して,VSFをシミュレーションで評価し,da Vinci Research Kit (dVRK) の手術用ロボットにおいて,列車やテスト時に実演を行なわなかった。
さらに,深度を活用することで性能が大幅に向上することがわかった。
RGBDデータは、純粋なRGBデータよりも布の折り畳みの成功率を80%改善する。
コード、データ、ビデオ、補足資料はhttps://sites.google.com/view/fabric-vsf/で入手できる。
関連論文リスト
- Universal Visual Decomposer: Long-Horizon Manipulation Made Easy [54.93745986073738]
現実世界のロボットタスクは、幅広い地平線を越えて、複数のステージを包含する。
従来のタスク分解手法では、タスク固有の知識が必要であり、計算集約的であり、新しいタスクに容易に適用できない。
視覚的長時間水平方向操作のためのオフザシェルフタスク分解法であるUniversal Visual Decomposer (UVD)を提案する。
シミュレーションと実世界のタスクの両方でUVDを広範囲に評価し、すべての場合において、UVDは模倣と強化学習設定でベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2023-10-12T17:59:41Z) - Robotic Handling of Compliant Food Objects by Robust Learning from
Demonstration [79.76009817889397]
本稿では,食品に適合する物体をロボットで把握する上で,実証からの学習(LfD)に基づく頑健な学習方針を提案する。
教師の意図した方針を推定し,無矛盾な実演を自動的に除去するLfD学習ポリシーを提案する。
提案されたアプローチは、前述の業界セクターで幅広い応用が期待できる。
論文 参考訳(メタデータ) (2023-09-22T13:30:26Z) - Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。
しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。
視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
論文 参考訳(メタデータ) (2023-07-28T05:47:24Z) - Pave the Way to Grasp Anything: Transferring Foundation Models for
Universal Pick-Place Robots [50.73735524550534]
そこで本稿では,最先端基礎モデルによって生成された言語基底セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
マスクから伝達される正確なセマンティクスとジオメトリを多視点ポリシーモデルに統合することにより、正確なオブジェクトのポーズを認識し、サンプル効率のよい学習を可能にする。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z) - Robotic Fabric Flattening with Wrinkle Direction Detection [9.822493398088127]
知覚は、複雑な力学と変形可能なオブジェクトの高度な自由のために、DOMにおける大きな課題の1つと考えられている。
本稿では,Gaborフィルタに基づく新しい画像処理アルゴリズムを開発し,布から有用な特徴を抽出する。
本アルゴリズムは,シミュレーションや実ロボット実験において,布のしわの方向を正確に決定することができる。
論文 参考訳(メタデータ) (2023-03-08T21:55:15Z) - Learning Fabric Manipulation in the Real World with Human Videos [10.608723220309678]
ファブリック操作は、巨大な状態空間と複雑な力学のため、ロボット工学における長年の課題である。
従来の手法のほとんどはシミュレーションに大きく依存しており、依然として変形可能な物体の大きなsim-to-realギャップによって制限されている。
有望な代替手段は、人間がタスクを実行するのを見ることから直接布地操作を学ぶことである。
論文 参考訳(メタデータ) (2022-11-05T07:09:15Z) - A Strong Transfer Baseline for RGB-D Fusion in Vision Transformers [0.0]
単視点3Dオブジェクト認識のためのRGB-Dドメインで事前学習したViTを転送するためのレシピを提案する。
我々の適応したViTsは、ワシントン州で95.1%の精度で評価され、このベンチマークで新しい最先端の結果が得られた。
論文 参考訳(メタデータ) (2022-10-03T12:08:09Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳(メタデータ) (2021-12-29T17:23:24Z) - VisuoSpatial Foresight for Physical Sequential Fabric Manipulation [22.008305401551418]
我々はVisual Foresightフレームワーク上に構築され、異なるシーケンシャルなファブリック操作タスクを達成するために効率的に再利用できるファブリックダイナミクスを学習する。
本研究では,データ生成,視覚力学モデルの選択,コスト関数,最適化手順など,VSFの4つのコンポーネントについて検討する。
以上の結果から,より長いコーナーアクションを用いた視覚力学モデルのトレーニングにより,ファブリックの折り畳み効率が76%向上し,VSFが従来90%の信頼性で実行できなかった物理的シーケンシャルなファブリック折り畳み作業が可能であることが示唆された。
論文 参考訳(メタデータ) (2021-02-19T06:06:49Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳(メタデータ) (2020-08-11T17:58:50Z) - Learning Dense Visual Correspondences in Simulation to Smooth and Fold
Real Fabrics [35.84249614544505]
我々は、異なる構成の変形可能な織物の視覚的対応をシミュレーションで学習する。
学習した対応は、新しいファブリック構成で幾何学的に等価な動作を計算するのに使うことができる。
また、さまざまな色、大きさ、形状の織物についても、その結果が示唆されている。
論文 参考訳(メタデータ) (2020-03-28T04:06:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。