論文の概要: VisuoSpatial Foresight for Multi-Step, Multi-Task Fabric Manipulation
- arxiv url: http://arxiv.org/abs/2003.09044v3
- Date: Thu, 18 Feb 2021 07:10:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 03:47:55.730126
- Title: VisuoSpatial Foresight for Multi-Step, Multi-Task Fabric Manipulation
- Title（参考訳）: マルチステップ・マルチタスクファブリックマニピュレーションのためのVisuoSpatial Foresight
- Authors: Ryan Hoque, Daniel Seita, Ashwin Balakrishna, Aditya Ganapathi, Ajay
Kumar Tanwani, Nawid Jamali, Katsu Yamane, Soshi Iba, Ken Goldberg
- Abstract要約: 我々はVisual Foresightフレームワークを拡張して、異なるファブリック操作タスクを達成するために効率的に再利用できるファブリックダイナミクスを学習する。
シミュレーションにおいて,多段階の布地平滑化および折り畳み作業に対して,VSFをシミュレーションで評価し,da Vinci Research Kit (dVRK) の手術用ロボットに対して,列車や試験時間でのデモンストレーションを行なわずに,VSFを実験的に評価した。
- 参考スコア（独自算出の注目度）: 24.262746504997683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic fabric manipulation has applications in home robotics, textiles,
senior care and surgery. Existing fabric manipulation techniques, however, are
designed for specific tasks, making it difficult to generalize across different
but related tasks. We extend the Visual Foresight framework to learn fabric
dynamics that can be efficiently reused to accomplish different fabric
manipulation tasks with a single goal-conditioned policy. We introduce
VisuoSpatial Foresight (VSF), which builds on prior work by learning visual
dynamics on domain randomized RGB images and depth maps simultaneously and
completely in simulation. We experimentally evaluate VSF on multi-step fabric
smoothing and folding tasks against 5 baseline methods in simulation and on the
da Vinci Research Kit (dVRK) surgical robot without any demonstrations at train
or test time. Furthermore, we find that leveraging depth significantly improves
performance. RGBD data yields an 80% improvement in fabric folding success rate
over pure RGB data. Code, data, videos, and supplementary material are
available at https://sites.google.com/view/fabric-vsf/.
- Abstract（参考訳）: ロボット織物の操作は、家庭ロボット、織物、シニアケア、手術に応用されている。
しかし、既存のファブリック操作技術は特定のタスクのために設計されており、異なる関連するタスクにまたがる一般化が困難である。
我々は、Visual Foresightフレームワークを拡張して、単一のゴール条件で異なるファブリック操作タスクを効率的に再利用できるファブリックダイナミクスを学習する。
本稿では,領域ランダム化rgb画像と奥行きマップの視覚ダイナミクスをシミュレーションで学習することにより,事前作業に基づく visuospatial foresight (vsf) を提案する。
シミュレーションにおいて,多段階のファブリック平滑化および折り畳み作業に対して,VSFをシミュレーションで評価し,da Vinci Research Kit (dVRK) の手術用ロボットにおいて,列車やテスト時に実演を行なわなかった。
さらに,深度を活用することで性能が大幅に向上することがわかった。
RGBDデータは、純粋なRGBデータよりも布の折り畳みの成功率を80%改善する。
コード、データ、ビデオ、補足資料はhttps://sites.google.com/view/fabric-vsf/で入手できる。
関連論文リスト
- GarmentLab: A Unified Simulation and Benchmark for Garment Manipulation [12.940189262612677]
GarmentLabは、変形可能なオブジェクトと衣料品の操作のために設計された、コンテンツリッチなベンチマークと現実的なシミュレーションである。
私たちのベンチマークには、さまざまな種類の衣料品、ロボットシステム、マニピュレータが含まれています。
これらの課題に対して、最先端のビジョン手法、強化学習、模倣学習アプローチを評価した。
論文 参考訳（メタデータ） (2024-11-02T10:09:08Z) - SKT: Integrating State-Aware Keypoint Trajectories with Vision-Language Models for Robotic Garment Manipulation [82.61572106180705]
本稿では、視覚言語モデル(VLM)を用いて、様々な衣服カテゴリーにおけるキーポイント予測を改善する統一的なアプローチを提案する。
我々は、高度なシミュレーション技術を用いて大規模な合成データセットを作成し、大規模な実世界のデータを必要としないスケーラブルなトレーニングを可能にした。
実験結果から, VLM法はキーポイント検出精度とタスク成功率を大幅に向上させることが示された。
論文 参考訳（メタデータ） (2024-09-26T17:26:16Z) - LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning [50.99807031490589]
LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。
我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。
実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
論文 参考訳（メタデータ） (2024-06-17T17:55:29Z) - Universal Visual Decomposer: Long-Horizon Manipulation Made Easy [54.93745986073738]
現実世界のロボットタスクは、幅広い地平線を越えて、複数のステージを包含する。
従来のタスク分解手法では、タスク固有の知識が必要であり、計算集約的であり、新しいタスクに容易に適用できない。
視覚的長時間水平方向操作のためのオフザシェルフタスク分解法であるUniversal Visual Decomposer (UVD)を提案する。
シミュレーションと実世界のタスクの両方でUVDを広範囲に評価し、すべての場合において、UVDは模倣と強化学習設定でベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2023-10-12T17:59:41Z) - Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。
しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。
視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
論文 参考訳（メタデータ） (2023-07-28T05:47:24Z) - Robotic Fabric Flattening with Wrinkle Direction Detection [9.822493398088127]
知覚は、複雑な力学と変形可能なオブジェクトの高度な自由のために、DOMにおける大きな課題の1つと考えられている。
本稿では,Gaborフィルタに基づく新しい画像処理アルゴリズムを開発し,布から有用な特徴を抽出する。
本アルゴリズムは,シミュレーションや実ロボット実験において,布のしわの方向を正確に決定することができる。
論文 参考訳（メタデータ） (2023-03-08T21:55:15Z) - Learning Fabric Manipulation in the Real World with Human Videos [10.608723220309678]
ファブリック操作は、巨大な状態空間と複雑な力学のため、ロボット工学における長年の課題である。
従来の手法のほとんどはシミュレーションに大きく依存しており、依然として変形可能な物体の大きなsim-to-realギャップによって制限されている。
有望な代替手段は、人間がタスクを実行するのを見ることから直接布地操作を学ぶことである。
論文 参考訳（メタデータ） (2022-11-05T07:09:15Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳（メタデータ） (2021-12-29T17:23:24Z) - VisuoSpatial Foresight for Physical Sequential Fabric Manipulation [22.008305401551418]
我々はVisual Foresightフレームワーク上に構築され、異なるシーケンシャルなファブリック操作タスクを達成するために効率的に再利用できるファブリックダイナミクスを学習する。
本研究では,データ生成,視覚力学モデルの選択,コスト関数,最適化手順など,VSFの4つのコンポーネントについて検討する。
以上の結果から,より長いコーナーアクションを用いた視覚力学モデルのトレーニングにより,ファブリックの折り畳み効率が76%向上し,VSFが従来90%の信頼性で実行できなかった物理的シーケンシャルなファブリック折り畳み作業が可能であることが示唆された。
論文 参考訳（メタデータ） (2021-02-19T06:06:49Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z) - Learning Dense Visual Correspondences in Simulation to Smooth and Fold
Real Fabrics [35.84249614544505]
我々は、異なる構成の変形可能な織物の視覚的対応をシミュレーションで学習する。
学習した対応は、新しいファブリック構成で幾何学的に等価な動作を計算するのに使うことができる。
また、さまざまな色、大きさ、形状の織物についても、その結果が示唆されている。
論文 参考訳（メタデータ） (2020-03-28T04:06:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。