論文の概要: VisuoSpatial Foresight for Physical Sequential Fabric Manipulation
- arxiv url: http://arxiv.org/abs/2102.09754v1
- Date: Fri, 19 Feb 2021 06:06:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-22 13:33:56.629871
- Title: VisuoSpatial Foresight for Physical Sequential Fabric Manipulation
- Title（参考訳）: VisuoSpatial Foresight for Physical Sequential Fabric Manipulation
- Authors: Ryan Hoque, Daniel Seita, Ashwin Balakrishna, Aditya Ganapathi, Ajay
Kumar Tanwani, Nawid Jamali, Katsu Yamane, Soshi Iba, Ken Goldberg
- Abstract要約: 我々はVisual Foresightフレームワーク上に構築され、異なるシーケンシャルなファブリック操作タスクを達成するために効率的に再利用できるファブリックダイナミクスを学習する。
本研究では,データ生成,視覚力学モデルの選択,コスト関数,最適化手順など,VSFの4つのコンポーネントについて検討する。
以上の結果から,より長いコーナーアクションを用いた視覚力学モデルのトレーニングにより,ファブリックの折り畳み効率が76%向上し,VSFが従来90%の信頼性で実行できなかった物理的シーケンシャルなファブリック折り畳み作業が可能であることが示唆された。
- 参考スコア（独自算出の注目度）: 22.008305401551418
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic fabric manipulation has applications in home robotics, textiles,
senior care and surgery. Existing fabric manipulation techniques, however, are
designed for specific tasks, making it difficult to generalize across different
but related tasks. We build upon the Visual Foresight framework to learn fabric
dynamics that can be efficiently reused to accomplish different sequential
fabric manipulation tasks with a single goal-conditioned policy. We extend our
earlier work on VisuoSpatial Foresight (VSF), which learns visual dynamics on
domain randomized RGB images and depth maps simultaneously and completely in
simulation. In this earlier work, we evaluated VSF on multi-step fabric
smoothing and folding tasks against 5 baseline methods in simulation and on the
da Vinci Research Kit (dVRK) surgical robot without any demonstrations at train
or test time. A key finding was that depth sensing significantly improves
performance: RGBD data yields an 80% improvement in fabric folding success rate
in simulation over pure RGB data. In this work, we vary 4 components of VSF,
including data generation, the choice of visual dynamics model, cost function,
and optimization procedure. Results suggest that training visual dynamics
models using longer, corner-based actions can improve the efficiency of fabric
folding by 76% and enable a physical sequential fabric folding task that VSF
could not previously perform with 90% reliability. Code, data, videos, and
supplementary material are available at
https://sites.google.com/view/fabric-vsf/.
- Abstract（参考訳）: ロボット織物の操作は、家庭ロボット、織物、シニアケア、手術に応用されている。
しかし、既存のファブリック操作技術は特定のタスクのために設計されており、異なる関連するタスクにまたがる一般化が困難である。
我々はVisual Foresightフレームワーク上に構築され、単一のゴール条件付きポリシーで異なるシーケンシャルなファブリック操作タスクを達成するために効率的に再利用可能なファブリックダイナミクスを学習する。
ドメインランダム化rgb画像と深度マップの視覚的ダイナミクスをシミュレーションで同時に学習するvisospatial foresight(vsf)について、以前の研究から拡張した。
本研究は,多段階ファブリックの平滑化と折り畳み作業のvsfをシミュレーションの5つのベースライン法と,dvrk(da vinci research kit)の手術ロボットに対して評価した。
RGBDデータは、純粋なRGBデータに対するシミュレーションにおいて、折り畳みの成功率を80%改善する。
本研究では,データ生成,視覚力学モデルの選択,コスト関数,最適化手順など,VSFの4つのコンポーネントについて検討する。
以上の結果から,より長いコーナーアクションを用いた視覚力学モデルのトレーニングにより,ファブリックの折り畳み効率が76%向上し,VSFが従来90%の信頼性で実行できなかった物理的シーケンシャルなファブリック折り畳み作業が可能であることが示唆された。
コード、データ、ビデオ、補足資料はhttps://sites.google.com/view/fabric-vsf/で入手できる。
関連論文リスト
- GarmentLab: A Unified Simulation and Benchmark for Garment Manipulation [12.940189262612677]
GarmentLabは、変形可能なオブジェクトと衣料品の操作のために設計された、コンテンツリッチなベンチマークと現実的なシミュレーションである。
私たちのベンチマークには、さまざまな種類の衣料品、ロボットシステム、マニピュレータが含まれています。
これらの課題に対して、最先端のビジョン手法、強化学習、模倣学習アプローチを評価した。
論文 参考訳（メタデータ） (2024-11-02T10:09:08Z) - SKT: Integrating State-Aware Keypoint Trajectories with Vision-Language Models for Robotic Garment Manipulation [82.61572106180705]
本稿では、視覚言語モデル(VLM)を用いて、様々な衣服カテゴリーにおけるキーポイント予測を改善する統一的なアプローチを提案する。
我々は、高度なシミュレーション技術を用いて大規模な合成データセットを作成し、大規模な実世界のデータを必要としないスケーラブルなトレーニングを可能にした。
実験結果から, VLM法はキーポイント検出精度とタスク成功率を大幅に向上させることが示された。
論文 参考訳（メタデータ） (2024-09-26T17:26:16Z) - A Comparative Survey of Vision Transformers for Feature Extraction in Texture Analysis [9.687982148528187]
畳み込みニューラルネットワーク(CNN)は現在、最高のテクスチャ分析アプローチの1つである。
視覚変換器(ViT)は、物体認識などのタスクにおいてCNNの性能を上回っている。
この研究は、テクスチャに依存するタスクに移行する際に、事前訓練された様々なViTアーキテクチャを探索する。
論文 参考訳（メタデータ） (2024-06-10T09:48:13Z) - Neural LerPlane Representations for Fast 4D Reconstruction of Deformable
Tissues [52.886545681833596]
LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。
LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。
LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
論文 参考訳（メタデータ） (2023-05-31T14:38:35Z) - Robotic Fabric Flattening with Wrinkle Direction Detection [9.822493398088127]
知覚は、複雑な力学と変形可能なオブジェクトの高度な自由のために、DOMにおける大きな課題の1つと考えられている。
本稿では,Gaborフィルタに基づく新しい画像処理アルゴリズムを開発し,布から有用な特徴を抽出する。
本アルゴリズムは,シミュレーションや実ロボット実験において,布のしわの方向を正確に決定することができる。
論文 参考訳（メタデータ） (2023-03-08T21:55:15Z) - Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。
グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。
i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
論文 参考訳（メタデータ） (2023-01-14T05:35:50Z) - Task2Sim : Towards Effective Pre-training and Transfer from Synthetic
Data [74.66568380558172]
本稿では,グラフィックスシミュレータから下流タスクへの合成データに基づく事前学習モデルの転送可能性について検討する。
本稿では、最適なシミュレーションパラメータに対する下流タスク表現を統一したモデルマッピングであるTask2Simを紹介する。
このマッピングはトレーニングによって学習し、"見える"タスクのセットで最適なパラメータのセットを見つける。
トレーニングが完了すると、ワンショットで新しい"見えない"タスクの最適なシミュレーションパラメータを予測するために使用することができる。
論文 参考訳（メタデータ） (2021-11-30T19:25:27Z) - PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable
Physics [89.81550748680245]
PasticineLabと呼ばれる新しい微分可能な物理ベンチマークを導入する。
各タスクにおいて、エージェントはマニピュレータを使用して、プラスチックを所望の構成に変形させる。
本稿では,既存の強化学習(RL)手法と勾配に基づく手法について評価する。
論文 参考訳（メタデータ） (2021-04-07T17:59:23Z) - Hierarchical Dynamic Filtering Network for RGB-D Salient Object
Detection [91.43066633305662]
RGB-D Salient Object Detection (SOD) の主な目的は、相互融合情報をよりよく統合し活用する方法である。
本稿では,これらの問題を新たな視点から考察する。
我々は、より柔軟で効率的なマルチスケールのクロスモーダルな特徴処理を実装している。
論文 参考訳（メタデータ） (2020-07-13T07:59:55Z) - Learning Dense Visual Correspondences in Simulation to Smooth and Fold
Real Fabrics [35.84249614544505]
我々は、異なる構成の変形可能な織物の視覚的対応をシミュレーションで学習する。
学習した対応は、新しいファブリック構成で幾何学的に等価な動作を計算するのに使うことができる。
また、さまざまな色、大きさ、形状の織物についても、その結果が示唆されている。
論文 参考訳（メタデータ） (2020-03-28T04:06:20Z) - VisuoSpatial Foresight for Multi-Step, Multi-Task Fabric Manipulation [24.262746504997683]
我々はVisual Foresightフレームワークを拡張して、異なるファブリック操作タスクを達成するために効率的に再利用できるファブリックダイナミクスを学習する。
シミュレーションにおいて,多段階の布地平滑化および折り畳み作業に対して,VSFをシミュレーションで評価し,da Vinci Research Kit (dVRK) の手術用ロボットに対して,列車や試験時間でのデモンストレーションを行なわずに,VSFを実験的に評価した。
論文 参考訳（メタデータ） (2020-03-19T23:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。