論文の概要: GarmentLab: A Unified Simulation and Benchmark for Garment Manipulation

• arxiv url: http://arxiv.org/abs/2411.01200v3
• Date: Mon, 23 Dec 2024 14:33:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:52:55.512478
• Title: GarmentLab: A Unified Simulation and Benchmark for Garment Manipulation
• Title（参考訳）: GarmentLab: ガーメント操作のための統一されたシミュレーションとベンチマーク
• Authors: Haoran Lu, Ruihai Wu, Yitong Li, Sijie Li, Ziyu Zhu, Chuanruo Ning, Yan Shen, Longzan Luo, Yuanpei Chen, Hao Dong,
• Abstract要約: GarmentLabは、変形可能なオブジェクトと衣料品の操作のために設計された、コンテンツリッチなベンチマークと現実的なシミュレーションである。 私たちのベンチマークには、さまざまな種類の衣料品、ロボットシステム、マニピュレータが含まれています。 これらの課題に対して、最先端のビジョン手法、強化学習、模倣学習アプローチを評価した。
• 参考スコア（独自算出の注目度）: 12.940189262612677
• License:
• Abstract: Manipulating garments and fabrics has long been a critical endeavor in the development of home-assistant robots. However, due to complex dynamics and topological structures, garment manipulations pose significant challenges. Recent successes in reinforcement learning and vision-based methods offer promising avenues for learning garment manipulation. Nevertheless, these approaches are severely constrained by current benchmarks, which offer limited diversity of tasks and unrealistic simulation behavior. Therefore, we present GarmentLab, a content-rich benchmark and realistic simulation designed for deformable object and garment manipulation. Our benchmark encompasses a diverse range of garment types, robotic systems and manipulators. The abundant tasks in the benchmark further explores of the interactions between garments, deformable objects, rigid bodies, fluids, and human body. Moreover, by incorporating multiple simulation methods such as FEM and PBD, along with our proposed sim-to-real algorithms and real-world benchmark, we aim to significantly narrow the sim-to-real gap. We evaluate state-of-the-art vision methods, reinforcement learning, and imitation learning approaches on these tasks, highlighting the challenges faced by current algorithms, notably their limited generalization capabilities. Our proposed open-source environments and comprehensive analysis show promising boost to future research in garment manipulation by unlocking the full potential of these methods. We guarantee that we will open-source our code as soon as possible. You can watch the videos in supplementary files to learn more about the details of our work. Our project page is available at: https://garmentlab.github.io/
• Abstract（参考訳）: 衣服や織物を操作することは、長年、家庭用ロボットの開発において重要な取り組みであった。 しかし、複雑な力学とトポロジカルな構造のため、衣服の操作は重大な課題となる。 近年の強化学習と視覚に基づく手法の成功は、衣服操作の学習に有望な道を提供する。 しかしながら、これらのアプローチは現在のベンチマークによって厳しい制約を受けており、タスクの多様性と非現実的なシミュレーションの振る舞いを提供する。 そこで本研究では,変形可能なオブジェクトと衣料品の操作のために設計された,コンテンツリッチなベンチマークと現実的なシミュレーションであるGarmentLabを提案する。 私たちのベンチマークには、さまざまな種類の衣料品、ロボットシステム、マニピュレータが含まれています。 ベンチマークの豊富なタスクは、衣服、変形可能な物体、剛体、流体、人体の間の相互作用をさらに探求する。 さらに、FEMやPBDといった複数のシミュレーション手法と、提案したsim-to-realアルゴリズムと実世界のベンチマークを組み合わせることで、sim-to-realギャップを大幅に狭めることを目指している。 我々はこれらの課題に対して、最先端のビジョン手法、強化学習、模倣学習アプローチを評価し、現在のアルゴリズムが直面する課題、特に限定的な一般化能力を強調した。 提案するオープンソース環境と包括的分析は,これらの手法の潜在能力を最大限に活用することで,衣服操作の今後の研究を後押しすることを示す。 できるだけ早くコードをオープンソースにすることを保証します。 ビデオは補足ファイルで見ることができ、詳細を知ることができる。 私たちのプロジェクトページは以下の通りです。

関連論文リスト

• SKT: Integrating State-Aware Keypoint Trajectories with Vision-Language Models for Robotic Garment Manipulation [82.61572106180705]
  本稿では、視覚言語モデル(VLM)を用いて、様々な衣服カテゴリーにおけるキーポイント予測を改善する統一的なアプローチを提案する。 我々は、高度なシミュレーション技術を用いて大規模な合成データセットを作成し、大規模な実世界のデータを必要としないスケーラブルなトレーニングを可能にした。 実験結果から, VLM法はキーポイント検出精度とタスク成功率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-09-26T17:26:16Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding Object Articulations from Interactions [62.510951695174604]
  The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。 提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。 我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
  論文  参考訳（メタデータ） (2022-10-22T18:39:33Z)
• A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
  本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。 我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。 我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
  論文  参考訳（メタデータ） (2020-11-17T22:24:26Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• SoftGym: Benchmarking Deep Reinforcement Learning for Deformable Object Manipulation [15.477950393687836]
  我々は、変形可能なオブジェクトを操作するためのオープンソースのシミュレーションベンチマークであるSoftGymを紹介する。 我々はこれらの課題に対して様々なアルゴリズムを評価し、強化学習アルゴリズムの課題を強調した。
  論文  参考訳（メタデータ） (2020-11-14T03:46:59Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。