論文の概要: Sim-Grasp: Learning 6-DOF Grasp Policies for Cluttered Environments Using a Synthetic Benchmark
- arxiv url: http://arxiv.org/abs/2405.00841v1
- Date: Wed, 1 May 2024 20:08:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 20:32:52.669427
- Title: Sim-Grasp: Learning 6-DOF Grasp Policies for Cluttered Environments Using a Synthetic Benchmark
- Title(参考訳): Sim-Grasp: 合成ベンチマークによるクラスタリング環境のための6-DOF Grasp ポリシの学習
- Authors: Juncheng Li, David J. Cappelleri,
- Abstract要約: シム・グラスプ(Sim-Grasp)は、6-DOF2指グルーピングシステムで、乱雑な環境下でのオブジェクト操作を改善するための高度な言語モデルを統合する。
我々はSim-Grasp-Datasetを紹介し、500のシナリオに7.9百万のアノテートラベルを持つ1,550のオブジェクトを含み、ポイントクラウドから把握ポーズを生成するSim-GraspNetを開発した。
- 参考スコア(独自算出の注目度): 6.7936188782093945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present Sim-Grasp, a robust 6-DOF two-finger grasping system that integrates advanced language models for enhanced object manipulation in cluttered environments. We introduce the Sim-Grasp-Dataset, which includes 1,550 objects across 500 scenarios with 7.9 million annotated labels, and develop Sim-GraspNet to generate grasp poses from point clouds. The Sim-Grasp-Polices achieve grasping success rates of 97.14% for single objects and 87.43% and 83.33% for mixed clutter scenarios of Levels 1-2 and Levels 3-4 objects, respectively. By incorporating language models for target identification through text and box prompts, Sim-Grasp enables both object-agnostic and target picking, pushing the boundaries of intelligent robotic systems.
- Abstract(参考訳): そこで本稿では, オブジェクト操作の強化を目的とした高度な言語モデルを統合する, 頑健な6-DOF2指グリップシステムであるSim-Graspを提案する。
我々はSim-Grasp-Datasetを紹介し、500のシナリオに7.9百万のアノテートラベルを持つ1,550のオブジェクトを含み、ポイントクラウドから把握ポーズを生成するSim-GraspNetを開発した。
Sim-Grasp-Policesは1つのオブジェクトで97.14%、Levels 1-2とLevels 3-4の混合クラッタシナリオで87.43%、83.33%の達成率を達成した。
テキストとボックスプロンプトを通じてターゲット識別のための言語モデルを統合することで、Sim-Graspはオブジェクト非依存とターゲットピッキングの両方を可能にし、インテリジェントなロボットシステムのバウンダリを押し上げる。
関連論文リスト
- Local Policies Enable Zero-shot Long-horizon Manipulation [80.1161776000682]
ManipGenを紹介します。これはsim2real転送のための新しいポリシーのクラスであるローカルポリシーを活用します。
ManipGenは、SayCan、OpenVLA、LLMTrajGen、VoxPoserといったSOTAアプローチを、50の現実世界操作タスクで36%、76%、62%、60%で上回っている。
論文 参考訳(メタデータ) (2024-10-29T17:59:55Z) - Open-vocabulary Mobile Manipulation in Unseen Dynamic Environments with 3D Semantic Maps [16.083092305930844]
Open-Vocabulary Mobile Manipulation (OVMM)は、自律ロボットにとって重要な機能である。
ゼロショット検出とグラウンドド認識機能を活用した新しいフレームワークを提案する。
我々は,10-DoFモバイル操作ロボットプラットフォームJSR-1を構築し,実世界のロボット実験で実証した。
論文 参考訳(メタデータ) (2024-06-26T07:06:42Z) - Learning from Models and Data for Visual Grounding [55.21937116752679]
データ駆動学習と様々な大規模事前学習モデルからの知識伝達を組み合わせたフレームワークであるSynGroundを紹介する。
マスク注意目的を最適化することにより、トレーニング済みの視覚・言語モデルをこのデータセット上に微調整する。
得られたモデルは、既成のビジョン・アンド・ランゲージモデルの接地能力を向上する。
論文 参考訳(メタデータ) (2024-03-20T17:59:43Z) - AGILE: Approach-based Grasp Inference Learned from Element Decomposition [2.812395851874055]
人間は手動の位置情報を考慮して物体を把握できる。
本研究は、ロボットマニピュレータが物体を最も最適な方法で把握し、同じことを学べるようにする方法を提案する。
論文 参考訳(メタデータ) (2024-02-02T10:47:08Z) - DeMuX: Data-efficient Multilingual Learning [57.37123046817781]
DEMUXは、大量の重複しない多言語データからラベルを付けるための正確なデータポイントを規定するフレームワークである。
エンドツーエンドのフレームワークは言語に依存しず、モデル表現を記述し、多言語的ターゲット設定をサポートしています。
論文 参考訳(メタデータ) (2023-11-10T20:09:08Z) - Sim-Suction: Learning a Suction Grasp Policy for Cluttered Environments
Using a Synthetic Benchmark [8.025760743074066]
Sim-Suctionは、動的なカメラ視点を持つモバイル操作プラットフォームのための堅牢なオブジェクト認識型吸引把握ポリシーである。
Sim-Suction-Datasetは、500の乱雑な環境と320万の注釈付き吸引グリップポーズで構成されている。
Sim-Suction-Pointnetは、Sim-Suction-Datasetからポイントワイズを学習することにより、ロバストな6次元吸引グリップポーズを生成する。
論文 参考訳(メタデータ) (2023-05-25T15:31:08Z) - Sim-MEES: Modular End-Effector System Grasping Dataset for Mobile
Manipulators in Cluttered Environments [10.414347878456852]
本稿では,難易度や物理特性の異なる1,550個のオブジェクトを含む大規模合成データセットを提案する。
我々のデータセット生成プロセスは、クラスタリングされた環境全体の解析モデルと動的シミュレーションを組み合わせて、正確な把握ラベルを提供する。
論文 参考訳(メタデータ) (2023-05-17T21:40:26Z) - Using Detection, Tracking and Prediction in Visual SLAM to Achieve
Real-time Semantic Mapping of Dynamic Scenarios [70.70421502784598]
RDS-SLAMは、一般的に使用されているIntel Core i7 CPUのみを使用して、動的シナリオのためのオブジェクトレベルでのセマンティックマップをリアルタイムで構築することができる。
我々は, TUM RGB-DデータセットにおけるRDS-SLAMを評価し, 動的シナリオにおいて, RDS-SLAMはフレームあたり30.3msで動作可能であることを示した。
論文 参考訳(メタデータ) (2022-10-10T11:03:32Z) - Self-Supervised Interactive Object Segmentation Through a
Singulation-and-Grasping Approach [9.029861710944704]
本稿では,新しいオブジェクトと対話し,各オブジェクトのトレーニングラベルを収集するロボット学習手法を提案する。
Singulation-and-Grasping(SaG)ポリシは、エンドツーエンドの強化学習を通じてトレーニングされる。
本システムは,シミュレートされた散文シーンにおいて,70%の歌唱成功率を達成する。
論文 参考訳(メタデータ) (2022-07-19T15:01:36Z) - Sim-to-Real Transfer for Vision-and-Language Navigation [70.86250473583354]
本研究では,従来は目に見えなかった環境下でロボットを解放し,制約のない自然言語ナビゲーション指示に従うという課題について検討する。
VLN(Vision-and-Language Navigation)の課題に関する最近の研究は、シミュレーションにおいて大きな進歩を遂げている。
ロボット工学における本研究の意義を評価するため,シミュレーションで訓練されたVLNエージェントを物理ロボットに転送する。
論文 参考訳(メタデータ) (2020-11-07T16:49:04Z) - Meta-Sim2: Unsupervised Learning of Scene Structure for Synthetic Data
Generation [88.04759848307687]
Meta-Sim2では,パラメータに加えてシーン構造を学習することを目指している。
強化学習(Reinforcement Learning)を使用してモデルをトレーニングし、トレーニング成功の鍵となる合成画像とターゲット画像の間に特徴空間のばらつきを設計する。
また,この手法は,他のベースラインシミュレーション手法と対照的に,生成したデータセット上でトレーニングしたオブジェクト検出器の性能を下流で向上させることを示す。
論文 参考訳(メタデータ) (2020-08-20T17:28:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。