論文の概要: ManiBox: Enhancing Spatial Grasping Generalization via Scalable Simulation Data Generation
- arxiv url: http://arxiv.org/abs/2411.01850v1
- Date: Mon, 04 Nov 2024 07:05:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 21:27:27.070206
- Title: ManiBox: Enhancing Spatial Grasping Generalization via Scalable Simulation Data Generation
- Title（参考訳）: ManiBox: スケーラブルなシミュレーションデータ生成による空間グラフ化の一般化
- Authors: Hengkai Tan, Xuezhou Xu, Chengyang Ying, Xinyi Mao, Songming Liu, Xingxing Zhang, Hang Su, Jun Zhu,
- Abstract要約: bfManiBoxは、シミュレーションベースの教師学生フレームワーク上に構築された新しいバウンディングボックス誘導操作手法である。
ManiBoxは、空間的把握の一般化と多様なオブジェクトや背景への適応性を著しく改善した。
- 参考スコア（独自算出の注目度）: 37.73074657448699
- License:
- Abstract: Learning a precise robotic grasping policy is crucial for embodied agents operating in complex real-world manipulation tasks. Despite significant advancements, most models still struggle with accurate spatial positioning of objects to be grasped. We first show that this spatial generalization challenge stems primarily from the extensive data requirements for adequate spatial understanding. However, collecting such data with real robots is prohibitively expensive, and relying on simulation data often leads to visual generalization gaps upon deployment. To overcome these challenges, we then focus on state-based policy generalization and present \textbf{ManiBox}, a novel bounding-box-guided manipulation method built on a simulation-based teacher-student framework. The teacher policy efficiently generates scalable simulation data using bounding boxes, which are proven to uniquely determine the objects' spatial positions. The student policy then utilizes these low-dimensional spatial states to enable zero-shot transfer to real robots. Through comprehensive evaluations in simulated and real-world environments, ManiBox demonstrates a marked improvement in spatial grasping generalization and adaptability to diverse objects and backgrounds. Further, our empirical study into scaling laws for policy performance indicates that spatial volume generalization scales positively with data volume. For a certain level of spatial volume, the success rate of grasping empirically follows Michaelis-Menten kinetics relative to data volume, showing a saturation effect as data increases. Our videos and code are available in https://thkkk.github.io/manibox.
- Abstract（参考訳）: ロボットの正確な把握ポリシーを学習することは、複雑な現実世界の操作タスクで動作しているエンボディエージェントにとって不可欠である。
大幅な進歩にもかかわらず、ほとんどのモデルはまだ把握すべき物体の正確な空間的位置決めに苦戦している。
まず、この空間一般化の課題は、空間的理解を適切に行うための広範なデータ要求に起因していることを示す。
しかし、そのようなデータを実際のロボットで収集するのは極めて高価であり、シミュレーションデータに依存すると、デプロイ時に視覚的一般化のギャップが生じることが多い。
これらの課題を克服するために、我々は、状態ベースの政策一般化と、シミュレーションベースの教師学生フレームワーク上に構築された新しいバウンディングボックス誘導操作法である‘textbf{ManiBox} を提示する。
教師の方針は、オブジェクトの空間的位置を一意に決定することが証明された境界ボックスを用いて、スケーラブルなシミュレーションデータを効率的に生成する。
学生ポリシーは、これらの低次元空間状態を利用して、実際のロボットへのゼロショット転送を可能にする。
シミュレーションおよび実世界の環境における総合的な評価を通じて、ManiBoxは空間的把握の一般化と多様な対象や背景への適応性を顕著に改善したことを示す。
さらに、政策性能のスケーリング法則に関する実証的研究は、空間体積一般化がデータ体積と正にスケールすることを示唆している。
空間体積の一定レベルにおいて、経験的に把握する成功率は、データ体積に対してミカエル・メンテン運動量に従っており、データの増加に伴って飽和効果を示す。
私たちのビデオとコードはhttps://thkk.github.io/manibox.comで公開されています。
関連論文リスト
- Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。
しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。
視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
論文 参考訳（メタデータ） (2023-07-28T05:47:24Z) - Quantifying the LiDAR Sim-to-Real Domain Shift: A Detailed Investigation
Using Object Detectors and Analyzing Point Clouds at Target-Level [1.1999555634662635]
自律運転のためのニューラルネットワークに基づくLiDARオブジェクト検出アルゴリズムは、トレーニング、検証、テストのために大量のデータを必要とする。
ニューラルネットワークのトレーニングにシミュレーションデータを使用することで、シーン、シナリオ、分布の違いによるトレーニングデータとテストデータのドメインシフトが生じることを示す。
論文 参考訳（メタデータ） (2023-03-03T12:52:01Z) - Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial
Application Case on Autonomous Disassembly [55.41644538483948]
我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。
合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。
この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
論文 参考訳（メタデータ） (2023-01-12T14:00:37Z) - One-Shot Domain Adaptive and Generalizable Semantic Segmentation with
Class-Aware Cross-Domain Transformers [96.51828911883456]
セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。
従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。
実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
論文 参考訳（メタデータ） (2022-12-14T15:54:15Z) - Leveraging Demonstrations with Latent Space Priors [90.56502305574665]
本稿では,スキル学習とシーケンスモデリングを組み合わせることで,実演データセットを活用することを提案する。
本研究では、国家のみのモーションキャプチャーの実証から、そのような先行情報をどうやって取得するかを示し、政策学習に組み込むためのいくつかの方法を探る。
実験結果から, 学習速度と最終性能において, 遅延空間が顕著に向上することが確認された。
論文 参考訳（メタデータ） (2022-10-26T13:08:46Z) - Deep Spatial Domain Generalization [8.102110157532556]
本研究では,空間データをグラフとして扱う空間グラフニューラルネットワークを開発し,各ノードに空間埋め込みを学習する。
提案手法は,テストフェーズ中に見つからない位置の空間埋め込みを推定し,下流タスクモデルのパラメータを目標位置に直接デコードする。
論文 参考訳（メタデータ） (2022-10-03T06:16:20Z) - Learning to Grasp on the Moon from 3D Octree Observations with Deep
Reinforcement Learning [0.0]
本研究では,月面物体の視覚に基づくロボットグリップにおける深部強化学習の適用性について検討する。
エージェントを困難な条件下で訓練するために、手続き的に生成されたデータセットを用いた新しいシミュレーション環境を作成する。
モデルなしの非政治的アクター批判アルゴリズムは、ポリシーのエンドツーエンド学習に使用される。
論文 参考訳（メタデータ） (2022-08-01T12:59:03Z) - Learning to Simulate on Sparse Trajectory Data [26.718807213824853]
本稿では,実世界のスパースデータから運転行動をシミュレートする学習問題に対処するための新しいフレームワーク imingail を提案する。
私たちの知る限りでは、行動学習問題に対するデータ疎結合問題に最初に取り組みます。
論文 参考訳（メタデータ） (2021-03-22T13:42:11Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳（メタデータ） (2020-07-27T17:46:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。