論文の概要: UniDexGrasp: Universal Robotic Dexterous Grasping via Learning Diverse
Proposal Generation and Goal-Conditioned Policy
- arxiv url: http://arxiv.org/abs/2303.00938v1
- Date: Thu, 2 Mar 2023 03:23:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-03 16:20:26.291977
- Title: UniDexGrasp: Universal Robotic Dexterous Grasping via Learning Diverse
Proposal Generation and Goal-Conditioned Policy
- Title(参考訳): unidexgrasp: 多様な提案生成と目標条件による学習による汎用ロボットデキスタラス把握
- Authors: Yinzhen Xu, Weikang Wan, Jialiang Zhang, Haoran Liu, Zikang Shan, Hao
Shen, Ruicheng Wang, Haoran Geng, Yijia Weng, Jiayi Chen, Tengyu Liu, Li Yi,
He Wang
- Abstract要約: 本研究では, テーブルトップ環境下での点雲観測から, 汎用ロボットデキスタラスの把握を学習する問題に対処する。
並列グリップパーグリップで成功したパイプラインにインスパイアされ、タスクを1)提案(目的)生成と2)目標条件のグリップ実行の2つのステージに分割した。
最終的なパイプラインは、数千のオブジェクトインスタンスに対して平均60%以上の成功率を示すことで、デクスタラスな把握のための普遍的な一般化を実現した最初のものになります。
- 参考スコア(独自算出の注目度): 23.362000826018612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we tackle the problem of learning universal robotic dexterous
grasping from a point cloud observation under a table-top setting. The goal is
to grasp and lift up objects in high-quality and diverse ways and generalize
across hundreds of categories and even the unseen. Inspired by successful
pipelines used in parallel gripper grasping, we split the task into two stages:
1) grasp proposal (pose) generation and 2) goal-conditioned grasp execution.
For the first stage, we propose a novel probabilistic model of grasp pose
conditioned on the point cloud observation that factorizes rotation from
translation and articulation. Trained on our synthesized large-scale dexterous
grasp dataset, this model enables us to sample diverse and high-quality
dexterous grasp poses for the object in the point cloud. For the second stage,
we propose to replace the motion planning used in parallel gripper grasping
with a goal-conditioned grasp policy, due to the complexity involved in
dexterous grasping execution. Note that it is very challenging to learn this
highly generalizable grasp policy that only takes realistic inputs without
oracle states. We thus propose several important innovations, including state
canonicalization, object curriculum, and teacher-student distillation.
Integrating the two stages, our final pipeline becomes the first to achieve
universal generalization for dexterous grasping, demonstrating an average
success rate of more than 60% on thousands of object instances, which
significantly out performs all baselines, meanwhile showing only a minimal
generalization gap.
- Abstract(参考訳): 本研究では,テーブル上環境下での点雲観測から万能ロボットによるデクスタース把持を学習する問題に取り組む。
目標は、高品質で多様な方法でオブジェクトをつかんで持ち上げ、何百ものカテゴリや目に見えないものまで一般化することだ。
並列グリッパーグラッシングで成功したパイプラインに触発されて、タスクを2つのステージに分割しました。
1)提案(目的)の生成と取得
2)目標条件の把握実行。
第1段階では,翻訳と調音から回転を分解する点雲観測に条件付きグリップポーズの新しい確率モデルを提案する。
合成した大規模デキスタラス・グリップ・データセットに基づいて,このモデルにより,点群における対象物に対する多種多様な高品質なデキスタラス・グリップ・ポーズを抽出することができる。
第2段階では,厳密な把持実行に関わる複雑さのため,並列グリップグリップにおける動作計画を目標条件のグリップポリシーに置き換えることを提案する。
オラクル状態なしに現実的な入力しか受け取らないこの非常に一般化可能な把握ポリシーを学ぶことは極めて困難である。
そこで本稿では, 状態標準化, 対象カリキュラム, 教師・学生蒸留など, 重要な技術革新を提案する。
この2つのステージを統合することで、私たちの最終的なパイプラインは、デクスタースハンドリングの普遍的な一般化を最初に達成し、数千のオブジェクトインスタンスで平均成功率が60%を超え、すべてのベースラインのパフォーマンスを大幅に上回りながら、最小の一般化ギャップしか示せません。
関連論文リスト
- Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-01-01T12:08:35Z) - Joint Learning for Scattered Point Cloud Understanding with Hierarchical
Self-Distillation [37.42845400904313]
そこで本研究では,部分点雲を高速に補正し,同定するエンド・ツー・エンドアーキテクチャを提案する。
階層型自己蒸留(HSD)は任意の階層ベースの点雲法に適用できる。
論文 参考訳(メタデータ) (2023-12-28T08:51:04Z) - Make a Donut: Language-Guided Hierarchical EMD-Space Planning for
Zero-shot Deformable Object Manipulation [15.655460411867153]
我々は、訓練を必要とせず、複雑な長期タスクに対処できるデモフリー階層的計画手法を導入する。
我々は,大規模言語モデル (LLMs) を用いて,特定のタスクに対応する高レベルステージ・バイ・ステージ・プランを記述している。
このツールとサブゴールを用いて, 粒状閉ループモデル予測制御手法を提案する。
論文 参考訳(メタデータ) (2023-11-05T22:43:29Z) - GraspGF: Learning Score-based Grasping Primitive for Human-assisting
Dexterous Grasping [11.63059055320262]
そこで本研究では,人的支援による創発的把握という新たな課題を提案する。
ロボットハンドの指をコントロールして、物をつかむのを助ける政策を訓練することを目指している。
論文 参考訳(メタデータ) (2023-09-12T08:12:32Z) - Pave the Way to Grasp Anything: Transferring Foundation Models for
Universal Pick-Place Robots [50.73735524550534]
そこで本稿では,最先端基礎モデルによって生成された言語基底セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
マスクから伝達される正確なセマンティクスとジオメトリを多視点ポリシーモデルに統合することにより、正確なオブジェクトのポーズを認識し、サンプル効率のよい学習を可能にする。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z) - Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in
Latent Space [76.46113138484947]
汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。
この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。
本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
論文 参考訳(メタデータ) (2022-05-17T06:58:17Z) - Self-Supervised Arbitrary-Scale Point Clouds Upsampling via Implicit
Neural Representation [79.60988242843437]
そこで本研究では,自己監督型および倍率フレキシブルな点雲を同時にアップサンプリングする手法を提案する。
実験結果から, 自己教師あり学習に基づく手法は, 教師あり学習に基づく手法よりも, 競争力や性能が向上することが示された。
論文 参考訳(メタデータ) (2022-04-18T07:18:25Z) - Learning to Shift Attention for Motion Generation [55.61994201686024]
ロボット学習を用いた動作生成の課題の1つは、人間のデモが1つのタスククエリに対して複数のモードを持つ分布に従うことである。
以前のアプローチでは、すべてのモードをキャプチャできなかったり、デモの平均モードを取得できないため、無効なトラジェクトリを生成する傾向があった。
この問題を克服する外挿能力を有するモーション生成モデルを提案する。
論文 参考訳(メタデータ) (2021-02-24T09:07:52Z) - The World is Not Binary: Learning to Rank with Grayscale Data for
Dialogue Response Selection [55.390442067381755]
人間の努力なしに、グレースケールのデータを自動的に構築できることが示される。
本手法では,自動グレースケールデータ生成装置として,市販の応答検索モデルと応答生成モデルを用いる。
3つのベンチマークデータセットと4つの最先端マッチングモデルの実験は、提案手法が大幅に、一貫したパフォーマンス改善をもたらすことを示している。
論文 参考訳(メタデータ) (2020-04-06T06:34:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。