論文の概要: UniDexGrasp: Universal Robotic Dexterous Grasping via Learning Diverse Proposal Generation and Goal-Conditioned Policy

• arxiv url: http://arxiv.org/abs/2303.00938v1
• Date: Thu, 2 Mar 2023 03:23:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 16:20:26.291977
• Title: UniDexGrasp: Universal Robotic Dexterous Grasping via Learning Diverse Proposal Generation and Goal-Conditioned Policy
• Title（参考訳）: unidexgrasp: 多様な提案生成と目標条件による学習による汎用ロボットデキスタラス把握
• Authors: Yinzhen Xu, Weikang Wan, Jialiang Zhang, Haoran Liu, Zikang Shan, Hao Shen, Ruicheng Wang, Haoran Geng, Yijia Weng, Jiayi Chen, Tengyu Liu, Li Yi, He Wang
• Abstract要約: 本研究では, テーブルトップ環境下での点雲観測から, 汎用ロボットデキスタラスの把握を学習する問題に対処する。 並列グリップパーグリップで成功したパイプラインにインスパイアされ、タスクを1)提案(目的)生成と2)目標条件のグリップ実行の2つのステージに分割した。 最終的なパイプラインは、数千のオブジェクトインスタンスに対して平均60%以上の成功率を示すことで、デクスタラスな把握のための普遍的な一般化を実現した最初のものになります。
• 参考スコア（独自算出の注目度）: 23.362000826018612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we tackle the problem of learning universal robotic dexterous grasping from a point cloud observation under a table-top setting. The goal is to grasp and lift up objects in high-quality and diverse ways and generalize across hundreds of categories and even the unseen. Inspired by successful pipelines used in parallel gripper grasping, we split the task into two stages: 1) grasp proposal (pose) generation and 2) goal-conditioned grasp execution. For the first stage, we propose a novel probabilistic model of grasp pose conditioned on the point cloud observation that factorizes rotation from translation and articulation. Trained on our synthesized large-scale dexterous grasp dataset, this model enables us to sample diverse and high-quality dexterous grasp poses for the object in the point cloud. For the second stage, we propose to replace the motion planning used in parallel gripper grasping with a goal-conditioned grasp policy, due to the complexity involved in dexterous grasping execution. Note that it is very challenging to learn this highly generalizable grasp policy that only takes realistic inputs without oracle states. We thus propose several important innovations, including state canonicalization, object curriculum, and teacher-student distillation. Integrating the two stages, our final pipeline becomes the first to achieve universal generalization for dexterous grasping, demonstrating an average success rate of more than 60% on thousands of object instances, which significantly out performs all baselines, meanwhile showing only a minimal generalization gap.
• Abstract（参考訳）: 本研究では,テーブル上環境下での点雲観測から万能ロボットによるデクスタース把持を学習する問題に取り組む。 目標は、高品質で多様な方法でオブジェクトをつかんで持ち上げ、何百ものカテゴリや目に見えないものまで一般化することだ。 並列グリッパーグラッシングで成功したパイプラインに触発されて、タスクを2つのステージに分割しました。 1)提案(目的)の生成と取得 2)目標条件の把握実行。 第1段階では,翻訳と調音から回転を分解する点雲観測に条件付きグリップポーズの新しい確率モデルを提案する。 合成した大規模デキスタラス・グリップ・データセットに基づいて,このモデルにより,点群における対象物に対する多種多様な高品質なデキスタラス・グリップ・ポーズを抽出することができる。 第2段階では,厳密な把持実行に関わる複雑さのため,並列グリップグリップにおける動作計画を目標条件のグリップポリシーに置き換えることを提案する。 オラクル状態なしに現実的な入力しか受け取らないこの非常に一般化可能な把握ポリシーを学ぶことは極めて困難である。 そこで本稿では, 状態標準化, 対象カリキュラム, 教師・学生蒸留など, 重要な技術革新を提案する。 この2つのステージを統合することで、私たちの最終的なパイプラインは、デクスタースハンドリングの普遍的な一般化を最初に達成し、数千のオブジェクトインスタンスで平均成功率が60%を超え、すべてのベースラインのパフォーマンスを大幅に上回りながら、最小の一般化ギャップしか示せません。

関連論文リスト

• GHIL-Glue: Hierarchical Control with Filtered Subgoal Images [68.36060286192262]
  Generative Hierarchical Imitation Learning-Glue (GHIL-Glue) は、言語条件のイメージやビデオ予測モデルを低レベルな目標条件のポリシーで結合するインタフェースである。 GHIL-Glueはタスクの進行に繋がらないサブゴールをフィルタリングし、有害な視覚的アーティファクトを持つ生成されたサブゴールに対するゴール条件付きポリシーの堅牢性を改善する。 我々は、GHIL-Glueが生成サブゴールを利用する複数の階層モデルに対して25%改善するシミュレーション環境と実環境の両方において、広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-26T00:32:21Z)
• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• Joint Learning for Scattered Point Cloud Understanding with Hierarchical Self-Distillation [34.26170741722835]
  そこで本研究では,部分点雲を高速に補正し,同定するエンド・ツー・エンドアーキテクチャを提案する。 階層型自己蒸留(HSD)は任意の階層ベースの点雲法に適用できる。
  論文  参考訳（メタデータ） (2023-12-28T08:51:04Z)
• GraspGF: Learning Score-based Grasping Primitive for Human-assisting Dexterous Grasping [11.63059055320262]
  そこで本研究では,人的支援による創発的把握という新たな課題を提案する。 ロボットハンドの指をコントロールして、物をつかむのを助ける政策を訓練することを目指している。
  論文  参考訳（メタデータ） (2023-09-12T08:12:32Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• Point Cloud Upsampling via Cascaded Refinement Network [39.79759035338819]
  粗い方法で点雲をサンプリングすることは、まともな解決法である。 既存の粗大なアップサンプリング手法では、追加のトレーニング戦略が必要となる。 本稿では,単純だが効果的なカスケード改良ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-08T07:09:37Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)
• Self-Supervised Arbitrary-Scale Point Clouds Upsampling via Implicit Neural Representation [79.60988242843437]
  そこで本研究では,自己監督型および倍率フレキシブルな点雲を同時にアップサンプリングする手法を提案する。 実験結果から, 自己教師あり学習に基づく手法は, 教師あり学習に基づく手法よりも, 競争力や性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-04-18T07:18:25Z)
• Learning to Shift Attention for Motion Generation [55.61994201686024]
  ロボット学習を用いた動作生成の課題の1つは、人間のデモが1つのタスククエリに対して複数のモードを持つ分布に従うことである。 以前のアプローチでは、すべてのモードをキャプチャできなかったり、デモの平均モードを取得できないため、無効なトラジェクトリを生成する傾向があった。 この問題を克服する外挿能力を有するモーション生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-24T09:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。