論文の概要: PartManip: Learning Cross-Category Generalizable Part Manipulation
Policy from Point Cloud Observations
- arxiv url: http://arxiv.org/abs/2303.16958v1
- Date: Wed, 29 Mar 2023 18:29:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-31 15:19:48.834448
- Title: PartManip: Learning Cross-Category Generalizable Part Manipulation
Policy from Point Cloud Observations
- Title（参考訳）: PartManip: クロスカテゴリ一般化可能なパート管理ポリシをポイントクラウド観測から学ぶ
- Authors: Haoran Geng, Ziming Li, Yiran Geng, Jiayi Chen, Hao Dong, He Wang
- Abstract要約: 私たちは、最初の大規模、パートベースのクロスカテゴリオブジェクト操作ベンチマーク、PartManipを構築しました。
我々は、提案したパートベース標準化とパートアウェア報酬で州ベースのエキスパートを訓練し、その知識をビジョンベースの学生に蒸留する。
クロスカテゴリの一般化のために,ドメイン不変特徴抽出のためのドメイン逆学習を導入する。
- 参考スコア（独自算出の注目度）: 12.552149411655355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning a generalizable object manipulation policy is vital for an embodied
agent to work in complex real-world scenes. Parts, as the shared components in
different object categories, have the potential to increase the generalization
ability of the manipulation policy and achieve cross-category object
manipulation. In this work, we build the first large-scale, part-based
cross-category object manipulation benchmark, PartManip, which is composed of
11 object categories, 494 objects, and 1432 tasks in 6 task classes. Compared
to previous work, our benchmark is also more diverse and realistic, i.e.,
having more objects and using sparse-view point cloud as input without oracle
information like part segmentation. To tackle the difficulties of vision-based
policy learning, we first train a state-based expert with our proposed
part-based canonicalization and part-aware rewards, and then distill the
knowledge to a vision-based student. We also find an expressive backbone is
essential to overcome the large diversity of different objects. For
cross-category generalization, we introduce domain adversarial learning for
domain-invariant feature extraction. Extensive experiments in simulation show
that our learned policy can outperform other methods by a large margin,
especially on unseen object categories. We also demonstrate our method can
successfully manipulate novel objects in the real world.
- Abstract（参考訳）: 一般化可能なオブジェクト操作ポリシーを学ぶことは、具体化エージェントが複雑な現実世界のシーンで動作するためには不可欠である。
異なるオブジェクトカテゴリの共有コンポーネントとして、部品は、操作ポリシーの一般化能力を高め、カテゴリ間のオブジェクト操作を実現する可能性がある。
本研究では,11のオブジェクトカテゴリ,494のオブジェクト,1432のタスクを6つのタスククラスで構成した,最初の大規模部分ベースのクロスカテゴリオブジェクト操作ベンチマークであるPartManipを構築した。
以前の研究と比較すると、我々のベンチマークはより多様で現実的であり、つまり、より多くのオブジェクトを持ち、スパースビューポイントクラウドを部品分割のようなオラクル情報なしで入力として使用する。
視覚ベースの政策学習の難しさに取り組むために,まず,提案する部分に基づく正準化と部分認識報酬を国ベースの専門家に訓練し,その知識を視覚ベースの学生に蒸留する。
さまざまなオブジェクトの多様性を克服するには、表現力に富んだバックボーンも不可欠です。
クロスカテゴリ一般化のために,ドメイン不変特徴抽出のためのドメイン逆学習を導入する。
シミュレーションにおける大規模な実験により、学習方針は、特に目に見えない対象カテゴリーにおいて、他の手法よりも大きなマージンで優れていることが示された。
また,本手法は実世界の新しい物体をうまく操作できることを実証する。
関連論文リスト
- Entity-Centric Reinforcement Learning for Object Manipulation from Pixels [22.104757862869526]
強化学習(RL)は、オブジェクト操作を学ぶための一般的なアプローチを提供する。
実際には、数個以上のオブジェクトを持つドメインは、次元の呪いのためにRLエージェントにとって難しい。
本稿では、複数のオブジェクトとその相互作用を表現するのに適した視覚的RLに対して、構造化されたアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-01T16:25:08Z) - Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。
本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
論文 参考訳（メタデータ） (2022-05-30T17:50:59Z) - Self-Supervised Learning of Object Parts for Semantic Segmentation [7.99536002595393]
我々は、オブジェクト部品の自己教師型学習がこの問題の解決策であると主張している。
本手法は3つのセマンティックセグメンテーションベンチマークの最先端を17%-3%超える。
論文 参考訳（メタデータ） (2022-04-27T17:55:17Z) - Learning Generalizable Dexterous Manipulation from Human Grasp
Affordance [11.060931225148936]
マルチフィンガーハンドによる有害な操作は、ロボット工学における最も難しい問題の1つだ。
模倣学習の最近の進歩は、強化学習と比較してサンプル効率を大幅に改善した。
本稿では,様々な3Dオブジェクトをカテゴリ内に配置した大規模実演を用いて,デクスタラスな操作を学習することを提案する。
論文 参考訳（メタデータ） (2022-04-05T16:26:22Z) - PartAfford: Part-level Affordance Discovery from 3D Objects [113.91774531972855]
パートレベルの空き地探索(PartAfford)の課題について紹介する。
対象物当たりの空きラベルのみを考慮し、(i)3D形状を部品に分解し、(ii)各部品が特定の空きカテゴリに対応する方法を検出する。
本稿では,パーセンテージ・セットの監督と幾何学的原始正規化のみを活用することで,パートレベルの表現を発見する新しい学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-28T02:58:36Z) - Unsupervised Part Discovery from Contrastive Reconstruction [90.88501867321573]
自己監督型視覚表現学習の目標は、強く伝達可能な画像表現を学習することである。
対象部分の発見とセグメンテーションに対する教師なしアプローチを提案する。
本手法は, 細粒度, 視覚的に異なるカテゴリ間でセマンティックな部分を生成する。
論文 参考訳（メタデータ） (2021-11-11T17:59:42Z) - Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task
Learning [108.08083976908195]
既存の強化学習アルゴリズムで学習したポリシーは、実際は一般化可能であることを示す。
本稿では,100以上の幾何学的に異なる実世界のオブジェクトを,単一のジェネラリストポリシーで手動操作できることを示す。
興味深いことに、オブジェクトポイントクラウド表現によるマルチタスク学習は、より一般化するだけでなく、シングルオブジェクトのスペシャリストポリシーよりも優れています。
論文 参考訳（メタデータ） (2021-11-04T17:59:56Z) - Learning Open-World Object Proposals without Learning to Classify [110.30191531975804]
本研究では,各領域の位置と形状がどの接地トラストオブジェクトとどのように重なり合うかによって,各領域の目的性を純粋に推定する,分類不要なオブジェクトローカライゼーションネットワークを提案する。
この単純な戦略は一般化可能な対象性を学び、クロスカテゴリの一般化に関する既存の提案より優れている。
論文 参考訳（メタデータ） (2021-08-15T14:36:02Z) - Act the Part: Learning Interaction Strategies for Articulated Object
Part Discovery [18.331607910407183]
act the part (atp) を導入して,関節のあるオブジェクトと対話し,それらのピースを発見・分割する方法を学習する。
私たちの実験では、AtPは部分発見のための効率的な戦略を学び、見えないカテゴリに一般化することができ、タスクの条件付き推論が可能です。
論文 参考訳（メタデータ） (2021-05-03T17:48:29Z) - Learning visual policies for building 3D shape categories [130.7718618259183]
この領域における以前の作業は、しばしば既知のプリミティブの集合から特定のオブジェクトのインスタンスを組み立てる。
私たちは、同じカテゴリの他のインスタンスを組み立てるための視覚ポリシーを学びます。
我々の視覚アセンブリポリシーは、実際の画像なしで訓練され、実際のロボットで評価した場合、95%の成功率に達する。
論文 参考訳（メタデータ） (2020-04-15T17:29:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。