論文の概要: DexDeform: Dexterous Deformable Object Manipulation with Human Demonstrations and Differentiable Physics

• arxiv url: http://arxiv.org/abs/2304.03223v1
• Date: Mon, 27 Mar 2023 17:59:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-09 05:26:56.409569
• Title: DexDeform: Dexterous Deformable Object Manipulation with Human Demonstrations and Differentiable Physics
• Title（参考訳）: dexdeform: 人間のデモと微分可能な物理によるデキスタラスな変形可能なオブジェクト操作
• Authors: Sizhe Li, Zhiao Huang, Tao Chen, Tao Du, Hao Su, Joshua B. Tenenbaum, Chuang Gan
• Abstract要約: 人間の実演から巧妙な操作スキルを抽象化する原理的枠組みを提案する。 次に、イマジネーションにおけるアクション抽象化を計画する上で、デモを使ってスキルモデルをトレーニングします。 提案手法の有効性を評価するために,6つの難解な変形可能なオブジェクト操作タスクの組を導入する。
• 参考スコア（独自算出の注目度）: 97.75188532559952
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this work, we aim to learn dexterous manipulation of deformable objects using multi-fingered hands. Reinforcement learning approaches for dexterous rigid object manipulation would struggle in this setting due to the complexity of physics interaction with deformable objects. At the same time, previous trajectory optimization approaches with differentiable physics for deformable manipulation would suffer from local optima caused by the explosion of contact modes from hand-object interactions. To address these challenges, we propose DexDeform, a principled framework that abstracts dexterous manipulation skills from human demonstration and refines the learned skills with differentiable physics. Concretely, we first collect a small set of human demonstrations using teleoperation. And we then train a skill model using demonstrations for planning over action abstractions in imagination. To explore the goal space, we further apply augmentations to the existing deformable shapes in demonstrations and use a gradient optimizer to refine the actions planned by the skill model. Finally, we adopt the refined trajectories as new demonstrations for finetuning the skill model. To evaluate the effectiveness of our approach, we introduce a suite of six challenging dexterous deformable object manipulation tasks. Compared with baselines, DexDeform is able to better explore and generalize across novel goals unseen in the initial human demonstrations.
• Abstract（参考訳）: 本研究では,多指ハンドを用いて変形可能な物体の巧妙な操作を学習することを目的とする。 厳密な物体操作のための強化学習アプローチは、変形可能な物体との物理相互作用の複雑さのために、この設定では困難である。 同時に、変形可能な操作のための微分物理学による以前の軌道最適化アプローチは、手動物体相互作用による接触モードの爆発による局所的な最適性に悩まされる。 これらの課題に対処するために,我々は,人間の実演から巧妙な操作スキルを抽象化し,その学習スキルを微分可能な物理で洗練する原則付きフレームワークdexdeformを提案する。 具体的には、まず遠隔操作を用いて、人間のデモの小さなセットを収集する。 そして、イマジネーションのアクション抽象化を計画するためにデモを使ってスキルモデルをトレーニングします。 目標空間を探索するため,実証において既存の変形可能な形状にさらに拡張を加え,スキルモデルによって計画される動作を改良するために勾配最適化器を使用する。 最後に、精巧な軌跡をスキルモデルを微調整するための新しいデモンストレーションとして採用する。 提案手法の有効性を評価するために,6つの難解な変形可能なオブジェクト操作タスクを導入する。 ベースラインと比較すると、dexdeformは人間の最初のデモンストレーションでは見つからなかった新しい目標を探索し、一般化することができる。

関連論文リスト

• ReinDiffuse: Crafting Physically Plausible Motions with Reinforced Diffusion Model [9.525806425270428]
  本稿では、強化学習と運動拡散モデルを組み合わせることで、物理的に信頼できる人間の動きを生成するEmphReinDiffuseを提案する。 動作拡散モデルを用いてパラメータ化された動作分布を出力し、強化学習パラダイムに適合させる。 我々のアプローチは、HumanML3DとKIT-MLという2つの主要なデータセット上で、既存の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-09T16:24:11Z)
• DefGoalNet: Contextual Goal Learning from Demonstrations For Deformable Object Manipulation [11.484820908345563]
  変形可能な物体の目標形状を学習するためのニューラルネットワークDefGoalNetを開発した。 シミュレーションと物理ロボットの両方において,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-09-25T18:54:32Z)
• SculptBot: Pre-Trained Models for 3D Deformable Object Manipulation [8.517406772939292]
  粘土やパン生地のモデリングなどの塑性挙動を示す材料は, 応力下で永久に変形し, 常に形状が変化するため, 状態表現は困難である。 本研究では,点雲を状態表現として利用し,事前学習した点雲再構成変換器を用いて潜時力学モデルを学習し,把持動作による材料変形を予測するシステムを提案する。
  論文  参考訳（メタデータ） (2023-09-15T19:27:44Z)
• Learning to Transfer In-Hand Manipulations Using a Greedy Shape Curriculum [79.6027464700869]
  本研究では, 動的シミュレーションにおける簡易物体の自然な, 頑健な手動操作が, 高品質なモーションキャプチャの例から学習可能であることを示す。 本稿では,ティーポット,バニー,ボトル,トレイン,ゾウなど,さまざまな対象に適用可能な,単純なグリージーなカリキュラム検索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-14T17:08:19Z)
• DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools [96.38972082580294]
  DiffSkillは、変形可能なオブジェクト操作タスクを解決するために、スキル抽象化に微分可能な物理シミュレータを使用する新しいフレームワークである。 特に、勾配に基づくシミュレーターから個々のツールを用いて、まず短距離のスキルを得る。 次に、RGBD画像を入力として取り込む実演軌跡から、ニューラルネットワークの抽象体を学習する。
  論文  参考訳（メタデータ） (2022-03-31T17:59:38Z)
• ACID: Action-Conditional Implicit Visual Dynamics for Deformable Object Manipulation [135.10594078615952]
  本稿では,体積変形可能なオブジェクトに対する動作条件の視覚力学モデルであるACIDを紹介する。 ベンチマークには17,000以上のアクション・トラジェクトリー、6種類のぬいぐるみと78種類の変種が含まれている。 我々のモデルは、幾何学、対応、力学の予測において最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-03-14T04:56:55Z)
• A Differentiable Recipe for Learning Visual Non-Prehensile Planar Manipulation [63.1610540170754]
  視覚的非包括的平面操作の問題に焦点をあてる。 本稿では,ビデオデコードニューラルモデルと接触力学の先行情報を組み合わせた新しいアーキテクチャを提案する。 モジュラーで完全に差別化可能なアーキテクチャは、目に見えないオブジェクトやモーションの学習専用手法よりも優れていることが分かりました。
  論文  参考訳（メタデータ） (2021-11-09T18:39:45Z)
• Learning Predictive Representations for Deformable Objects Using Contrastive Estimation [83.16948429592621]
  視覚表現モデルと動的モデルの両方を協調的に最適化する新しい学習フレームワークを提案する。 我々は,標準モデルに基づく学習手法をロープや布の操作スイートで大幅に改善した。
  論文  参考訳（メタデータ） (2020-03-11T17:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。