論文の概要: RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects
with Graph Networks
- arxiv url: http://arxiv.org/abs/2205.02909v1
- Date: Thu, 5 May 2022 20:28:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-09 13:54:40.817434
- Title: RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects
with Graph Networks
- Title（参考訳）: RoboCraft: グラフネットワークによるエラストプラスティックオブジェクトの閲覧、シミュレート、形状の学習
- Authors: Haochen Shi, Huazhe Xu, Zhiao Huang, Yunzhu Li, Jiajun Wu
- Abstract要約: 弾塑性物体のモデリングと操作のためのモデルベース計画フレームワークを提案する。
我々のシステムであるRoboCraftは、グラフニューラルネットワーク(GNN)を用いて粒子ベースの力学モデルを学び、基礎となるシステムの構造を捉える。
実世界のロボットインタラクションデータの10分で、ロボットは制御信号を合成し、弾塑性の物体を様々な形状に変形させるダイナミックスモデルを学習できることを示す。
- 参考スコア（独自算出の注目度）: 32.00371492516123
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling and manipulating elasto-plastic objects are essential capabilities
for robots to perform complex industrial and household interaction tasks (e.g.,
stuffing dumplings, rolling sushi, and making pottery). However, due to the
high degree of freedom of elasto-plastic objects, significant challenges exist
in virtually every aspect of the robotic manipulation pipeline, e.g.,
representing the states, modeling the dynamics, and synthesizing the control
signals. We propose to tackle these challenges by employing a particle-based
representation for elasto-plastic objects in a model-based planning framework.
Our system, RoboCraft, only assumes access to raw RGBD visual observations. It
transforms the sensing data into particles and learns a particle-based dynamics
model using graph neural networks (GNNs) to capture the structure of the
underlying system. The learned model can then be coupled with model-predictive
control (MPC) algorithms to plan the robot's behavior. We show through
experiments that with just 10 minutes of real-world robotic interaction data,
our robot can learn a dynamics model that can be used to synthesize control
signals to deform elasto-plastic objects into various target shapes, including
shapes that the robot has never encountered before. We perform systematic
evaluations in both simulation and the real world to demonstrate the robot's
manipulation capabilities and ability to generalize to a more complex action
space, different tool shapes, and a mixture of motion modes. We also conduct
comparisons between RoboCraft and untrained human subjects controlling the
gripper to manipulate deformable objects in both simulation and the real world.
Our learned model-based planning framework is comparable to and sometimes
better than human subjects on the tested tasks.
- Abstract（参考訳）: エラスト塑性物体のモデリングと操作は、ロボットが複雑な産業と家庭の相互作用(ダンプリングの詰め込み、寿司の転がり、陶器を作るなど)を行う上で不可欠な機能である。
しかしながら、弾塑性物体の高度な自由のため、ロボット操作パイプラインの事実上のあらゆる面において、例えば状態の表現、ダイナミクスのモデリング、制御信号の合成といった重要な課題が存在する。
モデルベース計画フレームワークにおける弾塑性物体の粒子表現を用いて,これらの課題に対処することを提案する。
我々のシステムであるRoboCraftは、生のRGBD視覚観測のみを前提としている。
センシングデータを粒子に変換し、グラフニューラルネットワーク(GNN)を用いて粒子ベースのダイナミクスモデルを学び、基礎となるシステムの構造を捉える。
学習したモデルはモデル予測制御(MPC)アルゴリズムと結合してロボットの動作を計画することができる。
実世界のロボットインタラクションデータの10分で、ロボットは制御信号を合成して弾力性のある物体を様々なターゲット形状に変形させるダイナミクスモデルを学習できることを実験で示します。
シミュレーションと実世界の両方で体系的な評価を行い,ロボットの操作能力と,より複雑なアクション空間,異なるツール形状,動きモードの混合に一般化する能力を示す。
また,ロボットクラフトと握手を制御する非訓練人体の比較を行い,シミュレーションと実世界の両方で変形可能な物体を操作する。
学習したモデルベースの計画フレームワークは、テストされたタスクの被験者に匹敵し、時には人間よりも優れています。
関連論文リスト
- Differentiable Robot Rendering [45.23538293501457]
本稿では,ロボット本体の視覚的外観を,その制御パラメータに対して直接微分可能とするロボットレンダリングについて紹介する。
画像からロボットのポーズを復元したり、視覚言語モデルを用いてロボットを制御するなど、その能力と用途を実演する。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
我々はPolarisという対話型ロボット操作フレームワークを紹介した。
ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。
本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
論文 参考訳（メタデータ） (2024-08-15T06:40:38Z) - RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing [38.97168020979433]
本稿では, 視覚と触覚を組み合わせ, 触覚インフォームド・ダイナミックスモデルを学習することでロボット操作を実現するアプローチを提案する。
提案するフレームワークであるRoboPackは、オブジェクト状態を推定するために、リカレントグラフニューラルネットワークを使用している。
我々は,非包括的操作と密包装作業に対するソフトバブル触覚センサを備えた実ロボットへのアプローチを実証する。
論文 参考訳（メタデータ） (2024-07-01T16:08:37Z) - ManiFoundation Model for General-Purpose Robotic Manipulation of Contact Synthesis with Arbitrary Objects and Robots [24.035706461949715]
汎用ロボットが幅広い操作タスクをこなせるようなモデルを開発する必要がある。
本研究は,汎用ロボット操作の基礎モデルを構築するための包括的枠組みを導入する。
私たちのモデルは、平均的な成功率を約90%達成します。
論文 参考訳（メタデータ） (2024-05-11T09:18:37Z) - DiffuseBot: Breeding Soft Robots With Physics-Augmented Generative
Diffusion Models [102.13968267347553]
本稿では,様々なタスクにおいて優れたソフトロボット形態を生成する物理拡張拡散モデルであるDiffuseBotを提案する。
我々は、その能力とともに、シミュレーションされた、そして製造された様々なロボットを紹介します。
論文 参考訳（メタデータ） (2023-11-28T18:58:48Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳（メタデータ） (2023-06-16T17:58:10Z) - RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。
実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
論文 参考訳（メタデータ） (2022-12-13T18:55:15Z) - Factored World Models for Zero-Shot Generalization in Robotic
Manipulation [7.258229016768018]
我々は、オブジェクト指向世界モデルを用いてロボットピック・アンド・プレイス・タスクを一般化することを学ぶ。
グラフニューラルネットワークの残差スタックを使用して、ノードとエッジの両方のニューラルネットワークにおいて、複数のレベルのアクション情報を受信する。
モデルアンサンブルを用いて、最大12個のピック・アンド・プレイス・アクションを含むタスクを検索で計画できることが示される。
論文 参考訳（メタデータ） (2022-02-10T21:26:11Z) - Full-Body Visual Self-Modeling of Robot Morphologies [29.76701883250049]
身体の内部計算モデルは、ロボットや動物が行動の計画と制御を行う能力の基礎である。
完全データ駆動型自己モデリングの最近の進歩により、マシンはタスク非依存の相互作用データから直接フォワードキネマティクスを学習できるようになった。
ここでは、フォワードキネマティクスを直接モデル化するのではなく、空間占有クエリに答えることのできる、より有用な自己モデリング形式を提案する。
論文 参考訳（メタデータ） (2021-11-11T18:58:07Z) - V-MAO: Generative Modeling for Multi-Arm Manipulation of Articulated
Objects [51.79035249464852]
本稿では,音声による物体のマルチアーム操作を学習するためのフレームワークを提案する。
本フレームワークは,各ロボットアームの剛部上の接触点分布を学習する変動生成モデルを含む。
論文 参考訳（メタデータ） (2021-11-07T02:31:09Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳（メタデータ） (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。