論文の概要: RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects
with Graph Networks
- arxiv url: http://arxiv.org/abs/2205.02909v1
- Date: Thu, 5 May 2022 20:28:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-09 13:54:40.817434
- Title: RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects
with Graph Networks
- Title(参考訳): RoboCraft: グラフネットワークによるエラストプラスティックオブジェクトの閲覧、シミュレート、形状の学習
- Authors: Haochen Shi, Huazhe Xu, Zhiao Huang, Yunzhu Li, Jiajun Wu
- Abstract要約: 弾塑性物体のモデリングと操作のためのモデルベース計画フレームワークを提案する。
我々のシステムであるRoboCraftは、グラフニューラルネットワーク(GNN)を用いて粒子ベースの力学モデルを学び、基礎となるシステムの構造を捉える。
実世界のロボットインタラクションデータの10分で、ロボットは制御信号を合成し、弾塑性の物体を様々な形状に変形させるダイナミックスモデルを学習できることを示す。
- 参考スコア(独自算出の注目度): 32.00371492516123
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling and manipulating elasto-plastic objects are essential capabilities
for robots to perform complex industrial and household interaction tasks (e.g.,
stuffing dumplings, rolling sushi, and making pottery). However, due to the
high degree of freedom of elasto-plastic objects, significant challenges exist
in virtually every aspect of the robotic manipulation pipeline, e.g.,
representing the states, modeling the dynamics, and synthesizing the control
signals. We propose to tackle these challenges by employing a particle-based
representation for elasto-plastic objects in a model-based planning framework.
Our system, RoboCraft, only assumes access to raw RGBD visual observations. It
transforms the sensing data into particles and learns a particle-based dynamics
model using graph neural networks (GNNs) to capture the structure of the
underlying system. The learned model can then be coupled with model-predictive
control (MPC) algorithms to plan the robot's behavior. We show through
experiments that with just 10 minutes of real-world robotic interaction data,
our robot can learn a dynamics model that can be used to synthesize control
signals to deform elasto-plastic objects into various target shapes, including
shapes that the robot has never encountered before. We perform systematic
evaluations in both simulation and the real world to demonstrate the robot's
manipulation capabilities and ability to generalize to a more complex action
space, different tool shapes, and a mixture of motion modes. We also conduct
comparisons between RoboCraft and untrained human subjects controlling the
gripper to manipulate deformable objects in both simulation and the real world.
Our learned model-based planning framework is comparable to and sometimes
better than human subjects on the tested tasks.
- Abstract(参考訳): エラスト塑性物体のモデリングと操作は、ロボットが複雑な産業と家庭の相互作用(ダンプリングの詰め込み、寿司の転がり、陶器を作るなど)を行う上で不可欠な機能である。
しかしながら、弾塑性物体の高度な自由のため、ロボット操作パイプラインの事実上のあらゆる面において、例えば状態の表現、ダイナミクスのモデリング、制御信号の合成といった重要な課題が存在する。
モデルベース計画フレームワークにおける弾塑性物体の粒子表現を用いて,これらの課題に対処することを提案する。
我々のシステムであるRoboCraftは、生のRGBD視覚観測のみを前提としている。
センシングデータを粒子に変換し、グラフニューラルネットワーク(GNN)を用いて粒子ベースのダイナミクスモデルを学び、基礎となるシステムの構造を捉える。
学習したモデルはモデル予測制御(MPC)アルゴリズムと結合してロボットの動作を計画することができる。
実世界のロボットインタラクションデータの10分で、ロボットは制御信号を合成して弾力性のある物体を様々なターゲット形状に変形させるダイナミクスモデルを学習できることを実験で示します。
シミュレーションと実世界の両方で体系的な評価を行い,ロボットの操作能力と,より複雑なアクション空間,異なるツール形状,動きモードの混合に一般化する能力を示す。
また,ロボットクラフトと握手を制御する非訓練人体の比較を行い,シミュレーションと実世界の両方で変形可能な物体を操作する。
学習したモデルベースの計画フレームワークは、テストされたタスクの被験者に匹敵し、時には人間よりも優れています。
関連論文リスト
- DiffuseBot: Breeding Soft Robots With Physics-Augmented Generative
Diffusion Models [102.13968267347553]
本稿では,様々なタスクにおいて優れたソフトロボット形態を生成する物理拡張拡散モデルであるDiffuseBotを提案する。
我々は、その能力とともに、シミュレーションされた、そして製造された様々なロボットを紹介します。
論文 参考訳(メタデータ) (2023-11-28T18:58:48Z) - VoxPoser: Composable 3D Value Maps for Robotic Manipulation with
Language Models [38.503337052122234]
大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。
我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。
筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
論文 参考訳(メタデータ) (2023-07-12T07:40:48Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳(メタデータ) (2023-06-16T17:58:10Z) - RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。
実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
論文 参考訳(メタデータ) (2022-12-13T18:55:15Z) - Factored World Models for Zero-Shot Generalization in Robotic
Manipulation [7.258229016768018]
我々は、オブジェクト指向世界モデルを用いてロボットピック・アンド・プレイス・タスクを一般化することを学ぶ。
グラフニューラルネットワークの残差スタックを使用して、ノードとエッジの両方のニューラルネットワークにおいて、複数のレベルのアクション情報を受信する。
モデルアンサンブルを用いて、最大12個のピック・アンド・プレイス・アクションを含むタスクを検索で計画できることが示される。
論文 参考訳(メタデータ) (2022-02-10T21:26:11Z) - Full-Body Visual Self-Modeling of Robot Morphologies [29.76701883250049]
身体の内部計算モデルは、ロボットや動物が行動の計画と制御を行う能力の基礎である。
完全データ駆動型自己モデリングの最近の進歩により、マシンはタスク非依存の相互作用データから直接フォワードキネマティクスを学習できるようになった。
ここでは、フォワードキネマティクスを直接モデル化するのではなく、空間占有クエリに答えることのできる、より有用な自己モデリング形式を提案する。
論文 参考訳(メタデータ) (2021-11-11T18:58:07Z) - V-MAO: Generative Modeling for Multi-Arm Manipulation of Articulated
Objects [51.79035249464852]
本稿では,音声による物体のマルチアーム操作を学習するためのフレームワークを提案する。
本フレームワークは,各ロボットアームの剛部上の接触点分布を学習する変動生成モデルを含む。
論文 参考訳(メタデータ) (2021-11-07T02:31:09Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳(メタデータ) (2021-07-08T17:49:37Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳(メタデータ) (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。