論文の概要: Learning to Rearrange Deformable Cables, Fabrics, and Bags with Goal-Conditioned Transporter Networks

• arxiv url: http://arxiv.org/abs/2012.03385v4
• Date: Sun, 18 Jun 2023 18:54:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 08:29:19.167577
• Title: Learning to Rearrange Deformable Cables, Fabrics, and Bags with Goal-Conditioned Transporter Networks
• Title（参考訳）: ゴールコンディショニングトランスポーターネットワークを用いた変形可能なケーブル、布地、バッグの再構成学習
• Authors: Daniel Seita, Pete Florence, Jonathan Tompson, Erwin Coumans, Vikas Sindhwani, Ken Goldberg, Andy Zeng
• Abstract要約: ケーブル、布、バッグなどの変形可能な物体を再配置し、操作することは、ロボット操作における長年の課題である。 1D, 2D, 3Dの変形可能な構造を持つシミュレーションベンチマークスイートを開発した。 本稿では,ロボット操作学習のためのモデルアーキテクチャであるTransporter Networksに目標条件を組み込むことを提案する。
• 参考スコア（独自算出の注目度）: 36.90218756798642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rearranging and manipulating deformable objects such as cables, fabrics, and bags is a long-standing challenge in robotic manipulation. The complex dynamics and high-dimensional configuration spaces of deformables, compared to rigid objects, make manipulation difficult not only for multi-step planning, but even for goal specification. Goals cannot be as easily specified as rigid object poses, and may involve complex relative spatial relations such as "place the item inside the bag". In this work, we develop a suite of simulated benchmarks with 1D, 2D, and 3D deformable structures, including tasks that involve image-based goal-conditioning and multi-step deformable manipulation. We propose embedding goal-conditioning into Transporter Networks, a recently proposed model architecture for learning robotic manipulation that rearranges deep features to infer displacements that can represent pick and place actions. In simulation and in physical experiments, we demonstrate that goal-conditioned Transporter Networks enable agents to manipulate deformable structures into flexibly specified configurations without test-time visual anchors for target locations. We also significantly extend prior results using Transporter Networks for manipulating deformable objects by testing on tasks with 2D and 3D deformables. Supplementary material is available at https://berkeleyautomation.github.io/bags/.
• Abstract（参考訳）: ケーブル、布地、バッグなどの変形可能な物体の配置と操作は、ロボット操作における長年の課題である。 変形可能な複雑なダイナミクスと高次元の構成空間は、剛性のある物体と比較すると、多段計画だけでなくゴールの仕様においても操作が困難である。 ゴールは剛体のポーズほど簡単に特定できず、「バッグの中にアイテムを置く」といった複雑な空間関係を伴うこともある。 本研究では,画像ベースゴールコンディショニングや複数ステップの変形操作を含む,1D,2D,3Dの変形可能な構造を持つシミュレーションベンチマークスイートを開発する。 本稿では,最近提案されたロボット操作を学習するためのモデルアーキテクチャであるトランスポーターネットワークに目標条件を組み込む手法を提案する。 シミュレーションおよび物理実験において、目標条件付きトランスポーターネットワークは、ターゲット位置に対するテスト時間視覚アンカーを使わずに、変形可能な構造を柔軟に指定した構成に操作できることを示した。 また, 2次元および3次元の変形可能なタスクでテストすることにより, 変形可能なオブジェクトを操作するトランスポーターネットワークを用いて, 先行結果を著しく拡張した。 補足資料はhttps://berkeleyautomation.github.io/bags/で入手できる。

関連論文リスト

• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• DeformerNet: Learning Bimanual Manipulation of 3D Deformable Objects [13.138509669247508]
  弾性、3次元変形可能な物体の解析モデルは、物体の形状を決定する際に存在する潜在的無限の自由度を記述するために、多数のパラメータを必要とする。 従来の3D形状制御の試みは、オブジェクト形状を表現するために手作りの特徴に依存しており、オブジェクト固有の制御モデルの訓練が必要である。 DeformerNetニューラルネットワークアーキテクチャは、操作対象の部分ビューポイントクラウドと目標形状のポイントクラウドで動作する。 この形状埋め込みにより、ロボットは必要なロボットのエンドエフェクタ動作を計算するビジュアルサーボコントローラを学習することができる。
  論文  参考訳（メタデータ） (2023-05-08T04:08:06Z)
• Deep Reinforcement Learning Based on Local GNN for Goal-conditioned Deformable Object Rearranging [1.807492010338763]
  オブジェクトの再配置は、ロボットが変形可能なオブジェクトを目標設定に再構成する必要がある、最も一般的な変形可能な操作タスクの1つである。 従来の研究は、モデルベースまたはデータ駆動アプローチによる各タスクのエキスパートシステムの設計に重点を置いていた。 画像から検出されたキーポイントを2つの表現グラフを用いて符号化する局所GNN(Graph Neural Network)に基づく学習法を設計する。 我々のフレームワークはシミュレーションにおける複数の1-D(ロープリング、ロープリング)と2-D(クロース)の再構成作業に有効であり、キーポイント検出器を微調整することで、実際のロボットに容易に移行できる。
  論文  参考訳（メタデータ） (2023-02-21T05:21:26Z)
• Graph-Transporter: A Graph-based Learning Method for Goal-Conditioned Deformable Object Rearranging Task [1.807492010338763]
  本稿では,目標条件付き変形可能なオブジェクト再構成タスクのための新しいフレームワークであるGraph-Transporterを提案する。 我々のフレームワークは、FCN(Fully Convolutional Network)に基づくアーキテクチャを採用し、視覚入力のみから画素単位のピック・アンド・プレイス・アクションを出力する。
  論文  参考訳（メタデータ） (2023-02-21T05:21:04Z)
• Planning with Spatial-Temporal Abstraction from Point Clouds for Deformable Object Manipulation [64.00292856805865]
  空間抽象と時間抽象の両方を組み込んだ空間抽象型PlAnning(PASTA)を提案する。 我々のフレームワークは,高次元の3次元観測を潜時ベクトルの集合にマッピングし,潜時集合表現の上のスキルシーケンスを計画する。 本手法は,実世界のオブジェクト操作を効果的に行うことができることを示す。
  論文  参考訳（メタデータ） (2022-10-27T19:57:04Z)
• Learning Visual Shape Control of Novel 3D Deformable Objects from Partial-View Point Clouds [7.1659268120093635]
  弾性、3次元変形可能な物体の解析モデルは、物体の形状を決定する際に存在する潜在的無限の自由度を記述するために、多数のパラメータを必要とする。 従来の3D形状制御の試みは、オブジェクト形状を表現するために手作りの特徴に依存しており、オブジェクト固有の制御モデルの訓練が必要である。 DeformerNetニューラルネットワークアーキテクチャは、操作対象の部分的な視点クラウドと目標形状の点クラウドで動作し、オブジェクト形状の低次元表現を学習する。
  論文  参考訳（メタデータ） (2021-10-10T02:34:57Z)
• Object Wake-up: 3-D Object Reconstruction, Animation, and in-situ Rendering from a Single Image [58.69732754597448]
  椅子の写真があれば、椅子の3次元形状を抽出し、その可愛らしい調音や動きをアニメーション化し、元の画像空間でその場でレンダリングできるだろうか? 単一画像中の調音対象を抽出・操作するための自動アプローチを考案する。
  論文  参考訳（メタデータ） (2021-08-05T16:20:12Z)
• Where2Act: From Pixels to Actions for Articulated 3D Objects [54.19638599501286]
  可動部を有する関節物体の押出しや引抜き等の基本動作に関連する高度に局所化された動作可能な情報を抽出する。 シミュレーションでネットワークをトレーニングできるオンラインデータサンプリング戦略を備えた学習から対話までのフレームワークを提案します。 私たちの学習モデルは、現実世界のデータにも転送します。
  論文  参考訳（メタデータ） (2021-01-07T18:56:38Z)
• A Long Horizon Planning Framework for Manipulating Rigid Pointcloud Objects [25.428781562909606]
  本稿では,剛体物体の操作に伴う長期計画問題の解決のための枠組みを提案する。 提案手法はオブジェクトサブゴールの空間における計画であり,ロボットとオブジェクトの相互作用のダイナミクスに関する推論からプランナーを解放する。
  論文  参考訳（メタデータ） (2020-11-16T18:59:33Z)
• Latent Space Roadmap for Visual Action Planning of Deformable and Rigid Object Manipulation [74.88956115580388]
  プランニングは、イメージを埋め込んだ低次元の潜在状態空間で行われる。 我々のフレームワークは2つの主要なコンポーネントで構成されており、画像のシーケンスとして視覚的な計画を生成するビジュアル・フォレスト・モジュール(VFM)と、それら間のアクションを予測するアクション・プロポーザル・ネットワーク(APN)である。
  論文  参考訳（メタデータ） (2020-03-19T18:43:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。