論文の概要: Deep Reinforcement Learning Based on Local GNN for Goal-conditioned Deformable Object Rearranging

• arxiv url: http://arxiv.org/abs/2302.10446v1
• Date: Tue, 21 Feb 2023 05:21:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 16:14:09.870282
• Title: Deep Reinforcement Learning Based on Local GNN for Goal-conditioned Deformable Object Rearranging
• Title（参考訳）: 目標条件付き変形性物体再構成のための局所GNNに基づく深部強化学習
• Authors: Yuhong Deng, Chongkun Xia, Xueqian Wang and Lipeng Chen
• Abstract要約: オブジェクトの再配置は、ロボットが変形可能なオブジェクトを目標設定に再構成する必要がある、最も一般的な変形可能な操作タスクの1つである。 従来の研究は、モデルベースまたはデータ駆動アプローチによる各タスクのエキスパートシステムの設計に重点を置いていた。 画像から検出されたキーポイントを2つの表現グラフを用いて符号化する局所GNN(Graph Neural Network)に基づく学習法を設計する。 我々のフレームワークはシミュレーションにおける複数の1-D(ロープリング、ロープリング)と2-D(クロース)の再構成作業に有効であり、キーポイント検出器を微調整することで、実際のロボットに容易に移行できる。
• 参考スコア（独自算出の注目度）: 1.807492010338763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Object rearranging is one of the most common deformable manipulation tasks, where the robot needs to rearrange a deformable object into a goal configuration. Previous studies focus on designing an expert system for each specific task by model-based or data-driven approaches and the application scenarios are therefore limited. Some research has been attempting to design a general framework to obtain more advanced manipulation capabilities for deformable rearranging tasks, with lots of progress achieved in simulation. However, transferring from simulation to reality is difficult due to the limitation of the end-to-end CNN architecture. To address these challenges, we design a local GNN (Graph Neural Network) based learning method, which utilizes two representation graphs to encode keypoints detected from images. Self-attention is applied for graph updating and cross-attention is applied for generating manipulation actions. Extensive experiments have been conducted to demonstrate that our framework is effective in multiple 1-D (rope, rope ring) and 2-D (cloth) rearranging tasks in simulation and can be easily transferred to a real robot by fine-tuning a keypoint detector.
• Abstract（参考訳）: オブジェクトの再配置は、ロボットが変形可能なオブジェクトを目標設定に再構成する必要がある最も一般的な変形可能な操作タスクの1つである。 これまでの研究は、モデルベースまたはデータ駆動アプローチによる各タスクのエキスパートシステムの設計に重点を置いてきた。 いくつかの研究は、変形可能な再配置タスクのためのより高度な操作能力を得るための一般的なフレームワークを設計しようとしており、シミュレーションで多くの進歩が達成されている。 しかし、エンドツーエンドCNNアーキテクチャの制限のため、シミュレーションから現実への転送は困難である。 これらの課題に対処するために、画像から検出されたキーポイントを2つの表現グラフを用いて符号化するローカルGNN(Graph Neural Network)ベースの学習手法を設計する。 自己アテンションはグラフ更新に適用され、クロスアテンションは操作アクションの生成に適用される。 複数の1次元(ロープ、ロープリング)と2次元(クロス)のタスクをシミュレーションで再構成し、キーポイント検出器を微調整することで実際のロボットに容易に転送できることを示すために、広範な実験が行われてきた。

関連論文リスト

• Cross-domain and Cross-dimension Learning for Image-to-Graph Transformers [50.576354045312115]
  直接画像からグラフへの変換は、単一のモデルにおけるオブジェクトの検出と関係予測を解決するための課題である。 画像-グラフ変換器のクロスドメインおよびクロス次元変換学習を可能にする一連の手法を提案する。 そこで我々は,2次元の衛星画像上でモデルを事前学習し,それを2次元および3次元の異なるターゲット領域に適用する。
  論文  参考訳（メタデータ） (2024-03-11T10:48:56Z)
• Graphical Object-Centric Actor-Critic [55.2480439325792]
  本稿では,アクター批判とモデルに基づくアプローチを組み合わせたオブジェクト中心強化学習アルゴリズムを提案する。 変換器エンコーダを用いてオブジェクト表現とグラフニューラルネットワークを抽出し、環境のダイナミクスを近似する。 本アルゴリズムは,現状のモデルフリーアクター批判アルゴリズムよりも複雑な3次元ロボット環境と構成構造をもつ2次元環境において,より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-10-26T06:05:12Z)
• Learning visual-based deformable object rearrangement with local graph neural networks [4.333220038316982]
  本稿では,変形可能なオブジェクト状態とキーポイントの集合とその相互作用を効率的にモデル化できる新しい表現戦略を提案する。 また、変形可能な再配置ダイナミクスを共同でモデル化し、最適操作動作を推定するための光局所GNN学習を提案する。 本手法は, 各種変形可能なアレンジメントタスク(平均96.3%)において, シミュレーション実験における最先端手法よりもはるかに高い成功率を達成する。
  論文  参考訳（メタデータ） (2023-10-16T11:42:54Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• Graph-Transporter: A Graph-based Learning Method for Goal-Conditioned Deformable Object Rearranging Task [1.807492010338763]
  本稿では,目標条件付き変形可能なオブジェクト再構成タスクのための新しいフレームワークであるGraph-Transporterを提案する。 我々のフレームワークは、FCN(Fully Convolutional Network)に基づくアーキテクチャを採用し、視覚入力のみから画素単位のピック・アンド・プレイス・アクションを出力する。
  論文  参考訳（メタデータ） (2023-02-21T05:21:04Z)
• Efficient and Robust Training of Dense Object Nets for Multi-Object Robot Manipulation [8.321536457963655]
  我々はDense Object Nets(DON)の堅牢で効率的なトレーニングのためのフレームワークを提案する。 本研究は,多目的データを用いた学習に重点を置いている。 実世界のロボットによる把握作業において,提案手法の頑健さと精度を実証する。
  論文  参考訳（メタデータ） (2022-06-24T08:24:42Z)
• DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools [96.38972082580294]
  DiffSkillは、変形可能なオブジェクト操作タスクを解決するために、スキル抽象化に微分可能な物理シミュレータを使用する新しいフレームワークである。 特に、勾配に基づくシミュレーターから個々のツールを用いて、まず短距離のスキルを得る。 次に、RGBD画像を入力として取り込む実演軌跡から、ニューラルネットワークの抽象体を学習する。
  論文  参考訳（メタデータ） (2022-03-31T17:59:38Z)
• MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
  本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。 提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。 また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
  論文  参考訳（メタデータ） (2021-12-29T17:23:24Z)
• Efficient and Interpretable Robot Manipulation with Graph Neural Networks [7.799182201815763]
  グラフニューラルネットワーク(GNN)を用いて、グラフ上の操作として操作タスクを表現する。 我々の定式化はまず環境をグラフ表現に変換し、次に訓練されたgnnポリシーを適用してどのオブジェクトを操作するかを予測する。 私たちのgnnポリシーは、単純なタスクの専門的なデモンストレーションを使用してトレーニングされ、環境内のオブジェクトの数と構成を一般化しています。 本稿では,学習したGNNポリシがシミュレーションと実ハードウェアの両方で様々なブロックタッキングタスクを解くことができることを示す実験を提案する。
  論文  参考訳（メタデータ） (2021-02-25T21:09:12Z)
• A Long Horizon Planning Framework for Manipulating Rigid Pointcloud Objects [25.428781562909606]
  本稿では,剛体物体の操作に伴う長期計画問題の解決のための枠組みを提案する。 提案手法はオブジェクトサブゴールの空間における計画であり,ロボットとオブジェクトの相互作用のダイナミクスに関する推論からプランナーを解放する。
  論文  参考訳（メタデータ） (2020-11-16T18:59:33Z)
• Learning Predictive Representations for Deformable Objects Using Contrastive Estimation [83.16948429592621]
  視覚表現モデルと動的モデルの両方を協調的に最適化する新しい学習フレームワークを提案する。 我々は,標準モデルに基づく学習手法をロープや布の操作スイートで大幅に改善した。
  論文  参考訳（メタデータ） (2020-03-11T17:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。