論文の概要: Learning visual-based deformable object rearrangement with local graph neural networks

• arxiv url: http://arxiv.org/abs/2310.10307v1
• Date: Mon, 16 Oct 2023 11:42:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 15:00:20.269192
• Title: Learning visual-based deformable object rearrangement with local graph neural networks
• Title（参考訳）: 局所グラフニューラルネットワークを用いた視覚に基づく変形可能な物体再構成
• Authors: Yuhong Deng, Xueqian Wang, Lipeng chen
• Abstract要約: 本稿では,変形可能なオブジェクト状態とキーポイントの集合とその相互作用を効率的にモデル化できる新しい表現戦略を提案する。 また、変形可能な再配置ダイナミクスを共同でモデル化し、最適操作動作を推定するための光局所GNN学習を提案する。 本手法は, 各種変形可能なアレンジメントタスク(平均96.3%)において, シミュレーション実験における最先端手法よりもはるかに高い成功率を達成する。
• 参考スコア（独自算出の注目度）: 4.333220038316982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Goal-conditioned rearrangement of deformable objects (e.g. straightening a rope and folding a cloth) is one of the most common deformable manipulation tasks, where the robot needs to rearrange a deformable object into a prescribed goal configuration with only visual observations. These tasks are typically confronted with two main challenges: the high dimensionality of deformable configuration space and the underlying complexity, nonlinearity and uncertainty inherent in deformable dynamics. To address these challenges, we propose a novel representation strategy that can efficiently model the deformable object states with a set of keypoints and their interactions. We further propose local-graph neural network (GNN), a light local GNN learning to jointly model the deformable rearrangement dynamics and infer the optimal manipulation actions (e.g. pick and place) by constructing and updating two dynamic graphs. Both simulated and real experiments have been conducted to demonstrate that the proposed dynamic graph representation shows superior expressiveness in modeling deformable rearrangement dynamics. Our method reaches much higher success rates on a variety of deformable rearrangement tasks (96.3% on average) than state-of-the-art method in simulation experiments. Besides, our method is much more lighter and has a 60% shorter inference time than state-of-the-art methods. We also demonstrate that our method performs well in the multi-task learning scenario and can be transferred to real-world applications with an average success rate of 95% by solely fine tuning a keypoint detector.
• Abstract（参考訳）: 変形可能な物体のゴールコンディショニング(例えば、ロープを直して布を折り畳む)は最も一般的な変形可能な操作の1つであり、ロボットは変形可能な物体を視覚的な観察のみで所定の目標設定に再構成する必要がある。 変形可能な構成空間の高次元性と、変形可能なダイナミクスに内在する複雑さ、非線形性、不確実性である。 これらの課題に対処するために,変形可能なオブジェクト状態をキーポイントとその相互作用で効率的にモデル化できる新しい表現戦略を提案する。 さらに, 局所グラフニューラルネットワーク(GNN)を提案し, 2つの動的グラフを構築し, 更新することにより, 変形可能な再配置ダイナミクスを共同でモデル化し, 最適操作動作(ピック・アンド・プレイス)を推定する。 シミュレーションおよび実実験により、変形可能な再配置力学のモデル化において、提案した動的グラフ表現が優れた表現性を示すことを示す。 本手法は,様々な変形可能な再配置タスク(平均96.3%)において,シミュレーション実験の最先端手法よりもはるかに高い成功率に達する。 さらに,本手法はより軽量であり,最先端手法よりも60%短い推定時間を有する。 また,本手法はマルチタスク学習シナリオにおいて良好に動作し,キーポイント検出器のみを微調整することにより,95%の平均成功率で実世界のアプリケーションに転送可能であることを示す。

関連論文リスト

• Learning Low-Dimensional Strain Models of Soft Robots by Looking at the Evolution of Their Shape with Application to Model-Based Control [2.058941610795796]
  本稿では,低次元物理モデル学習のための合理化手法を提案する。 各種平面ソフトマニピュレータを用いたシミュレーションにより,本手法の有効性を検証した。 物理的に互換性のあるモデルを生成する方法のおかげで、学習したモデルはモデルベースの制御ポリシーと簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2024-10-31T18:37:22Z)
• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• Graphical Object-Centric Actor-Critic [55.2480439325792]
  本稿では,アクター批判とモデルに基づくアプローチを組み合わせたオブジェクト中心強化学習アルゴリズムを提案する。 変換器エンコーダを用いてオブジェクト表現とグラフニューラルネットワークを抽出し、環境のダイナミクスを近似する。 本アルゴリズムは,現状のモデルフリーアクター批判アルゴリズムよりも複雑な3次元ロボット環境と構成構造をもつ2次元環境において,より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-10-26T06:05:12Z)
• Dynamic-Resolution Model Learning for Object Pile Manipulation [33.05246884209322]
  本研究では,様々な抽象レベルで動的かつ適応的な表現を学習し,効率と効率の最適なトレードオフを実現する方法について検討する。 具体的には、環境の動的分解能粒子表現を構築し、グラフニューラルネットワーク(GNN)を用いた統一力学モデルを学ぶ。 本手法は, 粒状オブジェクトの収集, ソート, 再分配において, 最先端の固定解像度ベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-29T05:51:44Z)
• Deep Reinforcement Learning Based on Local GNN for Goal-conditioned Deformable Object Rearranging [1.807492010338763]
  オブジェクトの再配置は、ロボットが変形可能なオブジェクトを目標設定に再構成する必要がある、最も一般的な変形可能な操作タスクの1つである。 従来の研究は、モデルベースまたはデータ駆動アプローチによる各タスクのエキスパートシステムの設計に重点を置いていた。 画像から検出されたキーポイントを2つの表現グラフを用いて符号化する局所GNN(Graph Neural Network)に基づく学習法を設計する。 我々のフレームワークはシミュレーションにおける複数の1-D(ロープリング、ロープリング)と2-D(クロース)の再構成作業に有効であり、キーポイント検出器を微調整することで、実際のロボットに容易に移行できる。
  論文  参考訳（メタデータ） (2023-02-21T05:21:26Z)
• Neural Implicit Representations for Physical Parameter Inference from a Single Video [49.766574469284485]
  本稿では,外見モデルのためのニューラル暗黙表現と,物理現象をモデル化するためのニューラル常微分方程式(ODE)を組み合わせることを提案する。 提案モデルでは,大規模なトレーニングデータセットを必要とする既存のアプローチとは対照的に,単一のビデオから物理的パラメータを識別することが可能になる。 ニューラル暗示表現を使用することで、高解像度ビデオの処理とフォトリアリスティック画像の合成が可能になる。
  論文  参考訳（メタデータ） (2022-04-29T11:55:35Z)
• Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
  データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。 ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。 ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
  論文  参考訳（メタデータ） (2022-04-09T22:07:34Z)
• ACID: Action-Conditional Implicit Visual Dynamics for Deformable Object Manipulation [135.10594078615952]
  本稿では,体積変形可能なオブジェクトに対する動作条件の視覚力学モデルであるACIDを紹介する。 ベンチマークには17,000以上のアクション・トラジェクトリー、6種類のぬいぐるみと78種類の変種が含まれている。 我々のモデルは、幾何学、対応、力学の予測において最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-03-14T04:56:55Z)
• Planning from Images with Deep Latent Gaussian Process Dynamics [2.924868086534434]
  計画は既知の環境力学の問題を制御するための強力なアプローチである。 未知の環境では、エージェントは計画を適用するためにシステムダイナミクスのモデルを学ぶ必要がある。 本稿では,環境と視覚的相互作用から低次元システムダイナミクスを学習する,遅延ガウス過程力学(DLGPD)モデルを提案する。
  論文  参考訳（メタデータ） (2020-05-07T21:29:45Z)
• Learning Predictive Representations for Deformable Objects Using Contrastive Estimation [83.16948429592621]
  視覚表現モデルと動的モデルの両方を協調的に最適化する新しい学習フレームワークを提案する。 我々は,標準モデルに基づく学習手法をロープや布の操作スイートで大幅に改善した。
  論文  参考訳（メタデータ） (2020-03-11T17:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。