論文の概要: Planning-Guided Diffusion Policy Learning for Generalizable Contact-Rich Bimanual Manipulation

• arxiv url: http://arxiv.org/abs/2412.02676v1
• Date: Tue, 03 Dec 2024 18:51:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:47:29.584645
• Title: Planning-Guided Diffusion Policy Learning for Generalizable Contact-Rich Bimanual Manipulation
• Title（参考訳）: 汎用コンタクトリッチバイマニピュレーションのための計画誘導拡散政策学習
• Authors: Xuanlin Li, Tong Zhao, Xinghao Zhu, Jiuguang Wang, Tao Pang, Kuan Fang,
• Abstract要約: Generalizable Planning-Guided Diffusion Policy Learning (GLIDE)は、コンタクトリッチな双方向操作タスクを解決するためのアプローチである。 本稿では,特徴抽出,タスク表現,行動予測,データ拡張における重要な設計オプションのセットを提案する。 本手法は, 多様な地形, 寸法, 物理的特性の物体を効果的に操作することができる。
• 参考スコア（独自算出の注目度）: 16.244250979166214
• License:
• Abstract: Contact-rich bimanual manipulation involves precise coordination of two arms to change object states through strategically selected contacts and motions. Due to the inherent complexity of these tasks, acquiring sufficient demonstration data and training policies that generalize to unseen scenarios remain a largely unresolved challenge. Building on recent advances in planning through contacts, we introduce Generalizable Planning-Guided Diffusion Policy Learning (GLIDE), an approach that effectively learns to solve contact-rich bimanual manipulation tasks by leveraging model-based motion planners to generate demonstration data in high-fidelity physics simulation. Through efficient planning in randomized environments, our approach generates large-scale and high-quality synthetic motion trajectories for tasks involving diverse objects and transformations. We then train a task-conditioned diffusion policy via behavior cloning using these demonstrations. To tackle the sim-to-real gap, we propose a set of essential design options in feature extraction, task representation, action prediction, and data augmentation that enable learning robust prediction of smooth action sequences and generalization to unseen scenarios. Through experiments in both simulation and the real world, we demonstrate that our approach can enable a bimanual robotic system to effectively manipulate objects of diverse geometries, dimensions, and physical properties. Website: https://glide-manip.github.io/
• Abstract（参考訳）: 接触に富んだバイマニュアル操作は、戦略的に選択された接触や動きを通じて物体の状態を変えるために2本の腕を正確に調整することを含む。 これらのタスクの本質的な複雑さのため、目に見えないシナリオに一般化する十分な実証データとトレーニングポリシーを取得することは、ほとんど未解決の課題である。 高忠実度物理シミュレーションにおける実演データの生成にモデルベース・モーション・プランナーを活用することで、接触に富んだ双方向操作課題を効果的に解決する手法であるジェネラライズ可能な計画誘導拡散政策学習(GLIDE)を導入する。 ランダムな環境下での効率的な計画により,多種多様なオブジェクトや変換を含むタスクに対して,大規模かつ高品質な合成運動軌道を生成する。 次に,これらの実演を用いて行動クローニングによるタスク条件付き拡散政策を訓練する。 そこで本研究では, 特徴抽出, タスク表現, 行動予測, およびデータ拡張において, スムーズな行動系列の堅牢な予測と, 目に見えないシナリオへの一般化を可能にする重要な設計オプションセットを提案する。 シミュレーションと実世界の両方での実験を通して、我々のアプローチは、多様な幾何学、次元、物理的特性の物体を効果的に操作できる双対ロボットシステムを可能にすることを実証した。 ウェブサイト:https://glide-manip.github.io/

関連論文リスト

• Video2Policy: Scaling up Manipulation Tasks in Simulation through Internet Videos [61.925837909969815]
  我々は,インターネット上のRGBビデオを利用して日常の人間行動に基づいてタスクを再構築する新しいフレームワークであるVideo2Policyを紹介した。 本手法は投球のような複雑で困難なタスクを含む,そのようなタスクに対するRLポリシーのトレーニングに成功している。 生成したシミュレーションデータは,一般的なポリシをトレーニングするためにスケールアップ可能であり,Real2Sim2Real方式で実ロボットに転送可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-14T03:22:03Z)
• Semantic-Geometric-Physical-Driven Robot Manipulation Skill Transfer via Skill Library and Tactile Representation [6.324290412766366]
  知識グラフに基づくスキルライブラリフレームワークは,高度なスキル認識と空間的意味理解を備えたロボットを支援する。 動作レベルでは,A*アルゴリズムとスキルライブラリを用いて適応軌道伝達法を開発した。 身体レベルでは,触覚に基づく適応的輪郭抽出と姿勢知覚法を導入する。
  論文  参考訳（メタデータ） (2024-11-18T16:42:07Z)
• Flex: End-to-End Text-Instructed Visual Navigation with Foundation Models [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly-lexically) で合成され,VLM(Vision Language Models) をフリーズしたパッチワイド特徴抽出器として利用するフレームワークである。 本研究では,本手法が4段階のフライ・トゥ・ターゲットタスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• GenSim2: Scaling Robot Data Generation with Multi-modal and Reasoning LLMs [38.281562732050084]
  GenSim2は、複雑で現実的なシミュレーションタスク作成のためのスケーラブルなフレームワークである。 パイプラインは200のオブジェクトで最大100の調音タスクのデータを生成し、必要な人的労力を減らすことができる。 我々は、生成したデータをゼロショット転送や実世界の収集データとの協調訓練に使用できる、GenSim2の有望な使用法を示す。
  論文  参考訳（メタデータ） (2024-10-04T17:51:33Z)
• Learning Task Planning from Multi-Modal Demonstration for Multi-Stage Contact-Rich Manipulation [26.540648608911308]
  本稿では,人間の実演から触覚情報や力覚情報を取り入れた文脈内学習フレームワークを提案する。 本稿では,各モダリティを総合的なタスクプランに順次統合するブートストラップ型推論パイプラインを提案する。 このタスクプランは、新しいタスク設定のプランニングのリファレンスとして使用される。
  論文  参考訳（メタデータ） (2024-09-18T10:36:47Z)
• PoCo: Policy Composition from and for Heterogeneous Robot Learning [44.1315170137613]
  現在のメソッドは通常、1つのポリシーをトレーニングするために、1つのドメインからすべてのデータを収集し、プールします。 多様なモダリティやドメインにまたがる情報を組み合わせるための,ポリシ・コンポジションと呼ばれる柔軟なアプローチを提案する。 提案手法はタスクレベルの構成をマルチタスク操作に使用することができ,分析コスト関数を用いて推論時のポリシー動作を適応させることができる。
  論文  参考訳（メタデータ） (2024-02-04T14:51:49Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• Inferring Versatile Behavior from Demonstrations by Matching Geometric Descriptors [72.62423312645953]
  人間は直感的にタスクを多目的に解決し、軌道に基づく計画や個々のステップの行動を変化させる。 現在のImitation Learningアルゴリズムは、通常、単調な専門家によるデモンストレーションのみを考慮し、状態アクションベースの設定で行動する。 代わりに、移動プリミティブの混合と分布マッチングの目的を組み合わせることで、専門家の行動と汎用性にマッチする多目的行動を学ぶ。
  論文  参考訳（メタデータ） (2022-10-17T16:42:59Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。