論文の概要: Physics-Driven Data Generation for Contact-Rich Manipulation via Trajectory Optimization
- arxiv url: http://arxiv.org/abs/2502.20382v1
- Date: Thu, 27 Feb 2025 18:56:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-28 14:54:09.448902
- Title: Physics-Driven Data Generation for Contact-Rich Manipulation via Trajectory Optimization
- Title(参考訳): 軌道最適化によるコンタクトリッチマニピュレーションのための物理駆動データ生成
- Authors: Lujie Yang, H. J. Terry Suh, Tong Zhao, Bernhard Paus Graesdal, Tarik Kelestemur, Jiuguang Wang, Tao Pang, Russ Tedrake,
- Abstract要約: 本稿では,物理シミュレーション,人間の実演,モデルベース計画を統合した低コストなデータ生成パイプラインを提案する。
コンタクトリッチな操作タスクに挑戦するための拡散ポリシーをトレーニングすることで,パイプラインの有効性を検証する。
トレーニングされたポリシは、バイマガルアイワアーム用のハードウェアにゼロショットでデプロイされ、人間の入力を最小限に抑えて高い成功率を達成する。
- 参考スコア(独自算出の注目度): 22.234170426206987
- License:
- Abstract: We present a low-cost data generation pipeline that integrates physics-based simulation, human demonstrations, and model-based planning to efficiently generate large-scale, high-quality datasets for contact-rich robotic manipulation tasks. Starting with a small number of embodiment-flexible human demonstrations collected in a virtual reality simulation environment, the pipeline refines these demonstrations using optimization-based kinematic retargeting and trajectory optimization to adapt them across various robot embodiments and physical parameters. This process yields a diverse, physically consistent dataset that enables cross-embodiment data transfer, and offers the potential to reuse legacy datasets collected under different hardware configurations or physical parameters. We validate the pipeline's effectiveness by training diffusion policies from the generated datasets for challenging contact-rich manipulation tasks across multiple robot embodiments, including a floating Allegro hand and bimanual robot arms. The trained policies are deployed zero-shot on hardware for bimanual iiwa arms, achieving high success rates with minimal human input. Project website: https://lujieyang.github.io/physicsgen/.
- Abstract(参考訳): 本稿では,物理シミュレーション,人体デモ,モデルベース計画を統合し,コンタクトリッチなロボット操作タスクのための大規模で高品質なデータセットを効率的に生成する,低コストなデータ生成パイプラインを提案する。
このパイプラインは、仮想現実シミュレーション環境で収集された少数のエボディメントフレキシブルな人間のデモから始まり、最適化に基づくキネマティックリターゲティングと軌道最適化を使用してこれらのデモを洗練し、様々なロボットのエボディメントや物理パラメータに適応させる。
このプロセスは、多種多様な物理的に一貫したデータセットを生成し、クロスボデーメントデータ転送を可能にし、異なるハードウェア構成や物理パラメータの下で収集されたレガシーデータセットを再利用する可能性がある。
フローティングアレッグロハンドやバイマニュアルロボットアームなど,複数のロボットエンボディにまたがるコンタクトリッチな操作タスクに挑戦するために,生成されたデータセットから拡散ポリシーをトレーニングすることにより,パイプラインの有効性を検証する。
トレーニングされたポリシーは、バイマガルアイワアーム用のハードウェアにゼロショットでデプロイされ、人間の入力を最小限に抑えて高い成功率を達成する。
プロジェクトウェブサイト: https://lujieyang.github.io/physicsgen/。
関連論文リスト
- Planning-Guided Diffusion Policy Learning for Generalizable Contact-Rich Bimanual Manipulation [16.244250979166214]
Generalizable Planning-Guided Diffusion Policy Learning (GLIDE)は、コンタクトリッチな双方向操作タスクを解決するためのアプローチである。
本稿では,特徴抽出,タスク表現,行動予測,データ拡張における重要な設計オプションのセットを提案する。
本手法は, 多様な地形, 寸法, 物理的特性の物体を効果的に操作することができる。
論文 参考訳(メタデータ) (2024-12-03T18:51:39Z) - Incremental Few-Shot Adaptation for Non-Prehensile Object Manipulation using Parallelizable Physics Simulators [5.483662156126757]
本稿では,物理に基づく力学モデルをモデル予測制御に繰り返し適用する,非包括的操作のための新しいアプローチを提案する。
ロボットとオブジェクトの相互作用の例として,モデルのパラメータを漸進的に適用する。
シミュレーションおよび実ロボットを用いたいくつかの物体押出実験において,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-09-20T05:24:25Z) - Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。
まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。
このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
論文 参考訳(メタデータ) (2024-06-21T13:48:37Z) - DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model [72.66465487508556]
DiffGenは、微分可能な物理シミュレーション、微分可能なレンダリング、ビジョン言語モデルを統合する新しいフレームワークである。
言語命令の埋め込みとシミュレートされた観察の埋め込みとの距離を最小化することにより、現実的なロボットデモを生成することができる。
実験によると、DiffGenを使えば、人間の努力やトレーニング時間を最小限に抑えて、ロボットデータを効率よく、効果的に生成できる。
論文 参考訳(メタデータ) (2024-05-12T15:38:17Z) - DiffuseBot: Breeding Soft Robots With Physics-Augmented Generative
Diffusion Models [102.13968267347553]
本稿では,様々なタスクにおいて優れたソフトロボット形態を生成する物理拡張拡散モデルであるDiffuseBotを提案する。
我々は、その能力とともに、シミュレーションされた、そして製造された様々なロボットを紹介します。
論文 参考訳(メタデータ) (2023-11-28T18:58:48Z) - Residual Physics Learning and System Identification for Sim-to-real
Transfer of Policies on Buoyancy Assisted Legged Robots [14.760426243769308]
本研究では,BALLUロボットのシステム識別による制御ポリシのロバストなシミュレートを実演する。
標準的な教師あり学習の定式化に頼るのではなく、深層強化学習を利用して外部力政策を訓練する。
シミュレーショントラジェクトリと実世界のトラジェクトリを比較することで,改良されたシミュレーション忠実度を解析する。
論文 参考訳(メタデータ) (2023-03-16T18:49:05Z) - Towards Precise Model-free Robotic Grasping with Sim-to-Real Transfer
Learning [11.470950882435927]
本稿では,ロボットの把持ネットワークについて述べる。
物理ロボット実験では,1つの既知の物体と,90.91%の成功率を持つ新しい複合形状の家庭用物体を把握した。
提案した把握フレームワークは、既知の物体と未知の物体の両方において、最先端の2つの手法より優れていた。
論文 参考訳(メタデータ) (2023-01-28T16:57:19Z) - Scalable Modular Synthetic Data Generation for Advancing Aerial Autonomy [2.9005223064604078]
本稿では,自律飛行に適したスケーラブルなAerial Synthetic Data Augmentation (ASDA) フレームワークを提案する。
ASDAは、シーンとデータ拡張を自動的に実行する2つのスクリプト可能なパイプラインを備えた中央データ収集エンジンを拡張している。
多様なデータセットを自動生成する手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-11-10T04:37:41Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z) - Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。
ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。
ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
論文 参考訳(メタデータ) (2022-04-09T22:07:34Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳(メタデータ) (2021-12-29T17:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。