論文の概要: Physics-Driven Data Generation for Contact-Rich Manipulation via Trajectory Optimization
- arxiv url: http://arxiv.org/abs/2502.20382v1
- Date: Thu, 27 Feb 2025 18:56:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-28 15:15:47.225976
- Title: Physics-Driven Data Generation for Contact-Rich Manipulation via Trajectory Optimization
- Title(参考訳): 軌道最適化によるコンタクトリッチマニピュレーションのための物理駆動データ生成
- Authors: Lujie Yang, H. J. Terry Suh, Tong Zhao, Bernhard Paus Graesdal, Tarik Kelestemur, Jiuguang Wang, Tao Pang, Russ Tedrake,
- Abstract要約: 本稿では,物理シミュレーション,人間の実演,モデルベース計画を統合した低コストなデータ生成パイプラインを提案する。
コンタクトリッチな操作タスクに挑戦するための拡散ポリシーをトレーニングすることで,パイプラインの有効性を検証する。
トレーニングされたポリシは、バイマガルアイワアーム用のハードウェアにゼロショットでデプロイされ、人間の入力を最小限に抑えて高い成功率を達成する。
- 参考スコア(独自算出の注目度): 22.234170426206987
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a low-cost data generation pipeline that integrates physics-based simulation, human demonstrations, and model-based planning to efficiently generate large-scale, high-quality datasets for contact-rich robotic manipulation tasks. Starting with a small number of embodiment-flexible human demonstrations collected in a virtual reality simulation environment, the pipeline refines these demonstrations using optimization-based kinematic retargeting and trajectory optimization to adapt them across various robot embodiments and physical parameters. This process yields a diverse, physically consistent dataset that enables cross-embodiment data transfer, and offers the potential to reuse legacy datasets collected under different hardware configurations or physical parameters. We validate the pipeline's effectiveness by training diffusion policies from the generated datasets for challenging contact-rich manipulation tasks across multiple robot embodiments, including a floating Allegro hand and bimanual robot arms. The trained policies are deployed zero-shot on hardware for bimanual iiwa arms, achieving high success rates with minimal human input. Project website: https://lujieyang.github.io/physicsgen/.
- Abstract(参考訳): 本稿では,物理シミュレーション,人体デモ,モデルベース計画を統合し,コンタクトリッチなロボット操作タスクのための大規模で高品質なデータセットを効率的に生成する,低コストなデータ生成パイプラインを提案する。
このパイプラインは、仮想現実シミュレーション環境で収集された少数のエボディメントフレキシブルな人間のデモから始まり、最適化に基づくキネマティックリターゲティングと軌道最適化を使用してこれらのデモを洗練し、様々なロボットのエボディメントや物理パラメータに適応させる。
このプロセスは、多種多様な物理的に一貫したデータセットを生成し、クロスボデーメントデータ転送を可能にし、異なるハードウェア構成や物理パラメータの下で収集されたレガシーデータセットを再利用する可能性がある。
フローティングアレッグロハンドやバイマニュアルロボットアームなど,複数のロボットエンボディにまたがるコンタクトリッチな操作タスクに挑戦するために,生成されたデータセットから拡散ポリシーをトレーニングすることにより,パイプラインの有効性を検証する。
トレーニングされたポリシーは、バイマガルアイワアーム用のハードウェアにゼロショットでデプロイされ、人間の入力を最小限に抑えて高い成功率を達成する。
プロジェクトウェブサイト: https://lujieyang.github.io/physicsgen/。
関連論文リスト
- D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping [66.22412592525369]
本稿では,ガウスのSplat表現を生かした実--sim-to-realエンジンを導入し,実-sim-to-realエンジンについて述べる。
提案エンジンは, 各種物体の形状と質量値のマス識別において, 高精度かつロバストな性能を実現していることを示す。
これらの最適化された質量値は、力覚的なポリシー学習を促進し、オブジェクトの把握において優れた、高いパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-03-01T15:32:04Z) - Mirage2Matter: A Physically Grounded Gaussian World Model from Video [87.9732484393686]
我々は、グラフィック駆動の世界モデリングおよびシミュレーションフレームワークであるSimulate Anythingを紹介する。
実世界の環境を3次元ガウススプレイティング(3DGS)による写実的シーン表現に再構築する。
次に、生成モデルを利用して、物理的に現実的な表現を復元し、精度校正ターゲットを介してシミュレーション環境に統合する。
論文 参考訳(メタデータ) (2026-01-24T07:43:57Z) - Data-Driven Dynamic Parameter Learning of manipulator robots [0.8679862302950613]
動的パラメータ推定のためのトランスフォーマーに基づく手法を提案する。
データセットは、8,192個のロボットで構成され、慣性および摩擦特性は様々である。
我々のモデルは時間的および空間的依存の両方を効果的に捉えている。
論文 参考訳(メタデータ) (2025-12-09T16:15:58Z) - SPIDER: Scalable Physics-Informed Dexterous Retargeting [45.24491726503442]
ヒューマノイドとデキスタラスハンドコントロールのためのデキスタラスとアジャイルのポリシーを学ぶには、大規模なデモが必要です。
人間のモーションデータは、モーションキャプチャー、ビデオ、バーチャルリアリティーから利用可能で、データ不足の問題に対処するのに役立ちます。
本研究では,人間の実演をロボット軌道に動的に拡張する物理ベースのフレームワークであるSPIDERを提案する。
論文 参考訳(メタデータ) (2025-11-12T16:54:00Z) - URDF-Anything: Constructing Articulated Objects with 3D Multimodal Language Model [76.08429266631823]
3次元マルチモーダル大言語モデル(MLLM)に基づくエンドツーエンドの自動再構築フレームワークを提案する。
URDF-Anythingは、ポイントクラウドとテキストマルチモーダル入力に基づく自己回帰予測フレームワークを使用して、幾何学的セグメンテーションと運動論的パラメータ予測を協調的に最適化する。
シミュレーションと実世界の両方のデータセットの実験は、我々の手法が既存の手法よりも大幅に優れていることを示した。
論文 参考訳(メタデータ) (2025-11-02T13:45:51Z) - FieldGen: From Teleoperated Pre-Manipulation Trajectories to Field-Guided Data Generation [60.28409233931666]
FieldGenは、スケーラブルで多様な、高品質な実世界のデータ収集を可能にする、フィールド誘導型データ生成フレームワークである。
実験により、FieldGenでトレーニングされたポリシーは、遠隔操作ベースのベースラインと比較して、より高い成功率と安定性を達成することが示された。
論文 参考訳(メタデータ) (2025-10-23T17:47:12Z) - CEDex: Cross-Embodiment Dexterous Grasp Generation at Scale from Human-like Contact Representations [53.37721117405022]
クロス・エボディメント・デキスタラス・グリップ合成(Cross-Embodiment dexterous grasp synthesis)とは、様々なロボットハンドのグリップを適応的に生成し、最適化することである。
そこで我々は,CEDexを提案する。
これまでで最大のクロス・エボディメント・グラウンド・データセットを構築し、合計20万のグリップを持つ4つのタイプにまたがる500万のオブジェクトからなる。
論文 参考訳(メタデータ) (2025-09-29T12:08:04Z) - GenFlowRL: Shaping Rewards with Generative Object-Centric Flow in Visual Reinforcement Learning [79.68241687396603]
本稿では,多種多様な組織間データセットから学習した生成フローから,形状の報酬を導出するGenFlowRLを提案する。
GenFlowRLは、生成したオブジェクト中心の流れから抽出した操作機能を効果的に活用できることを、シミュレーションと実世界のクロスエボディメント評価の両方で実証した。
論文 参考訳(メタデータ) (2025-08-14T20:19:20Z) - RoboPearls: Editable Video Simulation for Robot Manipulation [81.18434338506621]
RoboPearlsは、ロボット操作のための編集可能なビデオシミュレーションフレームワークである。
3D Gaussian Splatting (3DGS)に基づいて構築されたRoboPearlsは、フォトリアリスティックでビュー一貫性のあるシミュレーションの構築を可能にする。
我々は、RLBench、COLOSSEUM、Ego4D、Open X-Embodiment、現実世界のロボットなど、複数のデータセットやシーンで広範な実験を行う。
論文 参考訳(メタデータ) (2025-06-28T05:03:31Z) - Synthetic Dataset Generation for Autonomous Mobile Robots Using 3D Gaussian Splatting for Vision Training [0.708987965338602]
本論文では,Unreal Engineにおける注釈付き合成データの自動生成手法を提案する。
合成データセットが実世界のデータセットに匹敵する性能を達成できることを実証する。
これは、ロボットサッカーにおけるオブジェクト検出アルゴリズムのトレーニングのための合成データの最初の応用である。
論文 参考訳(メタデータ) (2025-06-05T14:37:40Z) - Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation [40.96453435496208]
本稿では,視覚に基づくロボット操作課題を解決するためにシミュレーションデータを利用する手法を提案する。
ロボットアームとヒューマノイドの2つの領域を用いて,シミュレーションデータにより実世界のタスク性能を平均38%向上させることができることを示した。
論文 参考訳(メタデータ) (2025-03-31T17:39:38Z) - Infinite Mobility: Scalable High-Fidelity Synthesis of Articulated Objects via Procedural Generation [22.500531114325092]
Infinite Mobilityは、手続き生成による高忠実度調音オブジェクトの新しい手法である。
我々の合成データは、生成モデルのトレーニングデータとして利用でき、次のステップのスケールアップを可能にします。
論文 参考訳(メタデータ) (2025-03-17T17:53:56Z) - Planning-Guided Diffusion Policy Learning for Generalizable Contact-Rich Bimanual Manipulation [16.244250979166214]
Generalizable Planning-Guided Diffusion Policy Learning (GLIDE)は、コンタクトリッチな双方向操作タスクを解決するためのアプローチである。
本稿では,特徴抽出,タスク表現,行動予測,データ拡張における重要な設計オプションのセットを提案する。
本手法は, 多様な地形, 寸法, 物理的特性の物体を効果的に操作することができる。
論文 参考訳(メタデータ) (2024-12-03T18:51:39Z) - Incremental Few-Shot Adaptation for Non-Prehensile Object Manipulation using Parallelizable Physics Simulators [5.483662156126757]
本稿では,物理に基づく力学モデルをモデル予測制御に繰り返し適用する,非包括的操作のための新しいアプローチを提案する。
ロボットとオブジェクトの相互作用の例として,モデルのパラメータを漸進的に適用する。
シミュレーションおよび実ロボットを用いたいくつかの物体押出実験において,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-09-20T05:24:25Z) - Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。
まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。
このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
論文 参考訳(メタデータ) (2024-06-21T13:48:37Z) - DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model [72.66465487508556]
DiffGenは、微分可能な物理シミュレーション、微分可能なレンダリング、ビジョン言語モデルを統合する新しいフレームワークである。
言語命令の埋め込みとシミュレートされた観察の埋め込みとの距離を最小化することにより、現実的なロボットデモを生成することができる。
実験によると、DiffGenを使えば、人間の努力やトレーニング時間を最小限に抑えて、ロボットデータを効率よく、効果的に生成できる。
論文 参考訳(メタデータ) (2024-05-12T15:38:17Z) - DiffuseBot: Breeding Soft Robots With Physics-Augmented Generative
Diffusion Models [102.13968267347553]
本稿では,様々なタスクにおいて優れたソフトロボット形態を生成する物理拡張拡散モデルであるDiffuseBotを提案する。
我々は、その能力とともに、シミュレーションされた、そして製造された様々なロボットを紹介します。
論文 参考訳(メタデータ) (2023-11-28T18:58:48Z) - Residual Physics Learning and System Identification for Sim-to-real
Transfer of Policies on Buoyancy Assisted Legged Robots [14.760426243769308]
本研究では,BALLUロボットのシステム識別による制御ポリシのロバストなシミュレートを実演する。
標準的な教師あり学習の定式化に頼るのではなく、深層強化学習を利用して外部力政策を訓練する。
シミュレーショントラジェクトリと実世界のトラジェクトリを比較することで,改良されたシミュレーション忠実度を解析する。
論文 参考訳(メタデータ) (2023-03-16T18:49:05Z) - Scalable Modular Synthetic Data Generation for Advancing Aerial Autonomy [2.9005223064604078]
本稿では,自律飛行に適したスケーラブルなAerial Synthetic Data Augmentation (ASDA) フレームワークを提案する。
ASDAは、シーンとデータ拡張を自動的に実行する2つのスクリプト可能なパイプラインを備えた中央データ収集エンジンを拡張している。
多様なデータセットを自動生成する手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-11-10T04:37:41Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z) - Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。
ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。
ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
論文 参考訳(メタデータ) (2022-04-09T22:07:34Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳(メタデータ) (2021-12-29T17:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。