論文の概要: Gen2Sim: Scaling up Robot Learning in Simulation with Generative Models

• arxiv url: http://arxiv.org/abs/2310.18308v1
• Date: Fri, 27 Oct 2023 17:55:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 12:44:44.195213
• Title: Gen2Sim: Scaling up Robot Learning in Simulation with Generative Models
• Title（参考訳）: Gen2Sim: 生成モデルを用いたシミュレーションにおけるロボット学習のスケールアップ
• Authors: Pushkal Katara, Zhou Xian, Katerina Fragkiadaki
• Abstract要約: Gen2Simは、3Dアセット、タスク記述、タスク分解、報酬関数の自動生成によるシミュレーションにおけるロボットスキル学習のスケールアップ方法である。 私たちの研究は、シミュレーションにおける完全に自律的なロボット操作スキル獲得に向けて、何百ものシミュレーション資産、タスク、デモに貢献しています。
• 参考スコア（独自算出の注目度）: 17.757495961816783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalist robot manipulators need to learn a wide variety of manipulation skills across diverse environments. Current robot training pipelines rely on humans to provide kinesthetic demonstrations or to program simulation environments and to code up reward functions for reinforcement learning. Such human involvement is an important bottleneck towards scaling up robot learning across diverse tasks and environments. We propose Generation to Simulation (Gen2Sim), a method for scaling up robot skill learning in simulation by automating generation of 3D assets, task descriptions, task decompositions and reward functions using large pre-trained generative models of language and vision. We generate 3D assets for simulation by lifting open-world 2D object-centric images to 3D using image diffusion models and querying LLMs to determine plausible physics parameters. Given URDF files of generated and human-developed assets, we chain-of-thought prompt LLMs to map these to relevant task descriptions, temporal decompositions, and corresponding python reward functions for reinforcement learning. We show Gen2Sim succeeds in learning policies for diverse long horizon tasks, where reinforcement learning with non temporally decomposed reward functions fails. Gen2Sim provides a viable path for scaling up reinforcement learning for robot manipulators in simulation, both by diversifying and expanding task and environment development, and by facilitating the discovery of reinforcement-learned behaviors through temporal task decomposition in RL. Our work contributes hundreds of simulated assets, tasks and demonstrations, taking a step towards fully autonomous robotic manipulation skill acquisition in simulation.
• Abstract（参考訳）: 汎用ロボットマニピュレータは多様な環境にまたがる多様な操作技術を学ぶ必要がある。 現在のロボット訓練パイプラインは、人間による体美的なデモンストレーションやシミュレーション環境のプログラム、強化学習のための報酬関数のコーディングに頼っている。 このような人間的関与は、さまざまなタスクや環境にまたがるロボット学習をスケールアップするための重要なボトルネックである。 本稿では,3次元資産の自動生成,タスク記述,タスク分解,報酬関数を言語と視覚の学習前生成モデルを用いて,ロボットのスキル学習をシミュレーションでスケールアップする手法であるGene2Simを提案する。 オープンワールドの2dオブジェクト中心画像から3dの3dアセットを生成し,画像拡散モデルを用いてllmをクエリし,妥当な物理パラメータを決定する。 生成および人為的な資産のURDFファイルを考えると、我々はLLMにこれらを関連するタスク記述、時間分解、および強化学習のための対応するピソン報酬関数にマッピングするよう促す。 我々はGen2Simが,非時間分解型報酬関数による強化学習が失敗する多種多様な長軸タスクの学習ポリシーに成功していることを示す。 Gen2Simは、ロボットマニピュレータのタスクおよび環境開発を多様化・拡張し、RLにおける時間的タスク分解による強化学習の発見を容易にすることにより、シミュレーションにおける強化学習のスケールアップを可能にする。 私たちの研究は、シミュレーションにおける完全に自律的なロボット操作スキル獲得に向けて、何百ものシミュレーション資産、タスク、デモに貢献しています。

関連論文リスト

• HYPERmotion: Learning Hybrid Behavior Planning for Autonomous Loco-manipulation [7.01404330241523]
  HYPERmotionは、異なるシナリオのタスクに基づいて行動を学び、選択し、計画するフレームワークである。 強化学習と全身最適化を組み合わせることで,38関節の運動を生成する。 シミュレーションと実世界の実験では、学習した動きが新しいタスクに効率的に適応できることが示されている。
  論文  参考訳（メタデータ） (2024-06-20T18:21:24Z)
• RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots [25.650235551519952]
  本稿では,汎用ロボットを日常的に訓練するための大規模シミュレーションフレームワークであるRoboCasaを紹介する。 私たちは、150以上のオブジェクトカテゴリと数十の対話可能な家具とアプライアンスに対して、何千もの3Dアセットを提供しています。 本実験は, 大規模模倣学習のための合成ロボットデータを用いて, スケーリングの傾向を明らかにするものである。
  論文  参考訳（メタデータ） (2024-06-04T17:41:31Z)
• DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model [72.66465487508556]
  DiffGenは、微分可能な物理シミュレーション、微分可能なレンダリング、ビジョン言語モデルを統合する新しいフレームワークである。 言語命令の埋め込みとシミュレートされた観察の埋め込みとの距離を最小化することにより、現実的なロボットデモを生成することができる。 実験によると、DiffGenを使えば、人間の努力やトレーニング時間を最小限に抑えて、ロボットデータを効率よく、効果的に生成できる。
  論文  参考訳（メタデータ） (2024-05-12T15:38:17Z)
• GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable Simulation, Demonstration, and Imitation [31.702907860448477]
  GenH2Rは、一般化可能なビジョンベースのヒューマン・トゥ・ロボット(H2R)ハンドオーバスキルを学ぶためのフレームワークである。 我々は、H2Rハンドオーバを包括的解を用いて大規模に学習することで、そのような一般化可能性を得る。 大規模3次元モデルレポジトリ、デクスタラスグリップ生成方法、曲線ベースの3次元アニメーションを活用している。
  論文  参考訳（メタデータ） (2024-01-01T18:20:43Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
  RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。 我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
  論文  参考訳（メタデータ） (2023-11-02T17:59:21Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• SAPIEN: A SimulAted Part-based Interactive ENvironment [77.4739790629284]
  SAPIENは現実的で物理に富んだシミュレートされた環境であり、音声オブジェクトのための大規模なセットをホストしている。 部品検出と動作特性認識のための最先端の視覚アルゴリズムの評価を行い,ロボットインタラクションタスクの実証を行った。
  論文  参考訳（メタデータ） (2020-03-19T00:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。