論文の概要: RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation

• arxiv url: http://arxiv.org/abs/2311.01455v3
• Date: Fri, 14 Jun 2024 21:09:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 12:11:08.082113
• Title: RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation
• Title（参考訳）: RoboGen: 生成シミュレーションによる自動学習のための無限データ公開を目指して
• Authors: Yufei Wang, Zhou Xian, Feng Chen, Tsun-Hsuan Wang, Yian Wang, Katerina Fragkiadaki, Zackory Erickson, David Held, Chuang Gan,
• Abstract要約: RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。 我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
• 参考スコア（独自算出の注目度）: 68.70755196744533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present RoboGen, a generative robotic agent that automatically learns diverse robotic skills at scale via generative simulation. RoboGen leverages the latest advancements in foundation and generative models. Instead of directly using or adapting these models to produce policies or low-level actions, we advocate for a generative scheme, which uses these models to automatically generate diversified tasks, scenes, and training supervisions, thereby scaling up robotic skill learning with minimal human supervision. Our approach equips a robotic agent with a self-guided propose-generate-learn cycle: the agent first proposes interesting tasks and skills to develop, and then generates corresponding simulation environments by populating pertinent objects and assets with proper spatial configurations. Afterwards, the agent decomposes the proposed high-level task into sub-tasks, selects the optimal learning approach (reinforcement learning, motion planning, or trajectory optimization), generates required training supervision, and then learns policies to acquire the proposed skill. Our work attempts to extract the extensive and versatile knowledge embedded in large-scale models and transfer them to the field of robotics. Our fully generative pipeline can be queried repeatedly, producing an endless stream of skill demonstrations associated with diverse tasks and environments.
• Abstract（参考訳）: 生成型ロボットエージェントであるRoboGenは、生成型シミュレーションにより、さまざまなロボットスキルを大規模に学習する。 RoboGenは、基礎と生成モデルの最新の進歩を活用している。 これらのモデルを直接使用したり、低レベルのアクションを生成する代わりに、我々は、これらのモデルを使用して、多種多様なタスク、シーン、トレーニングの監督を自動的に生成し、人間の監督を最小限に抑えてロボットスキル学習をスケールアップする生成スキームを提唱する。 提案手法は,ロボットエージェントに自己誘導型提案-生成-学習サイクルを付与する。エージェントはまず,開発する興味深いタスクとスキルを提案し,適切な空間構成で関連するオブジェクトやアセットを投入することにより,対応するシミュレーション環境を生成する。 その後、提案したハイレベルタスクをサブタスクに分解し、最適な学習アプローチ(強化学習、運動計画、軌道最適化)を選択し、必要なトレーニング監督を生成し、その後、提案したスキルを取得するためのポリシーを学ぶ。 我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。 私たちの完全な生成パイプラインは繰り返しクエリすることができ、さまざまなタスクや環境に関連する、無限のスキルデモストリームを生成します。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• Grounding Robot Policies with Visuomotor Language Guidance [15.774237279917594]
  ロボットポリシーを現在の状況に基盤付けるためのエージェントベースのフレームワークを提案する。 提案するフレームワークは、特定の役割のために設計された会話エージェントのセットで構成されている。 弊社のアプローチは、操作ポリシーを効果的にガイドし、成功率を大幅に向上させることを実証する。
  論文  参考訳（メタデータ） (2024-10-09T02:00:37Z)
• Gen2Sim: Scaling up Robot Learning in Simulation with Generative Models [17.757495961816783]
  Gen2Simは、3Dアセット、タスク記述、タスク分解、報酬関数の自動生成によるシミュレーションにおけるロボットスキル学習のスケールアップ方法である。 私たちの研究は、シミュレーションにおける完全に自律的なロボット操作スキル獲得に向けて、何百ものシミュレーション資産、タスク、デモに貢献しています。
  論文  参考訳（メタデータ） (2023-10-27T17:55:32Z)
• MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations [55.549956643032836]
  MimicGenは、少数の人間のデモから大規模でリッチなデータセットを自動的に合成するシステムである。 ロボットエージェントは,この生成したデータセットを模倣学習により効果的に訓練し,長期的・高精度なタスクにおいて高い性能を達成することができることを示す。
  論文  参考訳（メタデータ） (2023-10-26T17:17:31Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
  多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。 本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。 我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
  論文  参考訳（メタデータ） (2021-09-19T18:00:51Z)
• Bayesian Meta-Learning for Few-Shot Policy Adaptation Across Robotic Platforms [60.59764170868101]
  強化学習手法は、重要な性能を達成できるが、同じロボットプラットフォームで収集される大量のトレーニングデータを必要とする。 私たちはそれを、さまざまなロボットプラットフォームで共有される共通の構造を捉えるモデルを見つけることを目標とする、数ショットのメタラーニング問題として定式化します。 我々は,400個のロボットを用いて,実ロボットピッキング作業とシミュレーションリーチの枠組みを実験的に評価した。
  論文  参考訳（メタデータ） (2021-03-05T14:16:20Z)
• Learning compositional models of robot skills for task and motion planning [39.36562555272779]
  センサモレータプリミティブを用いて複雑な長距離操作問題を解決することを学ぶ。 能動的学習とサンプリングに最先端の手法を用いる。 我々は,選択した原始行動の質を計測することで,シミュレーションと実世界の双方でアプローチを評価する。
  論文  参考訳（メタデータ） (2020-06-08T20:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。