論文の概要: Video2Policy: Scaling up Manipulation Tasks in Simulation through Internet Videos

• arxiv url: http://arxiv.org/abs/2502.09886v1
• Date: Fri, 14 Feb 2025 03:22:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:46:58.444035
• Title: Video2Policy: Scaling up Manipulation Tasks in Simulation through Internet Videos
• Title（参考訳）: Video2Policy:インターネットビデオによるシミュレーションにおける操作タスクのスケールアップ
• Authors: Weirui Ye, Fangchen Liu, Zheng Ding, Yang Gao, Oleh Rybkin, Pieter Abbeel,
• Abstract要約: 我々は,インターネット上のRGBビデオを利用して日常の人間行動に基づいてタスクを再構築する新しいフレームワークであるVideo2Policyを紹介した。 本手法は投球のような複雑で困難なタスクを含む,そのようなタスクに対するRLポリシーのトレーニングに成功している。 生成したシミュレーションデータは,一般的なポリシをトレーニングするためにスケールアップ可能であり,Real2Sim2Real方式で実ロボットに転送可能であることを示す。
• 参考スコア（独自算出の注目度）: 61.925837909969815
• License:
• Abstract: Simulation offers a promising approach for cheaply scaling training data for generalist policies. To scalably generate data from diverse and realistic tasks, existing algorithms either rely on large language models (LLMs) that may hallucinate tasks not interesting for robotics; or digital twins, which require careful real-to-sim alignment and are hard to scale. To address these challenges, we introduce Video2Policy, a novel framework that leverages internet RGB videos to reconstruct tasks based on everyday human behavior. Our approach comprises two phases: (1) task generation in simulation from videos; and (2) reinforcement learning utilizing in-context LLM-generated reward functions iteratively. We demonstrate the efficacy of Video2Policy by reconstructing over 100 videos from the Something-Something-v2 (SSv2) dataset, which depicts diverse and complex human behaviors on 9 different tasks. Our method can successfully train RL policies on such tasks, including complex and challenging tasks such as throwing. Finally, we show that the generated simulation data can be scaled up for training a general policy, and it can be transferred back to the real robot in a Real2Sim2Real way.
• Abstract（参考訳）: シミュレーションは、ジェネラリストポリシーのためのトレーニングデータを安価にスケールするための有望なアプローチを提供する。 多様な現実的なタスクからデータを生成するために、既存のアルゴリズムは、ロボット工学にとって面白くないタスクを幻覚させる大きな言語モデル(LLM)や、注意深いリアルタイムアライメントを必要とするデジタルツインに依存する。 これらの課題に対処するために,インターネット上のRGBビデオを利用して日常の人間行動に基づいてタスクを再構築する新しいフレームワークであるVideo2Policyを紹介した。 提案手法は,(1)映像からのシミュレーションにおけるタスク生成,(2)テキスト内LLM生成報酬関数を反復的に活用した強化学習の2段階からなる。 我々は,9つのタスクにおける多様で複雑な人間の振る舞いを描写した,Something-v2(SSv2)データセットから100本以上のビデオを再構成することで,Video2Policyの有効性を実証した。 本手法は投球のような複雑で困難なタスクを含む,そのようなタスクに対するRLポリシーのトレーニングに成功している。 最後に、生成したシミュレーションデータを一般的なポリシーをトレーニングするためにスケールアップし、Real2Sim2Real方式で実ロボットに戻すことができることを示す。

関連論文リスト

• GenSim2: Scaling Robot Data Generation with Multi-modal and Reasoning LLMs [38.281562732050084]
  GenSim2は、複雑で現実的なシミュレーションタスク作成のためのスケーラブルなフレームワークである。 パイプラインは200のオブジェクトで最大100の調音タスクのデータを生成し、必要な人的労力を減らすことができる。 我々は、生成したデータをゼロショット転送や実世界の収集データとの協調訓練に使用できる、GenSim2の有望な使用法を示す。
  論文  参考訳（メタデータ） (2024-10-04T17:51:33Z)
• TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction [25.36756787147331]
  シミュレーションの学習と実世界への学習は、ジェネラリストロボットを可能にする可能性がある。 そこで本研究では,Human-in-the-loopフレームワークをベースとしたSIM-to-real転送を実現するためのデータ駆動型手法を提案する。 本手法は,家具組立などの複雑かつ接触に富んだ操作作業において,シミュレートから現実への伝達を成功させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-16T17:59:07Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Hindsight States: Blending Sim and Real Task Elements for Efficient Reinforcement Learning [61.3506230781327]
  ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。 ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。 提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
  論文  参考訳（メタデータ） (2023-03-03T21:55:04Z)
• Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial Application Case on Autonomous Disassembly [55.41644538483948]
  我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。 合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。 この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
  論文  参考訳（メタデータ） (2023-01-12T14:00:37Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。