論文の概要: Real2Gym: Building Gyms from Videos, Bringing Skills to Robots

• arxiv url: http://arxiv.org/abs/2609.37089v1
• Date: Tue, 29 Sep 2026 09:16:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.358363
• Title: Real2Gym: Building Gyms from Videos, Bringing Skills to Robots
• Title（参考訳）: Real2Gym:ロボットにスキルをもたらすビデオからジャムを作る
• Abstract要約: 我々はReal2Gymを紹介した。Real2Sim2Realフレームワークは人間とロボットのデモをインタラクティブなシミュレーションジムに変える。 Real2Simモジュールは編集可能なシーンを再構築し、オブジェクトとカメラを入力に合わせる。 これらの環境では、エージェントは操作段階の実行可能なコードを生成し、結果を観察し、成功した試行と失敗を再利用可能なタスク手順に蒸留する。
• 参考スコア（独自算出の注目度）: 19.362310545356344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world videos provide rich demonstrations of manipulation, but turning them into reusable robot skills requires visually aligned environments, executable physical interactions, and mechanisms for learning from experience. We introduce Real2Gym, an agentic Real2Sim2Real framework that turns human and robot demonstrations into interactive simulation gyms and brings skills acquired in simulation to physical robots. The Real2Sim module reconstructs editable scenes, aligns objects and cameras with the input, validates demonstrated or retargeted actions through native physics execution, and generates task-conditioned variations with action-feasibility checks. Within these environments, the agent generates executable code for manipulation stages, observes their outcomes, and distills successful attempts and failures into reusable task procedures, object-relative motions, and recovery strategies. Through a shared perception-and-control interface, these skills guide subsequent execution in simulation and on real robots, with motions adapted to current observations and no updates to the underlying model weights. Extensive evaluations demonstrate that Real2Gym enables high-fidelity simulation environment reconstruction, outperforming GPT-6 Astra Direct Mode by 16.7% in success rate with approximately 74.9% fewer policy-execution tokens across these environments, while exceeding it by 33.3% in physical robot execution success rate across four tasks on a real Franka robot.
• Abstract（参考訳）: 実世界のビデオは操作の豊かなデモを提供するが、それらを再利用可能なロボットスキルに変えるには、視覚的に整合した環境、実行可能な物理的相互作用、経験から学ぶためのメカニズムが必要である。 我々はReal2Gymを紹介した。Real2Sim2Realフレームワークは人間とロボットのデモをインタラクティブなシミュレーションジムに変え、シミュレーションで得られたスキルを物理的なロボットにもたらす。 Real2Simモジュールは編集可能なシーンを再構築し、オブジェクトとカメラを入力と整列させ、ネイティブな物理実行を通じて実証または再ターゲットされたアクションを検証する。 これらの環境の中で、エージェントは、操作段階の実行可能なコードを生成し、その結果を観察し、成功した試行と失敗を再利用可能なタスク手順、オブジェクト相対運動、リカバリ戦略に蒸留する。 共有された知覚制御インタフェースを通じて、これらのスキルはシミュレーションや実際のロボット上でのその後の実行を誘導する。 大規模な評価では、Real2Gymは高忠実度シミュレーション環境の再構築を可能にし、GPT-6 Astra Direct Modeを16.7%向上させ、これらの環境全体で約74.9%のポリシー実行トークンを減らし、実際のフランカロボットの4つのタスクにおける物理ロボットの実行成功率を33.3%上回った。

関連論文リスト

• WorldLine: Action-Driven Visual Simulation for Robotic Manipulation [87.68211863253049]
  実世界のロボット学習は、経験を収集し、候補行動を評価するコストに制約される。 異種アクショングラウンドから学習した移動可能なダイナミクスを分離する,アクション駆動型ビジュアルシミュレータ WorldLine を紹介する。 WorldLineは、1万時間以上のアクションフリーロボットビデオから操作のダイナミクスを学び、2000時間以上のアクショントラジェクトリを使ってそれらをグラウンドする。
  論文  参考訳（メタデータ） (2026-09-29T17:26:22Z)
• Skel-WAM: A Hand-Skeleton-Conditioned World Action Model for Human-to-Robot Manipulation Transfer [61.50662046794264]
  Skel-WAMは,ハンドスケルトン・モーション・インタフェースの統一による差異をブリッジする世界アクション・モデルである。 主な洞察は、人間の動きとロボットの動きを共通のハンドトポロジーで調整し、シーン内の地面の動きを、明示的な手の動きをエンコードする2.5Dキーポイントと組み合わせることである。 ビデオとキーポイントの専門家は、Mixture-of-Transformersを通じて視覚と骨格のダイナミクスを共同で学習し、ロボット訓練されたアクションエキスパートはこれらの予測を実行可能なコントロールにマップする。
  論文  参考訳（メタデータ） (2026-09-18T09:06:15Z)
• Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents [42.18672329354181]
  textitAgentic Real2Simは視覚言語エージェントを用いた物理世界モデリングのためのフレームワークである。 我々は,剛体オブジェクトの操作,変形性オブジェクトのインタラクション,ヒューマノイドモーションシーンにおけるエージェントReal2Simの評価を行った。 フレームワークのエージェント的決定は、フロンティアモデルのコストのごく一部で、オープンウェイトなVLMバックエンドによって駆動される。
  論文  参考訳（メタデータ） (2026-07-21T15:23:38Z)
• Video2Sim2Real: Full-Stack Autonomous Dexterous Skill Acquisition from a Single Human Video [25.87334839420446]
  Video2Sim2Realは、単一の人間の操作ビデオから自律的なスキル獲得のためのフルスタックフレームワークである。 既製の基礎モデルを用いてシミュレーター対応のデジタルツインを再構築し,ロボットや物体の動きを抽出する。 我々は,雑音の多い実世界の点雲からILを介してロボットの構成を調整し,残差RLを利用して局所的な指レベル適応を行う。
  論文  参考訳（メタデータ） (2026-06-07T20:45:47Z)
• SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models [60.80050275581661]
  VLM(Vision-Language Models)は、目覚しい常識と意味論的推論能力を示す。 物理力学に関する基礎的な理解は欠如している。 テストタイムでシミュレーション可能な ACTion Planning フレームワークである S を提案する。 本手法は,5つの難易度,実世界の剛体および変形可能な操作課題に対して,最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-12-05T18:51:03Z)
• Flow as the Cross-Domain Manipulation Interface [73.15952395641136]
  Im2Flow2Actは、現実世界のロボットのトレーニングデータを必要とせずに、ロボットが現実世界の操作スキルを習得することを可能にする。 Im2Flow2Actはフロー生成ネットワークとフロー条件ポリシーの2つのコンポーネントから構成される。 我々はIm2Flow2Actの様々な実世界のタスクにおいて、剛性、調音、変形可能なオブジェクトの操作を含む能力を実証する。
  論文  参考訳（メタデータ） (2024-07-21T16:15:02Z)
• Real2Sim2Real Transfer for Control of Cable-driven Robots via a Differentiable Physics Engine [9.268539775233346]
  テンセグリティロボットは、高い強度と重量比と大きな変形を示す。 しかし、それらは高次元性、複雑な力学、結合アーキテクチャのために制御が難しい。 本稿では,Real2Sim2Real(R2S2R)戦略について述べる。
  論文  参考訳（メタデータ） (2022-09-13T18:51:26Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。