論文の概要: Training Reasoning Models in Simulation to Natively Use Real Robots
- arxiv url: http://arxiv.org/abs/2611.18562v1
- Date: Fri, 13 Nov 2026 18:59:02 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:23:21.580618
- Title: Training Reasoning Models in Simulation to Natively Use Real Robots
- Title(参考訳): 実ロボットを生かしたシミュレーションにおける推論モデルの訓練
- Abstract要約: オープンウェイト27B推論モデルを用いて,実際のロボットの使用を訓練できることが示唆された。
コンピュータ利用エージェント(CUA)と同様に、モデルは思考の連鎖の理由である環境を観察し、次のエンドエフェクターのポーズを生成する。
シミュレーションで得られたスキルは、トレーニングタスクをはるかに超越して一般化されている。
- 参考スコア(独自算出の注目度): 27.55715710707877
- License:
- Abstract: Robot-use agents (RUAs) have emerged as a promising approach to general-purpose robot control. However, strong performance has so far been achieved only by frontier proprietary models such as GPT-6 Astra and Claude Fable 5.2, whereas open-weight models remain substantially less capable. We show that an open-weight 27B reasoning model can be trained to use real robots natively through reinforcement learning, entirely in simulation and without demonstrations. Like a computer-use agent (CUA), the model observes the environment, reasons in a chain of thought, and generates the next end-effector pose, without any harness. We build a Post-training Engine for Agentic Robotics (PEAR) and use it to train the model on simulated robot tasks at scale with robot-use reinforcement learning (RURL), mirroring how frontier models acquire computer use. We find that the skills acquired in simulation generalize well beyond the training tasks: they transfer to an unseen robot, to the real world, and to novel instructions. After training on LIBERO and RoboDojo in simulation, the model succeeds in 60% of our trials on a real dual-arm robot, whereas the base model succeeds in none. On LIBERO, training raises the success rate from 1.6% to 74.4%, approaching GPT-6 Astra and GPT-6.1 Sol at maximum reasoning effort. Compared with $π_{0.5}$, a vision-language-action model fine-tuned on demonstrations, our model is substantially more robust to changes in the task itself. On LIBERO-Pro, $π_{0.5}$ succeeds in only 0.75% of episodes when assigned a new task in a familiar scene whereas our model succeeds in 57.4%. Finally, the model retains its general capabilities, with no measurable degradation on nine reasoning, coding and vision benchmarks. These results highlight robot-use reinforcement learning as a promising component of foundation-model post-training.
- Abstract(参考訳): 汎用ロボット制御への有望なアプローチとして、ロボット利用エージェント(RUA)が登場している。
しかし、GPT-6 Astra や Claude Fable 5.2 のようなフロンティアのプロプライエタリなモデルでのみ強力な性能が達成されている。
本研究では, 実ロボットを実機で実機で実機を実機で実機で実機で実機で実験し, 実機で実機を実機で実機で実機で実機で実機を実機で実機で実機で実機で操作できるように訓練できることを実証した。
コンピュータ利用エージェント(CUA)と同様に、モデルは思考の連鎖の理由である環境を観察し、使用せずに次のエンドエフェクターのポーズを生成する。
我々は、エージェントロボットのためのポストトレーニングエンジン(PEAR)を構築し、それをロボット利用強化学習(RURL)を用いて、シミュレーションされたロボットタスクのモデルを大規模に訓練し、フロンティアモデルがコンピュータの使用をいかに獲得するかを反映する。
シミュレーションで得られたスキルは、未確認のロボットに、現実世界に、そして新しいインストラクションに、訓練タスクをはるかに超越して一般化されることがわかりました。
シミュレーションでLIBEROとRoboDojoをトレーニングした後、このモデルは実際のデュアルアームロボットの試行の60%で成功し、ベースモデルは成功しない。
LIBEROでは、トレーニングは成功率を1.6%から74.4%に引き上げ、最大推理でGPT-6アストラとGPT-6.1ソルに接近する。
実演で微調整された視覚言語アクションモデルである$π_{0.5}$と比較して、我々のモデルはタスク自体の変化に対してかなり堅牢である。
LIBERO-Pro では、π_{0.5}$ は慣れ親しんだシーンで新しいタスクを割り当てたときにわずか 0.75% で成功するが、我々のモデルは57.4% で成功する。
最後に、モデルは一般的な能力を保ち、9つの推論、コーディング、ビジョンのベンチマークで測定可能な劣化はない。
これらの結果は,基礎モデルポストトレーニングの有望な構成要素として,ロボット利用強化学習が注目されている。
関連論文リスト
- Democratizing Robot-Use Agents: A Unified Harness with Open Models [68.51980669864922]
我々は、さらなるトレーニングをサポートする、競争力のあるオープンウェイトロボット用統合ハーネスであるuni-robot-agentを紹介した。
Qwen3.8-Flash-NextのRoboDojoスコアは31.39で、GPT-6のAstra-RoboProbeの28.97と多くのVLA/WAMベースラインを上回っている。
モデル世代,家族,サイズをまたいだ分析は,ロボットの有効利用と4つの一般的な能力とを結びつけ,今後のRUAトレーニングを共同で行うことが示唆された。
論文 参考訳(メタデータ) (2026-11-01T04:32:23Z) - Pretraining Knows What, Simulation Teaches How: Compositional Generalization for Agentic Robotics [16.22140960171382]
本稿では、ゼロリアルエージェントポリシー(ZAP)を紹介し、この欠落した動作スキルを教えるレシピを、単純な原始的タスクのシミュレーションで完全に導入する。
ZAPは現実世界のタスクで96.7%成功し、GPT-6 Astraをハーネスでマッチングします。
ZAPはまた、新しい物体、目標、戦略に一般化し、トレーニングを受けなかったロボットの体格をシミュレーションする。
論文 参考訳(メタデータ) (2026-10-26T17:44:34Z) - From Reasoning to Action: Benchmarking Frontier AI Models on LIBERO-10 Robot Manipulation Tasks [4.030388243731636]
LIBERO-10ベンチマークにおいて、フロンティアAIモデルを評価するための統一的なクローズドループ操作フレームワークを提案する。
GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna, Claude Opus 5, Claude Opus 5.5, Gemini-4 Argonの6つのフロンティアAIモデルを評価する。
その結果, GPT-6 Astraが44%, Gemini-4 Argonが43%であった。
論文 参考訳(メタデータ) (2026-10-21T17:11:52Z) - Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World Trajectories [36.86989207036016]
Xiaomi-Robotics-1は、モバイル操作のためのビジョン言語アクション(VLA)モデルである。
多様な言語命令に従って、幅広いモバイル操作タスクを実行する。
最小限の微調整データで、新しい下流タスクに効率的に適応する。
論文 参考訳(メタデータ) (2026-07-16T16:02:25Z) - RoboReward: General-Purpose Vision-Language Reward Models for Robotics [124.34685604054312]
視覚言語モデル(VLM)は、自動報酬モデルとして期待されているが、実際のロボットタスクにおけるそれらの効果は理解されていない。
大規模な実ロボットコーパス上に構築されたロボティクス報酬データセットとベンチマークであるRoboRewardを導入することで、このギャップを埋めることを目指している。
論文 参考訳(メタデータ) (2026-01-02T12:47:34Z) - GR00T N1: An Open Foundation Model for Generalist Humanoid Robots [133.23509142762356]
汎用ロボットには多目的体と知的な心が必要だ。
近年のヒューマノイドロボットの進歩は、汎用的な自律性を構築するためのハードウェアプラットフォームとして大きな可能性を秘めている。
我々はヒューマノイドロボットのオープン基盤モデルであるGR00T N1を紹介する。
論文 参考訳(メタデータ) (2025-03-18T21:06:21Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳(メタデータ) (2023-06-16T17:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。