論文の概要: MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation

• arxiv url: http://arxiv.org/abs/2603.16861v1
• Date: Tue, 17 Mar 2026 17:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-21 18:33:56.925011
• Title: MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation
• Title（参考訳）: MolmoB0T: ゼロショット操作を可能にする大規模シミュレーション
• Authors: Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna,
• Abstract要約: 実世界へのゼロショット転送は可能であるが,静的操作と移動操作の両方に有効であることを示す。 MolmoBot-Dataは180万のエキスパートトラジェクトリのデータセットで、オブジェクトの操作やピック・アンド・プレイスタスクのためのものです。 本研究は,手続き型環境生成と多種多様な調音資産が組み合わさって,ロバストな操作ポリシーを創出できることを実証する。
• 参考スコア（独自算出の注目度）: 56.976138997544005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A prevailing view in robot learning is that simulation alone is not enough; effective sim-to-real transfer is widely believed to require at least some real-world data collection or task-specific fine-tuning to bridge the gap between simulated and physical environments. We challenge that assumption. With sufficiently large-scale and diverse simulated synthetic training data, we show that zero-shot transfer to the real world is not only possible, but effective for both static and mobile manipulation. We introduce MolmoBot-Engine, a fully open-source pipeline for procedural data generation across robots, tasks, and diverse simulated environments in MolmoSpaces. With it, we release MolmoBot-Data, a dataset of 1.8 million expert trajectories for articulated object manipulation and pick-and-place tasks. We train three policy classes: MolmoBot, a Molmo2-based multi-frame vision-language model with a flow-matching action head; MolmoBot-Pi0, which replicates the $π_0$ architecture to enable direct comparison; and MolmoBot-SPOC, a lightweight policy suitable for edge deployment and amenable to RL fine-tuning. We evaluate on two robotic platforms: the Franka FR3 for tabletop manipulation tasks and the Rainbow Robotics RB-Y1 mobile manipulator for door opening, drawer manipulation, cabinet interaction, and mobile pick-and-place. Without any real-world fine-tuning, our policies achieve zero-shot transfer to unseen objects and environments. On tabletop pick-and-place, MolmoBot achieves a success rate of 79.2% in real world evaluations across 4 settings, outperforming $π_{0.5}$ at 39.2%. Our results demonstrate that procedural environment generation combined with diverse articulated assets can produce robust manipulation policies that generalize broadly to the real world. Technical Blog: https://allenai.org/blog/molmobot-robot-manipulation
• Abstract（参考訳）: 効果的なsim-to-real転送は、シミュレートされた環境と物理的環境の間のギャップを埋めるために、少なくとも現実世界のデータ収集やタスク固有の微調整を必要とすると広く信じられている。 私たちはその仮定に挑戦する。 十分に大規模かつ多様な合成訓練データを用いて,実世界へのゼロショット転送が可能であるだけでなく,静的・移動的操作にも有効であることを示す。 ロボット,タスク,さまざまなシミュレーション環境をまたいだプロシージャデータ生成のための,完全にオープンソースのパイプラインであるMomoBot-Engineを紹介した。 そのためにMolmoBot-Dataをリリースした。これは180万のエキスパートトラジェクトリのデータセットで、オブジェクトの操作やピック・アンド・プレイスタスクのためのものだ。 フローマッチングアクションヘッドを備えたMomo2ベースの多フレームビジョン言語モデルであるMomoBotと、直接比較を可能にするために$π_0$アーキテクチャを複製するMomoBot-Pi0と、エッジデプロイメントに適した軽量なRL微調整可能なMomoBot-SPOCの3つのポリシークラスをトレーニングする。 我々は,テーブルトップ操作タスク用のFranka FR3と,ドア開閉,引き出し操作,キャビネット操作,モバイルピック・アンド・プレイスのためのRainbow Robotics RB-Y1移動マニピュレータを2つのロボットプラットフォームで評価した。 現実世界の微調整がなければ、私たちのポリシーは目に見えないオブジェクトや環境へのゼロショット転送を実現します。 テーブルトップのピック・アンド・プレースでは、MolmoBotは4つの設定で79.2%の成功率を記録し、 π_{0.5}$ 39.2%を上回った。 本研究は, 手続き型環境生成と多種多様な調音資産が組み合わさって, 現実の世界に広範に一般化するロバストな操作ポリシーを創出できることを実証するものである。 テクニカルブログ:https://allenai.org/blog/molmobot-robot-manipulation

関連論文リスト

• RoboPearls: Editable Video Simulation for Robot Manipulation [81.18434338506621]
  RoboPearlsは、ロボット操作のための編集可能なビデオシミュレーションフレームワークである。 3D Gaussian Splatting (3DGS)に基づいて構築されたRoboPearlsは、フォトリアリスティックでビュー一貫性のあるシミュレーションの構築を可能にする。 我々は、RLBench、COLOSSEUM、Ego4D、Open X-Embodiment、現実世界のロボットなど、複数のデータセットやシーンで広範な実験を行う。
  論文  参考訳（メタデータ） (2025-06-28T05:03:31Z)
• RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation [52.2244588424002]
  我々は,多様かつ現実的なデータの自動生成のためのスケーラブルなフレームワークであるRoboTwin 2.0を紹介する。 コアとなるRoboTwin-ODは、セマンティックおよび操作関連アノテーションを備えた147カテゴリにわたる771インスタンスのオブジェクトライブラリである。 sim-to-real転送を改善するために、RoboTwin 2.0は5つの軸に沿って構造化された領域ランダム化を適用する。
  論文  参考訳（メタデータ） (2025-06-22T16:26:53Z)
• ReBot: Scaling Robot Learning with Real-to-Sim-to-Real Robotic Video Synthesis [39.50916343607966]
  ReBotは、実際のロボットデータセットをスケーリングするための、新しいリアル・トゥ・シミュレート・トゥ・リアルのアプローチである。 ReBotは視覚言語アクション(VLA)モデルの性能とロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-03-15T16:47:25Z)
• Manipulate-Anything: Automating Real-World Robots using Vision-Language Models [47.16659229389889]
  実世界のロボット操作のためのスケーラブルな自動生成手法であるManipulate-Anythingを提案する。 Manipulate-Anythingは、特権のある状態情報や手書きのスキルなしで現実世界の環境で動作でき、静的オブジェクトを操作できる。
  論文  参考訳（メタデータ） (2024-06-27T06:12:01Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• Deep Imitation Learning for Bimanual Robotic Manipulation [70.56142804957187]
  本稿では,ロボットによるバイマニュアル操作のための深層模倣学習フレームワークを提案する。 中心となる課題は、操作スキルを異なる場所にあるオブジェクトに一般化することである。 i)マルチモーダルダイナミクスを要素運動プリミティブに分解し、(ii)リカレントグラフニューラルネットワークを用いて各プリミティブをパラメータ化して相互作用を捕捉し、(iii)プリミティブを逐次的に構成する高レベルプランナと、プリミティブダイナミクスと逆運動学制御を組み合わせた低レベルコントローラを統合することを提案する。
  論文  参考訳（メタデータ） (2020-10-11T01:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。