論文の概要: SimVLA: Zero-Shot Sim-to-Real VLA Learning for Mobile Manipulation
- arxiv url: http://arxiv.org/abs/2610.11248v1
- Date: Thu, 08 Oct 2026 04:52:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.809793
- Title: SimVLA: Zero-Shot Sim-to-Real VLA Learning for Mobile Manipulation
- Title(参考訳): SimVLA: モバイル操作のためのZero-Shot Sim-to-Real VLA学習
- Abstract要約: モバイル操作のための遠隔操作なしで,VLAを完全に合成シミュレーションデータに基づいてトレーニングする,エンドツーエンドのフレームワークであるSimVLAを紹介する。
SimVLAはSimActionとSimDeployという2つの補完的なシミュレーションベースデータセットで最初にトレーニングされている。
我々は,SimVLAをリストック,注水,クリーニングなどのタスクで評価し,実世界のモバイル操作へのゼロショット転送を示す。
- 参考スコア(独自算出の注目度): 7.1725447489256675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale, diverse datasets have driven the success of LLMs and VLMs. But VLAs for robotics remain limited by the cost and complexity of real-world data collection. While simulation offers a scalable alternative, its potential for sim-to-real VLA learning in mobile manipulation remains largely underexplored. We introduce SimVLA, an end-to-end framework that trains VLAs entirely on synthetic simulation data without teleoperation for mobile manipulation. SimVLA is first pre-trained on two complementary simulation-derived datasets: SimAction, a large-scale robot action dataset spanning 35 diverse mobile manipulation tasks, generated by composing atomic skills, and SimVQA, which leverages privileged simulator state to provide spatial, geometric, and subtask-level visual-language supervision. We further post-train SimVLA on a mixture of SimAction and SimDeploy, a dataset collected from policy rollouts across diverse simulated environments. We evaluate SimVLA on tasks including restocking, pouring, and cleaning, and show zero-shot transfer to real-world mobile manipulation, including real home environments. SimVLA outperforms policies trained on 50 in-domain real-world demonstrations, suggesting that simulation can enable scalable sim-to-real mobile manipulation. We further demonstrate the value of multiple complementary forms of supervision for effectively leveraging simulation in VLA training.
- Abstract(参考訳): 大規模で多様なデータセットがLLMやVLMの成功を駆動している。
しかし、ロボットのためのVLAは、実際のデータ収集のコストと複雑さによって制限されている。
シミュレーションはスケーラブルな代替手段を提供するが、モバイル操作におけるsim-to-real VLA学習の可能性はほとんど探索されていない。
モバイル操作のための遠隔操作なしで,VLAを完全に合成シミュレーションデータに基づいてトレーニングする,エンドツーエンドのフレームワークであるSimVLAを紹介する。
SimVLAは、まず2つの補完的なシミュレーションに基づくデータセットで事前トレーニングされている。SimActionは、35の多様なモバイル操作タスクにまたがる大規模なロボットアクションデータセットで、原子スキルを構成することによって生成される。
さまざまなシミュレート環境におけるポリシロールアウトから収集したデータセットであるSimActionとSimDeployを併用したSimVLAのトレーニングを後述する。
我々は,SimVLAをリストック,注水,クリーニングなどのタスクで評価し,実環境を含む実世界の移動操作へのゼロショット転送を示す。
SimVLAは、50のドメイン内の実世界デモでトレーニングされたポリシーを上回り、シミュレーションがスケーラブルなsim-to-realモバイル操作を可能にすることを示唆している。
さらに,VLAトレーニングにおけるシミュレーションを効果的に活用するために,複数の補完的な監督形態の価値を実証する。
関連論文リスト
- ComSim: Building Scalable Real-World Robot Data Generation via Compositional Simulation [90.4702774169675]
本稿では,古典シミュレーションとニューラルシミュレーションを組み合わせた合成シミュレーションというハイブリッド手法を提案する。
提案手法では,少数の実世界のデータを活用するクローズドループ・リアル・シモン・リアル・データ拡張パイプラインを利用する。
我々はニューラルシミュレーターをトレーニングし、古典的なシミュレーションビデオを現実世界の表現に変換し、現実の環境で訓練されたポリシーモデルの精度を向上させる。
論文 参考訳(メタデータ) (2026-04-13T12:25:45Z) - Beyond Imitation: Reinforcement Learning-Based Sim-Real Co-Training for VLA Models [35.41613201907666]
本稿では,UnderlinetextitRLベースのsim-real UnderlinetextitCo-training modified(RL-Co)フレームワークを提案する。
RLコトレーニングは、目に見えないタスクのバリエーションに強く一般化し、実世界のデータ効率を大幅に改善する。
論文 参考訳(メタデータ) (2026-02-13T05:15:50Z) - Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation [40.96453435496208]
本稿では,視覚に基づくロボット操作課題を解決するためにシミュレーションデータを利用する手法を提案する。
ロボットアームとヒューマノイドの2つの領域を用いて,シミュレーションデータにより実世界のタスク性能を平均38%向上させることができることを示した。
論文 参考訳(メタデータ) (2025-03-31T17:39:38Z) - SimGen: Simulator-conditioned Driving Scene Generation [50.03358485083602]
シミュレーション条件付きシーン生成フレームワークSimGenを紹介する。
SimGenは、シミュレータと現実世界のデータを混ぜることで、多様な運転シーンを生成することを学ぶ。
テキストプロンプトとシミュレータからのレイアウトに基づいて制御性を保ちながら、優れた生成品質と多様性を実現する。
論文 参考訳(メタデータ) (2024-06-13T17:58:32Z) - DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to
Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。
本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文 参考訳(メタデータ) (2022-10-25T01:51:36Z) - TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。
特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。
TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文 参考訳(メタデータ) (2021-01-17T00:29:30Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳(メタデータ) (2020-07-27T17:46:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。