論文の概要: SafeDojo: Safe Reinforcement Learning for VLA via Interactive World Model

• arxiv url: http://arxiv.org/abs/2606.20698v1
• Date: Mon, 15 Jun 2026 08:58:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 16:04:54.036229
• Title: SafeDojo: Safe Reinforcement Learning for VLA via Interactive World Model
• Title（参考訳）: SafeDojo: インタラクティブワールドモデルによるVLAの安全な強化学習
• Authors: Kai Tang, Peidong Jia, Zhong Chu, Jixian Wu, Rui Ma, Jiajun Cao, Fangyuan Zhao, Sixiang Chen, Yichen Guo, Xiaowei Chi, Chun-Kai Fan, Kevin Zhang, Jinchang Xu, Fubing Yang, Weishi Mi, Xiaozhu Ju, Jian Tang, Shanghang Zhang,
• Abstract要約: 我々は、視覚言語アクションポリシーのためのモデルベースの安全な強化学習フレームワークであるSafeDojoを提案する。 インタラクティブなビデオワールドモデル上でオンライン強化学習を行う。 SafeLIBEROでは、SafeDojoが最高の集計タスク成功、安全な成功、実行効率を達成する。
• 参考スコア（独自算出の注目度）: 45.895712358791705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safe control is a prerequisite for real-world embodied intelligence, for which safe reinforcement learning has emerged as a promising paradigm. However, existing safe reinforcement learning methods either require costly real-world exploration or depend on hand-crafted safety functions. Neither scales to vision-language-action models deployed in open-world physical environments. We propose SafeDojo, the first model-based safe reinforcement learning framework for vision-language-action policies designed to learn safe actions through world model-based imagination. Specifically, SafeDojo performs online reinforcement learning on top of an interactive video world model. The world model generates action-conditioned future predictions, from which a tailored ResNet success classifier estimates per-step task progress from imagined frames and a lightweight safety head predicts per-step safety costs from latent context together with the proposed action chunk, enabling simultaneous assessment of task execution and trajectory safety. The decoupled task-reward and safety-cost signals are balanced through a Lagrangian-based constrained GRPO objective, enabling coordinated improvement of task success and safety under explicit constraints. On SafeLIBERO, SafeDojo achieves the best aggregate task success, safe success, and execution efficiency among inference-time safety, model-free RL, and model-based RL baselines, with the best average safe-success rate on both levels and an 8.25 percentage-point improvement over the strongest baseline on Level I. Real-world Franka deployment further shows the best average task and safe-success rates across five tasks. Our results position world model-based safe reinforcement learning as a scalable and generalizable path toward safe embodied intelligence.
• Abstract（参考訳）: 安全制御は、安全な強化学習が有望なパラダイムとして出現した現実世界の具体的知能の前提条件である。 しかし、既存の安全な強化学習方法は、高価な現実世界の探査を必要とするか、手作りの安全機能に依存している。 どちらも、オープンワールドの物理環境にデプロイされたビジョン言語アクションモデルにはスケールしない。 我々は、世界モデルベースの想像力を通じて安全な行動を学ぶために設計された視覚言語アクションポリシーのための、最初のモデルベースの安全な強化学習フレームワークであるSafeDojoを提案する。 具体的には、SafeDojoはインタラクティブなビデオワールドモデルの上に、オンラインの強化学習を実行する。 The world model generated action-conditioned future predictions, from a tailored ResNet success classification estimates per-step task progress fromimaged frames and a lightweight safety head predicts per-step safety cost from latent context with the proposed action chunk。 分離されたタスクリワード信号と安全コスト信号は、ラグランジアンベースの制約されたGRPO目標を通じてバランスをとり、明示的な制約の下でタスク成功と安全性の協調的な改善を可能にする。 SafeLIBEROでは、SafeDojoは、推論時の安全性、モデルフリーなRL、モデルベースのRLベースラインの中で、最高の総合的なタスク成功、安全な成功、実行効率を達成し、両方のレベルで最高のセーフサクセスレートと、Level Iで最強のベースラインに対する8.25ポイントの改善を実現している。現実のFrankaデプロイメントはさらに、5つのタスクで最高の平均タスクとセーフサクセスレートを示している。 我々は,世界モデルに基づく安全強化学習を,安全なインボディードインテリジェンスへのスケーラブルで汎用的な経路として位置づけた。

関連論文リスト

• SafeWork-R1: Coevolving Safety and Intelligence under the AI-45$^{\circ}$ Law [91.33824439029533]
  我々は,機能と安全性の共進化を示す最先端のマルチモーダル推論モデルであるSafeWork-R1を紹介する。 大規模でプログレッシブで安全指向の強化学習をポストトレーニングに取り入れたSafeLadderフレームワークを開発した。 さらに,SafeWork-R1-InternVL3-78B,SafeWork-R1-DeepSeek-70B,SafeWork-R1-Qwen2.5VL-7Bを開発した。
  論文  参考訳（メタデータ） (2025-07-24T16:49:19Z)
• SafeVLA: Towards Safety Alignment of Vision-Language-Action Model via Constrained Learning [30.037309138373754]
  視覚言語アクションモデル(VLA)は、汎用的なロボットポリシーとしての可能性を示している。 これらのモデルは、環境、ロボット自身、人間への危害のリスクを含む、現実世界の展開中に極端な安全上の課題を生じさせる。 我々は、ISA(Integrated safety approach)を探求し、安全要件を体系的にモデル化し、多様な安全でない振る舞いを積極的に引き出すことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2025-03-05T13:16:55Z)
• ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning [48.536695794883826]
  本稿では,安全かつ効率的な探索のためのモデルベースRLアルゴリズムであるActSafeを提案する。 本稿では,ActSafeが学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。 さらに,最新のモデルベースRLの進歩に基づくActSafeの実用版を提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:46:02Z)
• SafeDreamer: Safe Reinforcement Learning with World Models [7.773096110271637]
  本稿では,ラグランジュ的手法を世界モデル計画プロセスに取り入れた新しいアルゴリズムであるSafeDreamerを紹介する。 本手法は,低次元および視覚のみの入力にまたがる様々なタスクにおいて,ほぼゼロコストの性能を実現する。
  論文  参考訳（メタデータ） (2023-07-14T06:00:08Z)
• SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition [59.94644674087599]
  安全制約下での複雑な制御タスクにおけるポリシー学習を高速化するアルゴリズムであるSAFEty skill pRiors (SAFER)を提案する。 オフラインデータセットでの原則的なトレーニングを通じて、SAFERは安全なプリミティブスキルの抽出を学ぶ。 推論段階では、SAFERで訓練されたポリシーは、安全なスキルを成功のポリシーに組み込むことを学ぶ。
  論文  参考訳（メタデータ） (2022-02-10T05:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。