論文の概要: Provably Safe Sim-to-Real Transfer

• arxiv url: http://arxiv.org/abs/2609.01418v1
• Date: Tue, 01 Sep 2026 15:34:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.805001
• Title: Provably Safe Sim-to-Real Transfer
• Title（参考訳）: 安全なシモン・トゥ・リアル・トランスファー
• Authors: Tingting Ni, Maryam Kamgarpour,
• Abstract要約: 一般的なプラクティスは、サンプルが安価であるシミュレータでポリシをトレーニングし、学習したポリシを現実世界にデプロイすることです。 このようなsim-to-real転送はsim-to-realミスマッチのため成功は保証されない。 シミュレーション情報を利用して実世界の相互作用を確実に低減する計算効率のよいアルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 8.354731976915588
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To mitigate the sample complexity of real-world reinforcement learning (RL), a common practice is to first train a policy in a simulator, where samples are cheap, and then deploy the learned policy in the real world with the hope that it generalizes effectively. Such direct sim-to-real transfer is not guaranteed to succeed: simulator-trained policies can be suboptimal in the real world due to sim-to-real mismatch. Correcting this mismatch requires collecting data from the real system, but in many applications, such as robotics and healthcare, this data-collection process is itself subject to safety constraints. This gives rise to the problem of safe sim-to-real transfer: how can an agent exploit an imperfect simulator while ensuring safe real-world data collection and learning a near-optimal feasible policy for the target system? We address this problem by formulating safe sim-to-real transfer within the framework of reward-free safe RL. We design a computationally efficient algorithm that exploits simulator information to provably reduce real-world interaction while ensuring safe exploration and enabling the computation of a near-optimal feasible policy for any potential reward function. Our real-world sample complexity bound characterizes the benefit of using the simulator in terms of the sim-to-real mismatch.
• Abstract（参考訳）: 実世界の強化学習(RL)のサンプル複雑性を軽減するために、まず、サンプルが安価であるシミュレーターでポリシーを訓練し、それを効果的に一般化することを期待して、学習されたポリシーを現実世界に展開するのが一般的である。 このようなsim-to-real転送は成功することが保証されていない:sim-to-realミスマッチにより、シミュレータ訓練されたポリシーは現実世界で最適である。 このミスマッチを訂正するには、実際のシステムからデータを集める必要があるが、ロボット工学やヘルスケアといった多くのアプリケーションでは、このデータ収集プロセス自体が安全性の制約にさらされている。 エージェントはどうやって不完全なシミュレータを悪用し、安全な実世界のデータ収集と、ターゲットシステムに対するほぼ最適なポリシーを学ぶことができるのか? 我々は、報酬のない安全なRLの枠組みの中で、安全なsim-to-real転送を定式化することでこの問題に対処する。 我々は,シミュレーション情報を利用して,安全な探索と潜在的報酬関数の近似可能なポリシの計算を可能にしつつ,実世界の相互作用を確実に低減する計算効率の高いアルゴリズムを設計する。 我々の実世界のサンプル複雑性は、sim-to-realミスマッチの観点からシミュレータを使用する利点を特徴づける。

関連論文リスト

• SPiDR: A Simple Approach for Zero-Shot Safety in Sim-to-Real Transfer [60.19411648245077]
  悲観的領域ランダム化によるSim-to-realの略称であるSPiDRを提案する。 SPiDRは、安全なsim-to-real転送を保証するスケーラブルなアルゴリズムである。 我々は,SPiDRが性能を維持しつつ,シミュレートとリアルのギャップを保ちながら,安全性を効果的に確保できることを実証した。
  論文  参考訳（メタデータ） (2025-09-23T05:03:00Z)
• Overcoming the Sim-to-Real Gap: Leveraging Simulation to Learn to Explore for Real-World RL [25.991354823569033]
  多くの制度において、直接シム2リアルトランスファーは失敗する可能性があるが、シミュレータを使って一連のエフェクト探索ポリシーを学習できることが示される。 特に、低ランクのMDPの設定においては、これらの探索政策と単純で実践的なアプローチが結合していることが示される。 これは、シミュレーション転送が直接sim2real転送が失敗する環境で強化学習において証明可能な利益をもたらすという最初の証拠である。
  論文  参考訳（メタデータ） (2024-10-26T19:12:27Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。