論文の概要: Provably Safe Sim-to-Real Transfer

• arxiv url: http://arxiv.org/abs/2609.01418v1
• Date: Tue, 01 Sep 2026 15:34:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.805001
• Title: Provably Safe Sim-to-Real Transfer
• Title（参考訳）: 安全なシモン・トゥ・リアル・トランスファー
• Abstract要約: 一般的なプラクティスは、サンプルが安価であるシミュレータでポリシをトレーニングし、学習したポリシを現実世界にデプロイすることです。 このようなsim-to-real転送はsim-to-realミスマッチのため成功は保証されない。 シミュレーション情報を利用して実世界の相互作用を確実に低減する計算効率のよいアルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 8.354731976915588
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To mitigate the sample complexity of real-world reinforcement learning (RL), a common practice is to first train a policy in a simulator, where samples are cheap, and then deploy the learned policy in the real world with the hope that it generalizes effectively. Such direct sim-to-real transfer is not guaranteed to succeed: simulator-trained policies can be suboptimal in the real world due to sim-to-real mismatch. Correcting this mismatch requires collecting data from the real system, but in many applications, such as robotics and healthcare, this data-collection process is itself subject to safety constraints. This gives rise to the problem of safe sim-to-real transfer: how can an agent exploit an imperfect simulator while ensuring safe real-world data collection and learning a near-optimal feasible policy for the target system? We address this problem by formulating safe sim-to-real transfer within the framework of reward-free safe RL. We design a computationally efficient algorithm that exploits simulator information to provably reduce real-world interaction while ensuring safe exploration and enabling the computation of a near-optimal feasible policy for any potential reward function. Our real-world sample complexity bound characterizes the benefit of using the simulator in terms of the sim-to-real mismatch.
• Abstract（参考訳）: 実世界の強化学習(RL)のサンプル複雑性を軽減するために、まず、サンプルが安価であるシミュレーターでポリシーを訓練し、それを効果的に一般化することを期待して、学習されたポリシーを現実世界に展開するのが一般的である。 このようなsim-to-real転送は成功することが保証されていない:sim-to-realミスマッチにより、シミュレータ訓練されたポリシーは現実世界で最適である。 このミスマッチを訂正するには、実際のシステムからデータを集める必要があるが、ロボット工学やヘルスケアといった多くのアプリケーションでは、このデータ収集プロセス自体が安全性の制約にさらされている。 エージェントはどうやって不完全なシミュレータを悪用し、安全な実世界のデータ収集と、ターゲットシステムに対するほぼ最適なポリシーを学ぶことができるのか? 我々は、報酬のない安全なRLの枠組みの中で、安全なsim-to-real転送を定式化することでこの問題に対処する。 我々は,シミュレーション情報を利用して,安全な探索と潜在的報酬関数の近似可能なポリシの計算を可能にしつつ,実世界の相互作用を確実に低減する計算効率の高いアルゴリズムを設計する。 我々の実世界のサンプル複雑性は、sim-to-realミスマッチの観点からシミュレータを使用する利点を特徴づける。

関連論文リスト

• SPiDR: A Simple Approach for Zero-Shot Safety in Sim-to-Real Transfer [60.19411648245077]
  悲観的領域ランダム化によるSim-to-realの略称であるSPiDRを提案する。 SPiDRは、安全なsim-to-real転送を保証するスケーラブルなアルゴリズムである。 我々は,SPiDRが性能を維持しつつ,シミュレートとリアルのギャップを保ちながら,安全性を効果的に確保できることを実証した。
  論文  参考訳（メタデータ） (2025-09-23T05:03:00Z)
• Overcoming the Sim-to-Real Gap: Leveraging Simulation to Learn to Explore for Real-World RL [25.991354823569033]
  多くの制度において、直接シム2リアルトランスファーは失敗する可能性があるが、シミュレータを使って一連のエフェクト探索ポリシーを学習できることが示される。 特に、低ランクのMDPの設定においては、これらの探索政策と単純で実践的なアプローチが結合していることが示される。 これは、シミュレーション転送が直接sim2real転送が失敗する環境で強化学習において証明可能な利益をもたらすという最初の証拠である。
  論文  参考訳（メタデータ） (2024-10-26T19:12:27Z)
• ReGentS: Real-World Safety-Critical Driving Scenario Generation Made Stable [88.08120417169971]
  機械学習に基づく自律運転システムは、現実世界のデータでは稀な安全クリティカルなシナリオで課題に直面していることが多い。 この研究は、軌道最適化によって複雑な現実世界の通常のシナリオを変更することによって、安全クリティカルな運転シナリオを生成することを検討する。 提案手法は、頑健なプランナーの訓練には役に立たない非現実的な発散軌道と避けられない衝突シナリオに対処する。
  論文  参考訳（メタデータ） (2024-09-12T08:26:33Z)
• TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction [25.36756787147331]
  シミュレーションの学習と実世界への学習は、ジェネラリストロボットを可能にする可能性がある。 そこで本研究では,Human-in-the-loopフレームワークをベースとしたSIM-to-real転送を実現するためのデータ駆動型手法を提案する。 本手法は,家具組立などの複雑かつ接触に富んだ操作作業において,シミュレートから現実への伝達を成功させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-16T17:59:07Z)
• Evaluating Real-World Robot Manipulation Policies in Simulation [91.55267186958892]
  実環境と模擬環境の制御と視覚的格差は、信頼性のある模擬評価の鍵となる課題である。 実環境に完全忠実なデジタル双生児を作らなくても、これらのギャップを軽減できる手法を提案する。 シミュレーション環境の集合体であるSIMPLERを作成した。
  論文  参考訳（メタデータ） (2024-05-09T17:30:16Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Provable Sim-to-real Transfer in Continuous Domain with Partial Observations [39.18274543757048]
  シン・トゥ・リアル・トランスファー(英語版)は、シミュレーション環境でRLエージェントを訓練し、実世界で展開する。 実環境における最適政策と競合するシミュレートされた環境から、人気のある頑健な対人訓練アルゴリズムが、ポリシーを学習できることを示す。
  論文  参考訳（メタデータ） (2022-10-27T16:37:52Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• SafeAPT: Safe Simulation-to-Real Robot Learning using Diverse Policies Learned in Simulation [12.778412161239466]
  シミュレーションで学んだポリシーは、必ずしも本物のロボットに安全な振る舞いをもたらすとは限らない。 本研究では,シミュレーションで進化したポリシーの多様なレパートリーを活用する,SafeAPTと呼ばれる新しい学習アルゴリズムを提案する。 SafeAPTは,対話中の安全違反を最小限に抑えつつ,実世界では数分以内に高性能なポリシーを見出すことを示す。
  論文  参考訳（メタデータ） (2022-01-27T16:40:36Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。