論文の概要: Revealing the Challenges of Sim-to-Real Transfer in Model-Based Reinforcement Learning via Latent Space Modeling

• arxiv url: http://arxiv.org/abs/2506.12735v1
• Date: Sun, 15 Jun 2025 06:02:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.790931
• Title: Revealing the Challenges of Sim-to-Real Transfer in Model-Based Reinforcement Learning via Latent Space Modeling
• Title（参考訳）: 潜在空間モデリングによるモデルベース強化学習におけるシム・ツー・リール伝達の課題
• Authors: Zhilin Lin, Shiliang Sun,
• Abstract要約: 強化学習(RL)は、ロボット制御や自律運転といった分野において、ますます重要な役割を担っている。 シミュレーションと実環境のギャップは、RLの実践的な展開にとって大きな障害となっている。 本稿では,シミュレーションが現実の政策改善に与える影響を分析するために,潜在空間に基づくアプローチを提案する。
• 参考スコア（独自算出の注目度）: 31.74241286023207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) is playing an increasingly important role in fields such as robotic control and autonomous driving. However, the gap between simulation and the real environment remains a major obstacle to the practical deployment of RL. Agents trained in simulators often struggle to maintain performance when transferred to real-world physical environments. In this paper, we propose a latent space based approach to analyze the impact of simulation on real-world policy improvement in model-based settings. As a natural extension of model-based methods, our approach enables an intuitive observation of the challenges faced by model-based methods in sim-to-real transfer. Experiments conducted in the MuJoCo environment evaluate the performance of our method in both measuring and mitigating the sim-to-real gap. The experiments also highlight the various challenges that remain in overcoming the sim-to-real gap, especially for model-based methods.
• Abstract（参考訳）: 強化学習(RL)は、ロボット制御や自律運転といった分野において、ますます重要な役割を担っている。 しかし、シミュレーションと実環境のギャップは、RLの実践的な展開にとって大きな障害となっている。 シミュレーターで訓練されたエージェントは、現実世界の物理的環境に移動する際にパフォーマンスを維持するのに苦労することが多い。 本稿では,モデルベース環境における実環境政策改善に対するシミュレーションの効果を分析するために,潜時空間に基づくアプローチを提案する。 モデルベース手法の自然な拡張として,本手法はsim-to-real転送におけるモデルベース手法が直面する課題を直感的に観察することを可能にする。 MuJoCo環境下で行った実験は,シミュレートとリアルギャップの測定と緩和の両面において,本手法の性能を評価する。 実験はまた、特にモデルベースの手法において、シモン・トゥ・リアルのギャップを克服する上で残る様々な課題を強調している。

関連論文リスト

• From Abstraction to Reality: DARPA's Vision for Robust Sim-to-Real Autonomy [6.402441477393285]
  TIAMATは、動的および複雑な環境にまたがる自律技術の迅速かつ堅牢な移行に取り組むことを目的としている。 現在のシミュレート・トゥ・リアル(シミュレート・トゥ・リアル)転送の方法は、しばしば高忠実度シミュレーションに依存している。 TIAMATのアプローチは、効果的かつ迅速な現実世界適応のための抽象的から現実的移行を実現することを目的としている。
  論文  参考訳（メタデータ） (2025-03-14T02:06:10Z)
• Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics [50.191655141020505]
  この研究は、長期水平予測、エラー蓄積、およびsim-to-real転送の課題に対処することで、モデルに基づく強化学習を前進させる。 スケーラブルでロバストなフレームワークを提供することで、現実のアプリケーションにおいて適応的で効率的なロボットシステムを実現することができる。
  論文  参考訳（メタデータ） (2025-01-17T10:39:09Z)
• A Conservative Approach for Few-Shot Transfer in Off-Dynamics Reinforcement Learning [3.1515473193934778]
  オフダイナミックス強化学習(英語: Off-dynamics Reinforcement Learning)は、ソース環境から、異なるが類似したダイナミクスによって特徴づけられるターゲット環境へポリシーを移そうとする。 我々は近年のImitation Learningと保守的RLアルゴリズムの進歩に触発された革新的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-24T13:09:08Z)
• Reinforcement Learning with Human Feedback for Realistic Traffic Simulation [53.85002640149283]
  効果的なシミュレーションの鍵となる要素は、人間の知識と整合した現実的な交通モデルの導入である。 本研究では,現実主義に対する人間の嗜好のニュアンスを捉えることと,多様な交通シミュレーションモデルを統合することの2つの主な課題を明らかにする。
  論文  参考訳（メタデータ） (2023-09-01T19:29:53Z)
• Uncertainty-aware Grounded Action Transformation towards Sim-to-Real Transfer for Traffic Signal Control [3.6216188129806643]
  本稿では,UGAT と呼ばれる実世界のシミュレーション(シミュレート・トゥ・リアル)トランスファー手法を提案する。 本手法は,実世界における移動RLポリシーの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-07-23T17:35:49Z)
• Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
  視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。 まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。 我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)
• From Simulation to Real World Maneuver Execution using Deep Reinforcement Learning [69.23334811890919]
  深層強化学習(Deep Reinforcement Learning)は、さまざまな分野における多くの制御タスクを解決できることが証明されている。 これは主に、シミュレーションデータと実世界のデータ間のドメイン適応の欠如と、トレインデータセットとテストデータセットの区別の欠如による。 本稿では,エージェントが同時に訓練される複数の環境に基づくシステムを提案する。
  論文  参考訳（メタデータ） (2020-05-13T14:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。