論文の概要: Measure the Sim-to-Real Gap: Designing an Affordable Real-World Benchmark Platform for Reinforcement Learning in AIoT Systems

• arxiv url: http://arxiv.org/abs/2607.10309v1
• Date: Sat, 11 Jul 2026 13:28:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.391419
• Title: Measure the Sim-to-Real Gap: Designing an Affordable Real-World Benchmark Platform for Reinforcement Learning in AIoT Systems
• Title（参考訳）: Sim-to-Realギャップの測定: AIoTシステムにおける強化学習のための拡張可能な実世界ベンチマークプラットフォームの設計
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、自律システムの性能を高めるために一般的に用いられる。 RL研究の大部分はシミュレーションで行われている。 AIoT用のユニバーサルSim-to-Realベンチマークプラットフォームはまだ存在しない。
• 参考スコア（独自算出の注目度）: 19.447761748795582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) is commonly employed to enhance the performance of autonomous systems, including the Autonomous Internet of Things (AIoT). However, the trial-and-error nature of RL, when conducted in real-world environments, is costly and hazardous in some scenarios. Consequently, the majority of RL research is conducted in simulation. This reliance introduces challenges related to the Sim-to-Real transferability. Evaluating the Sim-to-Real algorithmic robustness and the Sim-to-Real gap is a critical prerequisite for research aimed at improving RL performance in the real world. Therefore, industries such as robotics have developed concurrent simulation and physical platforms to facilitate this research. However, a universal Sim-to-Real benchmark platform for AIoT does not currently exist. To address these concerns, we developed a real-world AIoT platform for studying RL in AIoT. On this platform, an agent deployed on an edge device plays video games on a separate host computer via a hardware-emulated keyboard, guided by vision input. This platform uses commercially available components costing less than USD 400, together with two computers. Because the system's objective is game score maximization, it inherently mitigates safety risks associated with real-world RL deployments. Experimental results show the simulation-trained agent suffers a 1160% performance degradation relative to the human-level performance after real-world deployment, indicating a significant Sim-to-Real gap. Direct real-world training using the deep Q-network (DQN) algorithm achieves approximately 38% of human-level performance after 10 million training steps, demonstrating the feasibility of RL under real-world conditions. These results suggest that the proposed Sim-to-Real benchmark platform provides a substantial foundation for qualitative and quantitative evaluations of RL in real-world AIoT systems.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、自律的モノのインターネット(Autonomous Internet of Things, AIoT)など、自律システムの性能を高めるために一般的に使用される。 しかし、実環境においてRLの試行錯誤性は、いくつかのシナリオではコストが高く危険である。 その結果、RL研究の大部分はシミュレーションで行われている。 この依存は、Sim-to-Real転送可能性に関する課題をもたらす。 The Sim-to-Real algorithmic robustness and the Sim-to-Real gap is a critical prequisite for research aimed to improve RL performance in the real world。 そのため、ロボット工学などの産業は、この研究を促進するために、同時シミュレーションと物理プラットフォームを開発してきた。 しかし、AIoT用のユニバーサルなSim-to-Realベンチマークプラットフォームはまだ存在しない。 これらの問題に対処するため、私たちはAIoTでRLを研究するための現実世界のAIoTプラットフォームを開発しました。 このプラットフォーム上では、エッジデバイスにデプロイされたエージェントが、視覚入力によってガイドされるハードウェアエミュレートされたキーボードを介して、別のホストコンピュータ上でビデオゲームを行う。 このプラットフォームでは、市販のコンポーネントを2台のコンピュータとともに、400ドル以下で使用することができる。 システムの目的はゲームスコアの最大化であり、現実世界のRL展開に伴う安全性リスクを本質的に軽減する。 実験の結果,シミュレーション訓練したエージェントは実世界展開後の人間レベルの性能と比較して1160%の性能低下がみられ,Sim-to-Realギャップが顕著であった。 深部Q-network(DQN)アルゴリズムを用いた実世界の直接訓練は、実世界の条件下でのRLの実現可能性を示す1000万のトレーニングステップの後、人間のレベルパフォーマンスの約38%を達成する。 これらの結果は,提案したSim-to-Realベンチマークプラットフォームが,実世界のAIoTシステムにおけるRLの質的,定量的評価の基盤となることを示唆している。

関連論文リスト

• Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement [52.93267443851685]
  VLA(Vision-Language-Action)モデルは様々な操作タスクにまたがって一般化することができる。 シミュレーションで純粋に訓練された強化学習政策は、実世界のVLAのゼロショットの堅牢性を改善することができるか? 本稿では,オブジェクトポーズを用いてVLA動作を洗練するオブジェクト中心残差RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-17T11:36:54Z)
• Reset-Free Reinforcement Learning for Real-World Agile Driving: An Empirical Study [3.038642416291856]
  本稿では,実世界のアジャイル運転におけるリセットフリー強化学習(RL)の実証的研究について述べる。 モデル予測経路積分制御(MPPI)をリセットポリシーと残差学習の基本ポリシーの両方に採用する。 残差学習を持つSACはシミュレーションの最も高いリターンを達成するが、TD-MPC2のみが物理プラットフォーム上のMPPIベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-04-09T00:28:54Z)
• PolaRiS: Scalable Real-to-Sim Evaluations for Generalist Robot Policies [88.78188489161028]
  シミュレーションにおける政策評価と環境復元(PolaRiS)の導入 PolaRiSは、高忠実度シミュレーションロボット評価のためのスケーラブルなリアルタイム・シミュレート・フレームワークである。 PolaRiSの評価は,既存のシミュレーションベンチマークよりも,現実のジェネラリストのポリシー性能に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2025-12-18T18:49:41Z)
• Scaling Agent Learning via Experience Synthesis [100.42712232390532]
  強化学習は、対話を通じて自己改善を行うことで、自律的なエージェントに力を与えることができる。 しかし、コストのかかるロールアウト、タスクの多様性の制限、信頼性の低い報奨信号、インフラストラクチャの複雑さによって、その実践的採用は依然として困難である。 私たちはDreamGymを紹介します。DreamGymはスケーラビリティを念頭において多様なエクスペリエンスを合成するために設計された最初の統合フレームワークです。
  論文  参考訳（メタデータ） (2025-11-05T18:58:48Z)
• Closing the Sim2Real Performance Gap in RL [3.0709946817431875]
  Sim2Realは、高忠実度シミュレーション環境でのトレーニングポリシーと、それらを現実世界に効果的に転送することを目的としている。 正確なシミュレータとSim2Real RLアプローチの開発にもかかわらず、シミュレーションで純粋に訓練されたポリシーは、実環境に配備された場合、大きなパフォーマンス低下を被ることが多い。 本稿では,実環境の性能に基づいてシミュレータパラメータを直接適応させることにより,この問題に対処する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-10-20T16:25:13Z)
• Dyna-Mind: Learning to Simulate from Experience for Better AI Agents [62.21219817256246]
  私たちは、現在のAIエージェントは、行動する前に、別の未来を精神的にシミュレートする能力である「悪意ある試行錯誤」を必要としていると論じます。 我々は、(V)LMエージェントに対して、そのようなシミュレーションを推論に組み込むように明示的に教える2段階のトレーニングフレームワークであるDyna-Mindを紹介した。
  論文  参考訳（メタデータ） (2025-10-10T17:30:18Z)
• A Platform-Agnostic Deep Reinforcement Learning Framework for Effective Sim2Real Transfer towards Autonomous Driving [0.0]
  深層強化学習(DRL)は複雑なタスクの解決に顕著な成功を収めた。 シミュレーションと現実の間に大きな違いがあるため、DRLエージェントを現実世界に転送することは依然として困難である。 本稿では、プラットフォームに依存した認識モジュールを利用してタスク関連情報を抽出する頑健なDRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-14T07:55:07Z)
• Sim2real for Reinforcement Learning Driven Next Generation Networks [4.29590751118341]
  Reinforcement Learning (RL) モデルは、RAN関連多目的最適化問題の解決の鍵と見なされている。 主な理由の1つはシミュレーションと実環境の間のモデリングギャップであり、RLエージェントは実環境に不適合なシミュレーションによって訓練される可能性がある。 この記事では、Open RAN(O-RAN)のコンテキストにおけるsim2realチャレンジについて述べます。 実環境におけるシミュレーション訓練されたRLモデルの障害モードを実証し、実証するために、いくつかのユースケースが提示される。
  論文  参考訳（メタデータ） (2022-06-08T12:40:24Z)
• Cloud-Edge Training Architecture for Sim-to-Real Deep Reinforcement Learning [0.8399688944263843]
  深層強化学習(DRL)は、環境との相互作用を通じてポリシーを学習することで複雑な制御課題を解決するための有望な手法である。 Sim-to-realアプローチはシミュレーションを利用してDRLポリシーを事前訓練し、現実世界にデプロイする。 本研究では,リアルタイムにDRLエージェントをトレーニングするための分散クラウドエッジアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-04T10:27:01Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。