論文の概要: Abstract Sim2Real through Approximate Information States

• arxiv url: http://arxiv.org/abs/2604.15289v1
• Date: Thu, 16 Apr 2026 17:53:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:32.04044
• Title: Abstract Sim2Real through Approximate Information States
• Title（参考訳）: 近似情報状態によるSim2Realの抽象化
• Authors: Yunfu Deng, Yuhao Li, Josiah P. Hanna,
• Abstract要約: 強化学習(RL)は、ロボット工学において、与えられたタスクに対して高速で正確なシミュレータが利用できる場合に顕著な成功を収めた。 RLとシミュレーションを使用する場合、よりシミュレータリアリズムは一般的に有用であるが、ロボットがますます複雑で広範囲な領域に展開されるにつれて、入手が困難になる。 抽象的シミュレート問題を形式化し研究する: 抽象的シミュレートにおいて、ターゲットタスクを粗いレベルの抽象レベルでモデル化する抽象的シミュレータを考えると、どのようにしてRLでポリシーをトレーニングし、それを実世界へ転送できるのか?
• 参考スコア（独自算出の注目度）: 13.026040520254343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, reinforcement learning (RL) has shown remarkable success in robotics when a fast and accurate simulator is available for a given task. When using RL and simulation, more simulator realism is generally beneficial but becomes harder to obtain as robots are deployed in increasingly complex and widescale domains. In such settings, simulators will likely fail to model all relevant details of a given target task and this observation motivates the study of sim2real with simulators that leave out key task details. In this paper, we formalize and study the abstract sim2real problem: given an abstract simulator that models a target task at a coarse level of abstraction, how can we train a policy with RL in the abstract simulator and successfully transfer it to the real-world? Our first contribution is to formalize this problem using the language of state abstraction from the RL literature. This framing shows that an abstract simulator can be grounded to match the target task if the grounded abstract dynamics take the history of states into account. Based on the formalism, we then introduce a method that uses real-world task data to correct the dynamics of the abstract simulator. We then show that this method enables successful policy transfer both in sim2sim and sim2real evaluation.
• Abstract（参考訳）: 近年、強化学習(RL)はロボット工学において、与えられたタスクに対して高速で正確なシミュレータが利用可能である場合に顕著な成功を収めている。 RLとシミュレーションを使用する場合、よりシミュレータリアリズムは一般的に有用であるが、ロボットがますます複雑で広範囲な領域に展開されるにつれて、入手が困難になる。 このような設定では、シミュレータは与えられた対象タスクのすべての関連する詳細をモデル化することができず、この観察は、主要なタスクの詳細を除外したシミュレータによるsim2realの研究を動機付ける。 本稿では,抽象的シミュレート問題(抽象的シミュレート問題)を形式化し,研究する。抽象的シミュレートにおいて,対象タスクを粗い抽象レベルでモデル化した抽象的シミュレータを,どのようにしてRLを用いてポリシーをトレーニングし,実世界への転送を成功させるか。 我々の最初の貢献は、RL文献から状態抽象化の言語を用いてこの問題を形式化することである。 このフレーミングは、基底化された抽象力学が状態の歴史を考慮に入れている場合、抽象的シミュレータを対象のタスクに合わせるようにグラウンド化できることを示している。 定式化に基づいて,実世界のタスクデータを用いて抽象シミュレータのダイナミクスを補正する手法を提案する。 そこで本手法は,sim2simとsim2realの評価の両方において,政策伝達を成功させることができることを示す。

関連論文リスト

• Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin [8.498460043101499]
  我々は、シミュレーションを行動クローニングパイプラインに統合するための新しいアプローチである、Real-is-simを導入する。 デプロイ前にポリシーを安全にテストする機能がない実際のメソッドや、sim-to-realメソッドとは対照的に、sim-to-realギャップを横断するために複雑な適応を必要とするsim-to-realメソッドがある。 当社のフレームワークでは,実際のハードウェア上での動作と,並列化された仮想環境での動作とをシームレスに切り替えることが可能です。
  論文  参考訳（メタデータ） (2025-04-04T17:05:56Z)
• Overcoming the Sim-to-Real Gap: Leveraging Simulation to Learn to Explore for Real-World RL [25.991354823569033]
  多くの制度において、直接シム2リアルトランスファーは失敗する可能性があるが、シミュレータを使って一連のエフェクト探索ポリシーを学習できることが示される。 特に、低ランクのMDPの設定においては、これらの探索政策と単純で実践的なアプローチが結合していることが示される。 これは、シミュレーション転送が直接sim2real転送が失敗する環境で強化学習において証明可能な利益をもたらすという最初の証拠である。
  論文  参考訳（メタデータ） (2024-10-26T19:12:27Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data [56.49494318285391]
  我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。 これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。 これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
  論文  参考訳（メタデータ） (2022-10-25T17:50:36Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。