論文の概要: COSBO: Conservative Offline Simulation-Based Policy Optimization

• arxiv url: http://arxiv.org/abs/2409.14412v1
• Date: Sun, 22 Sep 2024 12:20:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 22:52:52.924243
• Title: COSBO: Conservative Offline Simulation-Based Policy Optimization
• Title（参考訳）: COSBO:保守的なオフラインシミュレーションに基づく政策最適化
• Authors: Eshagh Kargar, Ville Kyrki,
• Abstract要約: オフライン強化学習は、ライブデプロイメントのデータに関する強化学習モデルのトレーニングを可能にする。 対照的に、ライブ環境を再現しようとするシミュレーション環境は、ライブデータの代わりに利用できる。 本研究では,不完全なシミュレーション環境と対象環境のデータを組み合わせることで,オフラインの強化学習ポリシーを訓練する手法を提案する。
• 参考スコア（独自算出の注目度）: 7.696359453385686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline reinforcement learning allows training reinforcement learning models on data from live deployments. However, it is limited to choosing the best combination of behaviors present in the training data. In contrast, simulation environments attempting to replicate the live environment can be used instead of the live data, yet this approach is limited by the simulation-to-reality gap, resulting in a bias. In an attempt to get the best of both worlds, we propose a method that combines an imperfect simulation environment with data from the target environment, to train an offline reinforcement learning policy. Our experiments demonstrate that the proposed method outperforms state-of-the-art approaches CQL, MOPO, and COMBO, especially in scenarios with diverse and challenging dynamics, and demonstrates robust behavior across a variety of experimental conditions. The results highlight that using simulator-generated data can effectively enhance offline policy learning despite the sim-to-real gap, when direct interaction with the real-world is not possible.
• Abstract（参考訳）: オフライン強化学習は、ライブデプロイメントのデータに関する強化学習モデルのトレーニングを可能にする。 しかし、トレーニングデータに存在する行動の最良の組み合わせを選択することは限られている。 対照的に、ライブ環境を再現しようとするシミュレーション環境は、ライブデータの代わりに利用できるが、この手法はシミュレーションと現実のギャップによって制限され、バイアスをもたらす。 両世界を最大限に活用するために,不完全なシミュレーション環境と対象環境のデータを組み合わせてオフラインの強化学習ポリシーを訓練する手法を提案する。 実験により,提案手法はCQL,MOPO,COMBO,特に多種多様かつ挑戦的な動的シナリオにおいて,最先端の手法よりも優れており,様々な実験条件において頑健な動作を示す。 その結果,シミュレータ生成データを用いることで,実世界との直接のインタラクションが不可能な場合,シミュレートと現実のギャップにもかかわらず,オフラインポリシ学習を効果的に向上させることができることがわかった。

関連論文リスト

• Scalable Offline Reinforcement Learning for Mean Field Games [6.8267158622784745]
  Off-MMDは、純粋なオフラインデータを用いて平均フィールドゲームにおける平衡ポリシーを近似する新しい平均フィールドRLアルゴリズムである。 我々のアルゴリズムは複雑な環境にスケールし、群衆探索やナビゲーションといったベンチマークタスクで強いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-10-23T14:16:34Z)
• LoopSR: Looping Sim-and-Real for Lifelong Policy Adaptation of Legged Robots [20.715834172041763]
  本稿では,生涯にわたるポリシー適応フレームワークであるLoopSRを提案する。 さらなる改善のためにシミュレーションで現実世界の環境を再構築する。 継続的なトレーニングを活用することで、LoopSRは強力なベースラインに比べて優れたデータ効率を達成する。
  論文  参考訳（メタデータ） (2024-09-26T16:02:25Z)
• Efficient Imitation Learning with Conservative World Models [54.52140201148341]
  報酬機能のない専門家によるデモンストレーションから政策学習の課題に取り組む。 純粋な強化学習ではなく、微調整問題として模倣学習を再構成する。
  論文  参考訳（メタデータ） (2024-05-21T20:53:18Z)
• Towards Data-Driven Offline Simulations for Online Reinforcement Learning [30.654163861164864]
  強化学習のためのオフライン学習者シミュレーション(OLS)を形式化する。 シミュレーションの忠実度と効率を両立させる新しい評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2022-11-14T18:36:13Z)
• Latent-Variable Advantage-Weighted Policy Optimization for Offline RL [70.01851346635637]
  オフラインの強化学習メソッドは、新しいトランジションを環境に問い合わせる必要なしに、事前にコンパイルされたデータセットから学習ポリシーを保証します。 実際には、オフラインデータセットは、しばしば異種、すなわち様々なシナリオで収集される。 より広範な政策分布を表現できる潜在変数ポリシーを活用することを提案する。 提案手法は,次回のオフライン強化学習法の性能を,異種データセット上で49%向上させる。
  論文  参考訳（メタデータ） (2022-03-16T21:17:03Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)
• Robust Learning from Observation with Model Misspecification [33.92371002674386]
  イミテーションラーニング(Imitation Learning, IL)は、ロボットシステムにおけるトレーニングポリシーの一般的なパラダイムである。 我々は,微調整をせずに実環境に効果的に移行できるポリシーを学習するための堅牢なILアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-12T07:04:06Z)
• Learning Interactive Driving Policies via Data-driven Simulation [125.97811179463542]
  データ駆動シミュレータは、ポリシー学習の駆動に高いデータ効率を約束する。 小さな基盤となるデータセットは、インタラクティブな運転を学ぶための興味深い、挑戦的なエッジケースを欠いていることが多い。 本研究では,ロバストな運転方針の学習に塗装されたアドカーを用いたシミュレーション手法を提案する。
  論文  参考訳（メタデータ） (2021-11-23T20:14:02Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)
• PLAS: Latent Action Space for Offline Reinforcement Learning [18.63424441772675]
  オフライン強化学習の目標は、環境とのさらなる相互作用なしに、固定データセットからポリシーを学ぶことである。 既存のオフプライシアルゴリズムでは、アウト・オブ・ディストリビューションアクションによる外挿エラーによる静的データセットのパフォーマンスが制限されている。 提案手法は,各種の連続制御タスクと異なる種類のデータセットに対して,一貫して競合性能を提供することを示す。
  論文  参考訳（メタデータ） (2020-11-14T03:38:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。