論文の概要: Grounded Curriculum Learning

• arxiv url: http://arxiv.org/abs/2409.19816v1
• Date: Sun, 29 Sep 2024 22:54:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:02:51.632535
• Title: Grounded Curriculum Learning
• Title（参考訳）: 接地型カリキュラム学習
• Authors: Linji Wang, Zifan Xu, Peter Stone, Xuesu Xiao,
• Abstract要約: 既存のカリキュラム学習技術は、実世界との関係を考慮せずに、シミュレーションタスクの配布を自動的に変更する。 本稿では,カリキュラムにおけるシミュレーションされたタスク分布と実世界との整合性を示すグラウンドドカリキュラムラーニング(GCL)を提案する。 複雑なナビゲーションタスクに対してBARNデータセットを用いてGCLを検証し、最先端のCL法と人間の専門家が設計したカリキュラムと比較して6.8%と6.5%高い成功率を達成した。
• 参考スコア（独自算出の注目度）: 37.95557495560936
• License:
• Abstract: The high cost of real-world data for robotics Reinforcement Learning (RL) leads to the wide usage of simulators. Despite extensive work on building better dynamics models for simulators to match with the real world, there is another, often-overlooked mismatch between simulations and the real world, namely the distribution of available training tasks. Such a mismatch is further exacerbated by existing curriculum learning techniques, which automatically vary the simulation task distribution without considering its relevance to the real world. Considering these challenges, we posit that curriculum learning for robotics RL needs to be grounded in real-world task distributions. To this end, we propose Grounded Curriculum Learning (GCL), which aligns the simulated task distribution in the curriculum with the real world, as well as explicitly considers what tasks have been given to the robot and how the robot has performed in the past. We validate GCL using the BARN dataset on complex navigation tasks, achieving a 6.8% and 6.5% higher success rate compared to a state-of-the-art CL method and a curriculum designed by human experts, respectively. These results show that GCL can enhance learning efficiency and navigation performance by grounding the simulation task distribution in the real world within an adaptive curriculum.
• Abstract（参考訳）: ロボット工学の強化学習(Reinforcement Learning, RL)における実世界のデータの高コスト化により、シミュレータが広く使われるようになる。 シミュレーターのためのより良いダイナミクスモデルを構築するための広範な研究にもかかわらず、シミュレーションと現実の世界、すなわち利用可能なトレーニングタスクの分布との間には、しばしば見過ごされがちなミスマッチがある。 このようなミスマッチは、実世界との関係を考慮せずに自動的にシミュレーションタスク分布を変化させる既存のカリキュラム学習技術によってさらに悪化する。 これらの課題を考慮すると、ロボット工学RLのカリキュラム学習は現実世界のタスク分布に基礎を置く必要があると仮定する。 そこで本研究では,カリキュラムにおける模擬課題分布を実世界と整合させるグラウンドドカリキュラムラーニング(GCL)を提案する。 複雑なナビゲーションタスクに対してBARNデータセットを用いてGCLを検証し、最先端のCL法と人間専門家が設計したカリキュラムと比較して、成功率6.8%と6.5%を達成した。 これらの結果から,GCLは実世界におけるシミュレーションタスクの分布を適応的なカリキュラム内で基礎づけることで,学習効率とナビゲーション性能を向上させることができることがわかった。

関連論文リスト

• SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [85.21378553454672]
  筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。 我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。 これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T10:01:10Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Accelerating Robot Learning of Contact-Rich Manipulations: A Curriculum Learning Study [4.045850174820418]
  本稿では,Domain Randomization(DR)と組み合わせたカリキュラム学習に基づく,コンタクトリッチな操作タスクのロボット学習の高速化に関する研究を行う。 挿入タスクのような位置制御ロボットによる複雑な産業組み立てタスクに対処する。 また,おもちゃのタスクを用いたシミュレーションでのみトレーニングを行う場合においても,現実のロボットに伝達可能なポリシーを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-27T11:08:39Z)
• Cloud-Edge Training Architecture for Sim-to-Real Deep Reinforcement Learning [0.8399688944263843]
  深層強化学習(DRL)は、環境との相互作用を通じてポリシーを学習することで複雑な制御課題を解決するための有望な手法である。 Sim-to-realアプローチはシミュレーションを利用してDRLポリシーを事前訓練し、現実世界にデプロイする。 本研究では,リアルタイムにDRLエージェントをトレーニングするための分散クラウドエッジアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-04T10:27:01Z)
• Practical Imitation Learning in the Real World via Task Consistency Loss [18.827979446629296]
  本稿では,機能レベルと行動予測レベルの両方において,シミュレートと実際のアライメントを促進する自己監督的損失を提案する。 我々は、シミュレートとリアルで遠隔操作されたデモンストレーションを16.2時間しか使っていない10のシーンで80%の成功を達成した。
  論文  参考訳（メタデータ） (2022-02-03T21:43:06Z)
• SurRoL: An Open-source Reinforcement Learning Centered and dVRK Compatible Platform for Surgical Robot Learning [78.76052604441519]
  SurRoLは、ダ・ヴィンチ・リサーチキット(dVRK)と互換性のある外科ロボット学習のためのRL中心のシミュレーションプラットフォームである。 プラットフォームには10の学習ベースの外科的タスクが構築されており、実際の自律的な外科的実行に共通している。 シミュレーションにおいてRLアルゴリズムを用いてSurRoLの評価を行い、奥行き分析を行い、実際のdVRKにトレーニングされたポリシーをデプロイし、実世界でより優れた転送性を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-30T07:43:47Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)
• Sim-to-Real Transfer with Incremental Environment Complexity for Reinforcement Learning of Depth-Based Robot Navigation [1.290382979353427]
  段階的環境複雑性を用いたソフト・アクター・クリティカル(SAC)トレーニング戦略を提案し,実世界における追加トレーニングの必要性を大幅に低減した。 アプリケーションは深度に基づくマップレスナビゲーションで、移動ロボットは、事前のマッピング情報なしで、散らかった環境で所定の経路点に到達すべきである。
  論文  参考訳（メタデータ） (2020-04-30T10:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。