論文の概要: Stabilizing Contrastive RL: Techniques for Offline Goal Reaching

• arxiv url: http://arxiv.org/abs/2306.03346v1
• Date: Tue, 6 Jun 2023 01:36:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 17:40:11.504427
• Title: Stabilizing Contrastive RL: Techniques for Offline Goal Reaching
• Title（参考訳）: コントラストrlの安定化: オフラインゴール到達のための技術
• Authors: Chongyi Zheng, Benjamin Eysenbach, Homer Walke, Patrick Yin, Kuan Fang, Ruslan Salakhutdinov, Sergey Levine
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、人間特有の報酬やラベルを必要とせず、目標を達成するための学習である。 我々は、慎重にアブレーション実験を行い、浅く広いアーキテクチャは、対照的なRLアプローチの性能を大幅に向上させることができることを発見した。 これらの設計決定により、コントラスト的なアプローチが現実世界のロボット操作タスクを解決できることを実証する。
• 参考スコア（独自算出の注目度）: 121.32794987225887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the same way that the computer vision (CV) and natural language processing (NLP) communities have developed self-supervised methods, reinforcement learning (RL) can be cast as a self-supervised problem: learning to reach any goal, without requiring human-specified rewards or labels. However, actually building a self-supervised foundation for RL faces some important challenges. Building on prior contrastive approaches to this RL problem, we conduct careful ablation experiments and discover that a shallow and wide architecture, combined with careful weight initialization and data augmentation, can significantly boost the performance of these contrastive RL approaches on challenging simulated benchmarks. Additionally, we demonstrate that, with these design decisions, contrastive approaches can solve real-world robotic manipulation tasks, with tasks being specified by a single goal image provided after training.
• Abstract（参考訳）: コンピュータビジョン (cv) と自然言語処理 (nlp) のコミュニティが自己教師ありの手法を開発したのと同じように、強化学習 (rl) は自己教師ありの問題として、人間に特定された報酬やラベルを必要とせずに、任意の目標に到達することを学ぶことができる。 しかし、実際にRLのための自己組織化基盤を構築することは、いくつかの重要な課題に直面している。 このRL問題に対する事前のコントラスト的アプローチに基づいて、慎重にアブレーション実験を行い、重み付け初期化とデータ拡張と組み合わせることで、シミュレーションベンチマークに挑戦する上で、これらの対照的なRLアプローチの性能を大幅に向上させることができることを発見した。 さらに,これらの設計決定により,実世界のロボット操作タスクをコントラスト的アプローチで解決し,トレーニング後に提供される1つの目標イメージによってタスクが特定できることを実証する。

関連論文リスト

• Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning [47.785786984974855]
  本稿では,多種多様な操作タスクに対して印象的な性能を示す,ループ内視覚に基づくRLシステムを提案する。 提案手法では,実証と人間の修正,効率的なRLアルゴリズム,その他のシステムレベルの設計選択を統合してポリシを学習する。 提案手法は,再現学習のベースラインと先行RLアプローチを著しく上回り,成功率の平均2倍,実行速度1.8倍に向上した。
  論文  参考訳（メタデータ） (2024-10-29T08:12:20Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、20Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning [70.70104870417784]
  強化学習(RL)アルゴリズムは、ロボットシステムの自律的なスキル獲得を可能にするという約束を持っている。 現実のロボットRLは、通常、環境をリセットするためにデータ収集と頻繁な人間の介入を必要とする。 本研究では,従来のタスクから収集した多様なオフラインデータセットを効果的に活用することで,これらの課題にどのように対処できるかを検討する。
  論文  参考訳（メタデータ） (2022-07-11T08:31:22Z)
• Scalable Multi-Task Imitation Learning with Autonomous Improvement [159.9406205002599]
  我々は、自律的なデータ収集を通じて継続的に改善できる模倣学習システムを構築している。 我々は、ロボット自身の試行を、実際に試みたタスク以外のタスクのデモとして活用する。 従来の模倣学習のアプローチとは対照的に,本手法は,継続的改善のための疎い監視によるデータ収集を自律的に行うことができる。
  論文  参考訳（メタデータ） (2020-02-25T18:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。