論文の概要: Reinforcement Learning with Foundation Priors: Let the Embodied Agent Efficiently Learn on Its Own
- arxiv url: http://arxiv.org/abs/2310.02635v3
- Date: Thu, 03 Oct 2024 05:57:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-05 03:34:30.938808
- Title: Reinforcement Learning with Foundation Priors: Let the Embodied Agent Efficiently Learn on Its Own
- Title(参考訳): ファウンデーション・プライオリエンスによる強化学習: エージェントを効果的に学習させる
- Authors: Weirui Ye, Yunsheng Zhang, Haoyang Weng, Xianfan Gu, Shengjie Wang, Tong Zhang, Mengchen Wang, Pieter Abbeel, Yang Gao,
- Abstract要約: 我々は、政策、価値、成功-回帰基盤モデルからのガイダンスとフィードバックを活用するために、RLFP(Reinforcement Learning with Foundation Priors)を提案する。
本フレームワークでは,自動報酬関数を用いてより効率的にエージェントを探索できるファウンデーション誘導型アクター・クリティカル(FAC)アルゴリズムを導入する。
本手法は,実ロボットとシミュレーションの両方において,様々な操作タスクにおいて顕著な性能を実現する。
- 参考スコア(独自算出の注目度): 59.11934130045106
- License:
- Abstract: Reinforcement learning (RL) is a promising approach for solving robotic manipulation tasks. However, it is challenging to apply the RL algorithms directly in the real world. For one thing, RL is data-intensive and typically requires millions of interactions with environments, which are impractical in real scenarios. For another, it is necessary to make heavy engineering efforts to design reward functions manually. To address these issues, we leverage foundation models in this paper. We propose Reinforcement Learning with Foundation Priors (RLFP) to utilize guidance and feedback from policy, value, and success-reward foundation models. Within this framework, we introduce the Foundation-guided Actor-Critic (FAC) algorithm, which enables embodied agents to explore more efficiently with automatic reward functions. The benefits of our framework are threefold: (1) \textit{sample efficient}; (2) \textit{minimal and effective reward engineering}; (3) \textit{agnostic to foundation model forms and robust to noisy priors}. Our method achieves remarkable performances in various manipulation tasks on both real robots and in simulation. Across 5 dexterous tasks with real robots, FAC achieves an average success rate of 86\% after one hour of real-time learning. Across 8 tasks in the simulated Meta-world, FAC achieves 100\% success rates in 7/8 tasks under less than 100k frames (about 1-hour training), outperforming baseline methods with manual-designed rewards in 1M frames. We believe the RLFP framework can enable future robots to explore and learn autonomously in the physical world for more tasks.
- Abstract(参考訳): 強化学習(Reinforcement Learning, RL)は、ロボット操作タスクを解くための有望なアプローチである。
しかし,RLアルゴリズムを直接実世界に適用することは困難である。
ひとつは、RLはデータ集約型であり、現実のシナリオでは非現実的な環境との数百万のインタラクションを必要とします。
また、報酬関数を手動で設計するためには、高度なエンジニアリング努力が必要である。
これらの問題に対処するために,本論文では基礎モデルを活用している。
我々は、政策、価値、成功-回帰基盤モデルからのガイダンスとフィードバックを活用するために、RLFP(Reinforcement Learning with Foundation Priors)を提案する。
本フレームワークでは,自動報酬関数を用いてより効率的にエージェントを探索できるファウンデーション誘導型アクター・クリティカル(FAC)アルゴリズムを導入する。
1) \textit{sample efficient}; (2) \textit{minimal and effective reward engineering}; (3) \textit{agstic to foundation model form and robust to noisy priors}。
本手法は,実ロボットとシミュレーションの両方において,様々な操作タスクにおいて顕著な性能を実現する。
実ロボットによる5つの巧妙なタスクに対して、FACは1時間のリアルタイム学習で平均86%の成功率を達成する。
シミュレーションされたMeta-worldの8つのタスクにおいて、FACは100kフレーム未満の7/8タスク(約1時間トレーニング)で100倍の成功率を獲得し、1Mフレームで手動で設計した報酬を持つベースラインメソッドを上回っている。
RLFPフレームワークは、将来のロボットがより多くのタスクのために物理的な世界で自律的に探索し学習することができると信じています。
関連論文リスト
- Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
Reinforcement Learning from Human Feedback (RLHF)のような最先端技術は、しばしば2つの段階から構成される。
1)教師付き微調整(SFT)では,人間の実演データからモデルを微調整する。
2)選好学習では,選好データを用いて報奨モデルを学習し,そのモデルを微調整する強化学習ステップで活用する。
論文 参考訳(メタデータ) (2024-05-28T07:11:05Z) - RL-VLM-F: Reinforcement Learning from Vision Language Foundation Model Feedback [24.759613248409167]
リワードエンジニアリングは、強化学習研究における長年の課題である。
エージェントが新しいタスクを学習するための報酬関数を自動生成するRL-VLM-Fを提案する。
我々は、RL-VLM-Fが、様々な領域にまたがる効果的な報酬とポリシーを効果的に生成できることを実証した。
論文 参考訳(メタデータ) (2024-02-06T04:06:06Z) - Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。
私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。
経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
論文 参考訳(メタデータ) (2024-02-01T17:10:35Z) - FedMS: Federated Learning with Mixture of Sparsely Activated Foundations
Models [11.362085734837217]
我々はFedMSと呼ばれる新しい2段階のフェデレーション学習アルゴリズムを提案する。
グローバルエキスパートは第一段階で訓練され、ローカルエキスパートは第二段階で訓練され、より良いパーソナライズを提供する。
我々はFedMSの有効性を検証するために広範囲な実験を行い、その結果、FedMSは他のSOTAベースラインを55.25%まで上回る結果となった。
論文 参考訳(メタデータ) (2023-12-26T07:40:26Z) - SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。
私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
論文 参考訳(メタデータ) (2023-10-09T17:56:53Z) - Language Reward Modulation for Pretraining Reinforcement Learning [61.76572261146311]
本稿では,強化学習のための事前学習信号としてLRFの機能を活用することを提案する。
我々の VLM プレトレーニングアプローチは,従来の LRF の使い方とは違い,ロボット操作タスクにおけるサンプル効率の学習を温めることができる。
論文 参考訳(メタデータ) (2023-08-23T17:37:51Z) - Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。
人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。
本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
論文 参考訳(メタデータ) (2023-07-11T01:55:24Z) - Local Environment Poisoning Attacks on Federated Reinforcement Learning [1.5020330976600738]
フェデレートラーニング(FL)は、従来の強化ラーニング(RL)タスクを解決する一般的なツールとなっている。
フェデレートされたメカニズムは、トレーニングされたポリシーを誤解させる可能性のある悪意のあるエージェントによる毒殺システムを公開する。
本稿では、FRL中毒を最適化問題として特徴付けるための一般的な枠組みを提案し、政策に基づくFRLに適用可能な中毒プロトコルを設計する。
論文 参考訳(メタデータ) (2023-03-05T17:44:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。