論文の概要: Text2Reward: Reward Shaping with Language Models for Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2309.11489v3
- Date: Sat, 25 May 2024 06:42:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 11:58:46.261480
- Title: Text2Reward: Reward Shaping with Language Models for Reinforcement Learning
- Title（参考訳）: Text2Reward:強化学習のための言語モデルによるリワードシェーピング
- Authors: Tianbao Xie, Siheng Zhao, Chen Henry Wu, Yitao Liu, Qian Luo, Victor Zhong, Yanchao Yang, Tao Yu,
- Abstract要約: Text2Rewardは、大きな言語モデルに基づいた高密度報酬関数の生成と形成を自動化する。
様々なタスクをカバーし、既存のパッケージを活用し、人間のフィードバックで反復的な改善を可能にする、解釈可能な、自由形式の高密度報酬コードを生成する。
移動課題では, 成功率94%を超える6つの新しい動作を学習する。
- 参考スコア（独自算出の注目度）: 26.95923597947465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Designing reward functions is a longstanding challenge in reinforcement learning (RL); it requires specialized knowledge or domain data, leading to high costs for development. To address this, we introduce Text2Reward, a data-free framework that automates the generation and shaping of dense reward functions based on large language models (LLMs). Given a goal described in natural language, Text2Reward generates shaped dense reward functions as an executable program grounded in a compact representation of the environment. Unlike inverse RL and recent work that uses LLMs to write sparse reward codes or unshaped dense rewards with a constant function across timesteps, Text2Reward produces interpretable, free-form dense reward codes that cover a wide range of tasks, utilize existing packages, and allow iterative refinement with human feedback. We evaluate Text2Reward on two robotic manipulation benchmarks (ManiSkill2, MetaWorld) and two locomotion environments of MuJoCo. On 13 of the 17 manipulation tasks, policies trained with generated reward codes achieve similar or better task success rates and convergence speed than expert-written reward codes. For locomotion tasks, our method learns six novel locomotion behaviors with a success rate exceeding 94%. Furthermore, we show that the policies trained in the simulator with our method can be deployed in the real world. Finally, Text2Reward further improves the policies by refining their reward functions with human feedback. Video results are available at https://text-to-reward.github.io/ .
- Abstract（参考訳）: 報酬関数の設計は強化学習(RL)における長年にわたる課題であり、専門知識やドメインデータを必要とするため、開発に高いコストがかかる。
そこで本稿では,大規模言語モデル(LLM)に基づく高密度報酬関数の生成と生成を自動化するデータフリーフレームワークであるText2Rewardを紹介する。
自然言語で記述されたゴールが与えられたとき、Text2Rewardは環境のコンパクトな表現を基礎とした実行可能プログラムとして、形状の密集した報酬関数を生成する。
逆 RL や最近の LLM を使ってスパース報酬コードや、タイムステップにまたがる一定の関数を持った未形密集報酬コードを記述する作業とは異なり、Text2Reward は、幅広いタスクをカバーし、既存のパッケージを活用し、人間のフィードバックで反復的な改善を可能にする、解釈可能な、自由形式の密集報酬コードを生成する。
ManiSkill2, MetaWorld) と MuJoCo の2つの移動環境において, Text2Reward の評価を行った。
17の操作タスクのうち13では、生成された報酬コードで訓練されたポリシーが、専門家が書いた報酬コードと同じような、あるいはより良いタスクの成功率と収束速度を達成する。
移動課題では, 成功率94%を超える6つの新しい移動動作を学習する。
さらに,本手法を用いてシミュレータで訓練したポリシーを実環境に展開可能であることを示す。
最後に、Text2Rewardは、報酬関数を人間のフィードバックで洗練することでポリシーをさらに改善する。
ビデオ結果はhttps://text-to-reward.github.io/で公開されている。
関連論文リスト
- Video2Policy: Scaling up Manipulation Tasks in Simulation through Internet Videos [61.925837909969815]
我々は,インターネット上のRGBビデオを利用して日常の人間行動に基づいてタスクを再構築する新しいフレームワークであるVideo2Policyを紹介した。
本手法は投球のような複雑で困難なタスクを含む,そのようなタスクに対するRLポリシーのトレーニングに成功している。
生成したシミュレーションデータは,一般的なポリシをトレーニングするためにスケールアップ可能であり,Real2Sim2Real方式で実ロボットに転送可能であることを示す。
論文 参考訳（メタデータ） (2025-02-14T03:22:03Z) - Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model [96.20350225621813]
人間からのフィードバックからの強化学習(RLHF)は、言語モデル(LM)を人間の好みに合わせるために広く採用されている。
本稿では,セグメントレベルの報酬モデルを用いて,学習と活用の両面での優位性を追求する。
論文 参考訳（メタデータ） (2025-01-06T06:17:56Z) - Video2Reward: Generating Reward Function from Videos for Legged Robot Behavior Learning [27.233232260388682]
そこで本研究では,シミュレーションや学習を行うビデオから報酬関数を直接生成する,新しい video2reward 手法を提案する。
本手法は,人間の正規化スコアにおいて,最先端のLCMに基づく報酬生成手法の性能を37.6%以上上回る。
論文 参考訳（メタデータ） (2024-12-07T03:10:27Z) - On-Robot Reinforcement Learning with Goal-Contrastive Rewards [24.415607337006968]
強化学習(Reinforcement Learning, RL)は、ロボットが現実世界で自身の行動から学ぶことができる能力を持つ。
我々は、受動的ビデオデモでトレーニング可能な高密度報酬関数学習法であるGCR(Goal-intensiveive Rewards)を提案する。
GCRは2つの損失関数、成功軌跡を走行する際の報酬の増大をモデル化する暗黙値損失関数、そして成功軌跡と失敗軌跡を区別する目標コントラスト損失を組み合わせた。
論文 参考訳（メタデータ） (2024-10-25T22:11:54Z) - Auto MC-Reward: Automated Dense Reward Design with Large Language Models for Minecraft [88.80684763462384]
本稿では,Large Language Models (LLMs) を利用して高密度報酬関数を自動設計する,Auto MC-Rewardという高度な学習システムを提案する。
実験では、Minecraftの複雑なタスクにおいて、エージェントの成功率と学習効率が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2023-12-14T18:58:12Z) - Language Reward Modulation for Pretraining Reinforcement Learning [61.76572261146311]
本稿では,強化学習のための事前学習信号としてLRFの機能を活用することを提案する。
我々の VLM プレトレーニングアプローチは,従来の LRF の使い方とは違い,ロボット操作タスクにおけるサンプル効率の学習を温めることができる。
論文 参考訳（メタデータ） (2023-08-23T17:37:51Z) - Fine-Grained Human Feedback Gives Better Rewards for Language Model
Training [108.25635150124539]
言語モデル(LM)は、しばしば偽、有毒、無関係な出力を生成するなど、望ましくないテキスト生成の振る舞いを示す。
本研究では,2つの点において微細な報酬関数から学習と学習を可能にするフレームワークであるFine-Grained RLHFを紹介する。
論文 参考訳（メタデータ） (2023-06-02T17:11:37Z) - Fantastic Rewards and How to Tame Them: A Case Study on Reward Learning
for Task-oriented Dialogue Systems [111.80916118530398]
強化学習(RL)技術は、ユーザ固有の目標を達成するための対話戦略を訓練するために、自然に利用することができる。
本稿では,エンド・ツー・エンド(E2E)TODエージェントのトレーニングにおいて,報酬関数を効果的に学習し,活用する方法という疑問に答えることを目的とする。
論文 参考訳（メタデータ） (2023-02-20T22:10:04Z) - Learning to Shape Rewards using a Game of Switching Controls [21.456451774045465]
2つのエージェント間の新しいゲームでシェーピング報酬関数を構築する自動RSフレームワークを紹介します。
我々は,既存のRLアルゴリズムを簡単に適用可能なフレームワークが,タスクに適した整形逆戻り関数を構築することを学ぶことを理論的に証明した。
我々は、Cartpoleの最先端のRSアルゴリズムと挑戦的なコンソールゲームGravitar、Solaris、Super Marioに対する私たちの方法の優れたパフォーマンスを実証します。
論文 参考訳（メタデータ） (2021-03-16T15:56:57Z) - Reward Machines: Exploiting Reward Function Structure in Reinforcement
Learning [22.242379207077217]
報酬関数のコードをRLエージェントに示すことで、関数の内部構造を利用して最適なポリシーを学習する方法を示す。
まず、報酬関数の仕様をサポートする有限状態機械の一種である報酬機械を提案する。
次に、この構造を利用して、自動報酬形成、タスク分解、非政治的学習による対実的推論など、学習を支援する方法について述べる。
論文 参考訳（メタデータ） (2020-10-06T00:10:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。