論文の概要: REvolve: Reward Evolution with Large Language Models using Human Feedback

• arxiv url: http://arxiv.org/abs/2406.01309v2
• Date: Tue, 29 Oct 2024 21:16:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:25:26.811520
• Title: REvolve: Reward Evolution with Large Language Models using Human Feedback
• Title（参考訳）: Revolve:人間のフィードバックを用いた大規模言語モデルによるリワード進化
• Authors: Rishi Hazra, Alkis Sygkounas, Andreas Persson, Amy Loutfi, Pedro Zuidberg Dos Martires,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語のタスク記述から報酬を生成するために使われてきた。 人間のフィードバックによって導かれるLLMは、人間の暗黙の知識を反映する報酬関数を定式化するのに用いられる。 強化学習における報酬設計にLLMを使用する,真に進化的なフレームワークであるRevolveを紹介する。
• 参考スコア（独自算出の注目度）: 6.4550546442058225
• License:
• Abstract: Designing effective reward functions is crucial to training reinforcement learning (RL) algorithms. However, this design is non-trivial, even for domain experts, due to the subjective nature of certain tasks that are hard to quantify explicitly. In recent works, large language models (LLMs) have been used for reward generation from natural language task descriptions, leveraging their extensive instruction tuning and commonsense understanding of human behavior. In this work, we hypothesize that LLMs, guided by human feedback, can be used to formulate reward functions that reflect human implicit knowledge. We study this in three challenging settings -- autonomous driving, humanoid locomotion, and dexterous manipulation -- wherein notions of ``good" behavior are tacit and hard to quantify. To this end, we introduce REvolve, a truly evolutionary framework that uses LLMs for reward design in RL. REvolve generates and refines reward functions by utilizing human feedback to guide the evolution process, effectively translating implicit human knowledge into explicit reward functions for training (deep) RL agents. Experimentally, we demonstrate that agents trained on REvolve-designed rewards outperform other state-of-the-art baselines.
• Abstract（参考訳）: 効果的な報酬関数の設計は、強化学習(RL)アルゴリズムの訓練に不可欠である。 しかし、この設計は、明確に定量化が難しい特定のタスクの主観的な性質のため、ドメインの専門家にとっても、簡単ではない。 近年,大規模言語モデル (LLM) は自然言語のタスク記述から報酬を生成するために用いられ,その広範囲な指導チューニングと人間の行動の常識的理解を活用している。 本研究では,人間のフィードバックによって導かれるLLMを,人間の暗黙の知識を反映した報酬関数の定式化に利用することができると仮定する。 われわれはこれを、自律運転、ヒューマノイドの移動、デキスタラスな操作という3つの困難な環境で研究し、そこでは「良い」行動の概念は暗黙的で定量化が難しい。 この目的のために,本研究では,RLにおける報酬設計にLLMを使用する,真に進化的なフレームワークであるRevolveを紹介する。 Revolveは人間のフィードバックを利用して報酬関数を生成し、進化過程をガイドし、暗黙の人間の知識を訓練(深い)RLエージェントのための明示的な報酬関数に効果的に翻訳する。 実験により、Revolveの設計した報酬を訓練したエージェントが、他の最先端のベースラインよりも優れていることを示した。

関連論文リスト

• Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards [49.7719149179179]
  本稿では,PPOを用いた強化学習(RL)の実現可能性について検討する。 我々は,生成した出力の質を自動的に評価するために,明示的な報酬関数をプログラムできるプログラミングなどの形式言語で表されるタスクに焦点をあてる。 以上の結果から,2つの形式言語タスクに対する純粋なRLベースのトレーニングは困難であり,単純な算術タスクにおいても成功は限られていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T15:59:58Z)
• A Large Language Model-Driven Reward Design Framework via Dynamic Feedback for Reinforcement Learning [25.82540393199001]
  CARDは報酬関数コードを反復的に生成し改善するリワードデザインフレームワークである。 CARDにはコードの生成と検証を行うCoderが含まれており、Evaluatorはコードを改善するためにCoderをガイドする動的なフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-10-18T17:51:51Z)
• In-context Learning for Automated Driving Scenarios [15.325910109153616]
  現在の強化学習(RL)ベースの自動運転(AD)エージェントにおける重要な課題の1つは、柔軟で正確で人間らしい振る舞いをコスト効率よく達成することである。 本稿では,LL報酬関数を人間中心で直感的かつ効果的に最適化するために,LLM(Large Language Models)を用いた革新的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-07T09:04:52Z)
• REBEL: A Regularization-Based Solution for Reward Overoptimization in Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数とユーザの意図、価値観、社会的規範の相違は、現実世界で破滅的なものになる可能性がある。 人間の嗜好から報酬関数を学習することで、このミスアライメント作業を軽減するための現在の方法。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Accelerating Reinforcement Learning of Robotic Manipulations via Feedback from Large Language Models [21.052532074815765]
  本稿では,Lafite-RL (Language Agent feedback Interactive Reinforcement Learning) フレームワークを紹介する。 RLエージェントは、Large Language Modelsのタイムリーフィードバックを利用して、ロボットタスクを効率的に学習することができる。 学習効率と成功率の両方でベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-11-04T11:21:38Z)
• Eureka: Human-Level Reward Design via Coding Large Language Models [121.91007140014982]
  大規模言語モデル(LLM)は、シーケンシャルな意思決定タスクのためのハイレベルなセマンティックプランナーとして優れています。 LLMを用いた人間レベルの報酬設計アルゴリズムであるEurekaを提案する。 Eurekaは、最先端のLLMの目覚ましいゼロショット生成、コード書き、コンテキスト内改善機能を利用する。
  論文  参考訳（メタデータ） (2023-10-19T17:31:01Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
  好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。 我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。 実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
  論文  参考訳（メタデータ） (2022-05-24T23:22:10Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Accelerating Reinforcement Learning Agent with EEG-based Implicit Human Feedback [10.138798960466222]
  人間のフィードバックによる強化学習(RL)エージェントは、学習のさまざまな側面を劇的に改善することができる。 従来の方法では、人間の観察者が明示的に入力をし、RLエージェントの学習プロセスのループで人間を負担する必要があった。 脳波による人間の内因性反応を、エラー関連電位(ErrP)の形で暗黙の(そして自然な)フィードバックとして捉えることを検討する。
  論文  参考訳（メタデータ） (2020-06-30T03:13:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。