論文の概要: Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback

• arxiv url: http://arxiv.org/abs/2410.23022v1
• Date: Wed, 30 Oct 2024 13:52:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:29:14.671517
• Title: Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback
• Title（参考訳）: 大規模言語モデルフィードバックからの意思決定エージェントのオンライン内在的リワード
• Authors: Qinqing Zheng, Mikael Henaff, Amy Zhang, Aditya Grover, Brandon Amos,
• Abstract要約: ONIは、RLポリシーと本質的な報酬関数を同時に学習する分散アーキテクチャである。 提案手法は,NetHack 学習環境から得られる,難易度の高い報奨課題にまたがって,最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 45.82577700155503
• License:
• Abstract: Automatically synthesizing dense rewards from natural language descriptions is a promising paradigm in reinforcement learning (RL), with applications to sparse reward problems, open-ended exploration, and hierarchical skill design. Recent works have made promising steps by exploiting the prior knowledge of large language models (LLMs). However, these approaches suffer from important limitations: they are either not scalable to problems requiring billions of environment samples; or are limited to reward functions expressible by compact code, which may require source code and have difficulty capturing nuanced semantics; or require a diverse offline dataset, which may not exist or be impossible to collect. In this work, we address these limitations through a combination of algorithmic and systems-level contributions. We propose ONI, a distributed architecture that simultaneously learns an RL policy and an intrinsic reward function using LLM feedback. Our approach annotates the agent's collected experience via an asynchronous LLM server, which is then distilled into an intrinsic reward model. We explore a range of algorithmic choices for reward modeling with varying complexity, including hashing, classification, and ranking models. By studying their relative tradeoffs, we shed light on questions regarding intrinsic reward design for sparse reward problems. Our approach achieves state-of-the-art performance across a range of challenging, sparse reward tasks from the NetHack Learning Environment in a simple unified process, solely using the agent's gathered experience, without requiring external datasets nor source code. We make our code available at \url{URL} (coming soon).
• Abstract（参考訳）: 自然言語記述から高次報酬を自動合成することは強化学習(RL)において有望なパラダイムであり、報酬問題をスパースし、探索し、階層的なスキル設計を行う。 最近の研究は、大規模言語モデル(LLM)の以前の知識を活用することで、有望な一歩を踏み出した。 しかし、これらのアプローチは、何十億もの環境サンプルを必要とする問題に対してスケーラビリティがないか、ソースコードが必要でニュアンスドセマンティクスの取得が困難であるコンパクトコードで表現可能な関数に制限されているか、あるいは、存在しない、あるいは収集できないさまざまなオフラインデータセットを必要とする。 本研究では,アルゴリズムとシステムレベルのコントリビューションを組み合わせることで,これらの制限に対処する。 LLMフィードバックを用いてRLポリシーと本質的な報酬関数を同時に学習する分散アーキテクチャであるONIを提案する。 提案手法は,非同期LLMサーバを用いてエージェントの収集した経験を注釈し,本質的な報酬モデルに抽出する。 我々は、ハッシュ、分類、ランキングモデルなど、様々な複雑さを持つ報酬モデリングのためのアルゴリズムの選択範囲を探索する。 相対的なトレードオフを研究することで、スパース報酬問題に対する本質的な報酬設計に関する質問に光を当てた。 提案手法は,外部データセットやソースコードを必要とせず,エージェントの収集した経験のみを用いて,単純な統一プロセスでNetHack Learning Environmentから得られる,難易度の高いさまざまな報酬タスクに対して,最先端のパフォーマンスを実現する。 コードを \url{URL} で利用可能にしています(もうすぐです)。

関連論文リスト

• Automated Rewards via LLM-Generated Progress Functions [47.50772243693897]
  大きな言語モデル(LLM)は、様々なタスクにまたがる広いドメイン知識を活用することで、報酬工学を自動化する可能性がある。 本稿では,挑戦的なBi-DexHandsベンチマーク上で,最先端のポリシーを生成可能なLLM駆動の報酬生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-11T18:41:15Z)
• Stage-Wise Reward Shaping for Acrobatic Robots: A Constrained Multi-Objective Reinforcement Learning Approach [12.132416927711036]
  本稿では,直感的戦略による報酬形成プロセスの簡略化を目的としたRL手法を提案する。 制約付き多目的RL(CMORL)フレームワークにおいて,複数の報酬関数とコスト関数を定義する。 逐次的な複雑な動きを含むタスクに対しては、タスクを異なるステージに分割し、各ステージに対する複数の報酬とコストを定義します。
  論文  参考訳（メタデータ） (2024-09-24T05:25:24Z)
• OCALM: Object-Centric Assessment with Language Models [33.10137796492542]
  本稿では,言語モデルを用いたオブジェクト指向アセスメント(OCALM)を提案し,強化学習エージェントに対して本質的に解釈可能な報酬関数を導出する。 OCALMは、リレーショナルな概念に焦点を当てた報酬関数を導出するために、言語モデルの広範な世界知識を使用する。
  論文  参考訳（メタデータ） (2024-06-24T15:57:48Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Offline Inverse RL: New Solution Concepts and Provably Efficient Algorithms [23.61332577985059]
  逆強化学習(IRL)は、行動の実証から専門家の報酬機能を回復することを目的としている。 本稿では、オフライン設定の機会と限界を捉えた、実現可能な報酬セットという新しい概念を紹介する。
  論文  参考訳（メタデータ） (2024-02-23T15:49:46Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game [140.19656665344917]
  エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。 関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。 我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
  論文  参考訳（メタデータ） (2021-10-19T07:26:33Z)
• Information Directed Reward Learning for Reinforcement Learning [64.33774245655401]
  我々は、標準rlアルゴリズムが可能な限り少数の専門家クエリで高い期待値を達成することができる報酬関数のモデルを学ぶ。 特定のタイプのクエリ用に設計された以前のアクティブな報酬学習方法とは対照的に、IDRLは自然に異なるクエリタイプに対応します。 我々は,複数の環境における広範囲な評価と,異なるタイプのクエリでこの結果を支持する。
  論文  参考訳（メタデータ） (2021-02-24T18:46:42Z)
• Active Finite Reward Automaton Inference and Reinforcement Learning Using Queries and Counterexamples [31.31937554018045]
  深部強化学習(RL)法は, 良好な性能を達成するために, 環境探索からの集中的なデータを必要とする。 本稿では,RLエージェントが探索過程を推論し,その将来的な探索を効果的に導くための高レベルの知識を蒸留するフレームワークを提案する。 具体的には、L*学習アルゴリズムを用いて、有限報酬オートマトンという形で高レベルの知識を学習する新しいRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:13:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。