Fugu-MT 論文翻訳(概要): Towards Generalizable Agents in Text-Based Educational Environments: A Study of Integrating RL with LLMs

論文の概要: Towards Generalizable Agents in Text-Based Educational Environments: A Study of Integrating RL with LLMs

arxiv url: http://arxiv.org/abs/2404.18978v1
Date: Mon, 29 Apr 2024 14:53:48 GMT
ステータス: 処理完了
システム内更新日: 2024-05-01 18:29:43.320981
Title: Towards Generalizable Agents in Text-Based Educational Environments: A Study of Integrating RL with LLMs
Title（参考訳）: テキストベースの教育環境における汎用エージェントを目指して--LLMとRLの統合に関する研究
Authors: Bahar Radmehr, Adish Singla, Tanja Käser,
Abstract要約: 我々は、強化学習(RL)と大言語モデル(LLM)を統合することにより、オープンエンドテキストベースの学習環境におけるエージェントの一般化能力の向上を目指す。 PharmaSimTextは、診断会話を実践するために設計された、PharmaSim仮想薬局環境から派生した新しいベンチマークである。以上の結果から, RLをベースとしたエージェントは, タスク完了に優れるが, 品質診断質問の欠如が示唆された。
参考スコア（独自算出の注目度）: 22.568925103893182
License: http://creativecommons.org/licenses/by/4.0/
Abstract: There has been a growing interest in developing learner models to enhance learning and teaching experiences in educational environments. However, existing works have primarily focused on structured environments relying on meticulously crafted representations of tasks, thereby limiting the agent's ability to generalize skills across tasks. In this paper, we aim to enhance the generalization capabilities of agents in open-ended text-based learning environments by integrating Reinforcement Learning (RL) with Large Language Models (LLMs). We investigate three types of agents: (i) RL-based agents that utilize natural language for state and action representations to find the best interaction strategy, (ii) LLM-based agents that leverage the model's general knowledge and reasoning through prompting, and (iii) hybrid LLM-assisted RL agents that combine these two strategies to improve agents' performance and generalization. To support the development and evaluation of these agents, we introduce PharmaSimText, a novel benchmark derived from the PharmaSim virtual pharmacy environment designed for practicing diagnostic conversations. Our results show that RL-based agents excel in task completion but lack in asking quality diagnostic questions. In contrast, LLM-based agents perform better in asking diagnostic questions but fall short of completing the task. Finally, hybrid LLM-assisted RL agents enable us to overcome these limitations, highlighting the potential of combining RL and LLMs to develop high-performing agents for open-ended learning environments.
Abstract（参考訳）: 教育環境における学習と教育経験を高める学習モデル開発への関心が高まっている。しかし、既存の研究は主にタスクの巧妙な表現に頼って構成された環境に焦点を当てており、それによってエージェントのタスク間のスキルを一般化する能力は制限されている。本稿では,RL(Reinforcement Learning)とLLM(Large Language Models)を統合することにより,オープンエンドテキストベースの学習環境におけるエージェントの一般化能力の向上を目指す。我々は3種類のエージェントを調査する。 i)RLをベースとしたエージェントは、自然言語を状態表現や行動表現に利用し、最良のインタラクション戦略を見つける。二モデルの一般的な知識及び推論を利用したLLMベースのエージェント、及び 3) これらの2つの戦略を組み合わせるハイブリッドLLM支援RLエージェントは, エージェントの性能と一般化を改善する。これらのエージェントの開発と評価を支援するために、診断会話の実践を目的としたPharmaSim仮想薬局環境から派生した新しいベンチマークであるPharmaSimTextを紹介する。以上の結果から, RLをベースとしたエージェントは, タスク完了に優れるが, 品質診断質問の欠如が示唆された。対照的に、LSMをベースとしたエージェントは、診断的な質問をしやすくするが、タスクの完了には至らない。最後に,LLM と LLM を併用したオープンエンド学習環境における高性能エージェントの開発の可能性を強調し,これらの制約を克服する。

関連論文リスト

Mental Modeling of Reinforcement Learning Agents by Language Models [14.668006477454616]
この研究は、いかに大きな言語モデルがエージェントのメンタルモデルを構築することができるか、初めて実証的に検証する。本研究は, LLMを用いたRL剤の挙動解明の可能性を明らかにする。
論文参考訳（メタデータ） (2024-06-26T17:14:45Z)
EnvGen: Generating and Adapting Environments via LLMs for Training Embodied Agents [65.38474102119181]
トレーニング環境を適応的に作成するフレームワークであるEnvGenを提案する。我々は、LLM生成環境とLLM生成環境を混合した小さなRLエージェントを訓練する。我々は、EnvGenで訓練された小さなRLエージェントが、GPT-4エージェントを含むSOTAメソッドより優れており、長い水平タスクをかなり高速に学習できることを発見した。
論文参考訳（メタデータ） (2024-03-18T17:51:16Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
AgentLite: A Lightweight Library for Building and Advancing Task-Oriented LLM Agent System [91.41155892086252]
LLMエージェントの研究を簡略化する新しいAIエージェントライブラリであるAgentLiteをオープンソースとして公開する。 AgentLiteは、タスクを分解するエージェントの機能を強化するために設計されたタスク指向フレームワークである。我々は,その利便性と柔軟性を示すために,AgentLiteで開発された実用アプリケーションを紹介した。
論文参考訳（メタデータ） (2024-02-23T06:25:20Z)
Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文参考訳（メタデータ） (2024-02-20T11:03:36Z)
Mutual Enhancement of Large Language and Reinforcement Learning Models through Bi-Directional Feedback Mechanisms: A Case Study [1.3597551064547502]
我々は,大規模言語モデル(LLM)と強化学習(RL)モデルの課題に対処するために,教師による学習フレームワークを採用している。この枠組みの中で、LLMは教師として、RLモデルは学生として機能する。本手法の有効性を評価するために,この問題に対処し,実証実験を行うための実用的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-01-12T14:35:57Z)
Exploring Large Language Model based Intelligent Agents: Definitions, Methods, and Prospects [32.91556128291915]
本稿では, シングルエージェントおよびマルチエージェントシステムにおける知的エージェントの詳細な概要を提供するため, 現在の研究状況について調査する。定義、研究フレームワーク、その構成、認知と計画方法、ツール利用、環境フィードバックに対する反応などの基礎的な構成要素を網羅する。我々は、AIと自然言語処理の進化の展望を考慮し、LLMベースのエージェントの展望を思い浮かべて結論付ける。
論文参考訳（メタデータ） (2024-01-07T09:08:24Z)
On Diagnostics for Understanding Agent Training Behaviour in Cooperative MARL [5.124364759305485]
我々は、経験的リターンのみに依存することは、エージェントの振る舞いに不明瞭な重要な洞察を与えるかもしれないと論じる。本稿では,エージェントの動作に対する深い洞察を得るために,説明可能なAI(XAI)ツールの適用について検討する。
論文参考訳（メタデータ） (2023-12-13T19:10:10Z)
Theory of Mind for Multi-Agent Collaboration via Large Language Models [5.2767999863286645]
本研究では,多エージェント協調型テキストゲームにおけるLarge Language Models (LLMs) ベースのエージェントを,理論オブマインド (ToM) 推論タスクを用いて評価する。 LLMをベースとしたエージェント間の創発的協調行動と高次マインド理論の実証を行った。
論文参考訳（メタデータ） (2023-10-16T07:51:19Z)
ExpeL: LLM Agents Are Experiential Learners [60.54312035818746]
実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
論文参考訳（メタデータ） (2023-08-20T03:03:34Z)
AgentBench: Evaluating LLMs as Agents [88.45506148281379]
大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
論文参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。