論文の概要: Empowering Large Language Model Agents through Action Learning
- arxiv url: http://arxiv.org/abs/2402.15809v1
- Date: Sat, 24 Feb 2024 13:13:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 16:52:13.234673
- Title: Empowering Large Language Model Agents through Action Learning
- Title(参考訳): アクション学習による大規模言語モデルエージェントの活用
- Authors: Haiteng Zhao, Chang Ma, Guoyin Wang, Jing Su, Lingpeng Kong, Jingjing
Xu, Zhi-Hong Deng, Hongxia Yang
- Abstract要約: 大規模言語モデル(LLM)エージェントは最近ますます関心を集めているが、試行錯誤から学ぶ能力は限られている。
我々は、経験から新しい行動を学ぶ能力は、LLMエージェントの学習の進歩に欠かせないものであると論じる。
我々はPython関数の形式でアクションを作成し改善するための反復学習戦略を備えたフレームワークLearningActを紹介した。
- 参考スコア(独自算出の注目度): 89.07382951897941
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Model (LLM) Agents have recently garnered increasing interest
yet they are limited in their ability to learn from trial and error, a key
element of intelligent behavior. In this work, we argue that the capacity to
learn new actions from experience is fundamental to the advancement of learning
in LLM agents. While humans naturally expand their action spaces and develop
skills through experiential learning, LLM agents typically operate within fixed
action spaces, limiting their potential for growth. To address these
challenges, our study explores open-action learning for language agents. We
introduce a framework LearnAct with an iterative learning strategy to create
and improve actions in the form of Python functions. In each iteration, LLM
revises and updates the currently available actions based on the errors
identified in unsuccessful training tasks, thereby enhancing action
effectiveness. Our experimental evaluations across Robotic Planning and
Alfworld environments reveal that after learning on a few training task
instances, our approach to open-action learning markedly improves agent
performance for the type of task (by 32 percent in AlfWorld compared to
ReAct+Reflexion, for instance) highlighting the importance of experiential
action learning in the development of more intelligent LLM agents.
- Abstract(参考訳): 大規模言語モデル(llm)エージェントは最近、関心が高まっているが、知的行動の重要な要素である試行錯誤から学ぶ能力は限られている。
本研究は, LLMエージェントにおける学習の進歩に, 経験から新たな行動を学ぶ能力が不可欠である,と論じる。
人間は自然に行動空間を拡大し、経験的学習を通じてスキルを開発するが、llmエージェントは通常一定の行動空間内で動作し、成長の可能性を制限する。
これらの課題に対処するため、本研究は言語エージェントのオープンアクション学習を探求する。
我々はPython関数の形式でアクションを作成し改善するための反復学習戦略を備えたフレームワークLearningActを紹介する。
各イテレーションでは、LLMはトレーニングタスクで特定されたエラーに基づいて、現在利用可能なアクションを修正および更新し、アクションの有効性を向上する。
ロボットプランニングとALFworld環境における実験的な評価から,オープンアクション学習のアプローチは,いくつかのトレーニングタスクインスタンスから学んだ後,よりインテリジェントなLCMエージェントの開発における経験的行動学習の重要性を強調した上で,タスクタイプのエージェントパフォーマンスを著しく向上させる(例えば,ReAct+Reflexionの32%)。
関連論文リスト
- KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents [54.09074527006576]
大規模言語モデル(LLM)は複雑な推論タスクにおいて大きな可能性を証明していますが、より高度な課題に取り組むには不十分です。
この不適切さは、主に言語エージェントのアクション知識が組み込まれていないことに起因する。
我々は、明示的な行動知識を取り入れることで、LLMの計画能力を高めるために設計された新しいアプローチであるKnowAgentを紹介する。
論文 参考訳(メタデータ) (2024-03-05T16:39:12Z) - From Summary to Action: Enhancing Large Language Models for Complex
Tasks with Open World APIs [62.496139001509114]
大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。
このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。
ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2024-02-28T08:42:23Z) - Training Language Model Agents without Modifying Language Models [41.88553844239783]
LLM重みを変更することなくLLM(Large Language Models)エージェントを訓練する新しいパラダイムを提案する。
LLMを利用してエージェントの機能を更新し、ロールバックとアーリーストップという2つの戦略でエージェントトレーニングアルゴリズムを考案するエージェントを開発する。
広範囲な実験により、エージェント訓練パラダイムが代表的LLMエージェントの性能を大幅に改善できることが示される。
論文 参考訳(メタデータ) (2024-02-17T18:31:21Z) - Large Language Model as a Policy Teacher for Training Reinforcement
Learning Agents [17.430124346342826]
LLM(Large Language Models)は、高レベルの命令を提供することによって、シーケンシャルな意思決定タスクに対処することができる。
LLMは、特にリアルタイムな動的環境において、特定のターゲット問題に対処する専門性を欠いている。
LLMベースの教師エージェントからの指示を用いて、より小規模で専門的なRLエージェントを訓練することで、これらの課題に対処する新しいフレームワークを導入する。
論文 参考訳(メタデータ) (2023-11-22T13:15:42Z) - Accelerating Reinforcement Learning of Robotic Manipulations via
Feedback from Large Language Models [21.052532074815765]
本稿では,Lafite-RL (Language Agent feedback Interactive Reinforcement Learning) フレームワークを紹介する。
RLエージェントは、Large Language Modelsのタイムリーフィードバックを利用して、ロボットタスクを効率的に学習することができる。
学習効率と成功率の両方でベースラインを上回ります。
論文 参考訳(メタデータ) (2023-11-04T11:21:38Z) - ExpeL: LLM Agents Are Experiential Learners [60.54312035818746]
実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。
我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。
推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
論文 参考訳(メタデータ) (2023-08-20T03:03:34Z) - Improving Knowledge Extraction from LLMs for Task Learning through Agent
Analysis [4.055489363682198]
大規模言語モデル(LLM)は、タスク学習の知識源として大きな可能性を秘めている。
プロンプト工学は、LLMから知識を引き出すのに有効であることが示されているが、同時に、新しいタスクを具現化したエージェント学習のための、適切な、状況に根ざした知識を得るには不十分である。
本稿では,認知エージェントアプローチであるSTARSについて述べる。これは,迅速なエンジニアリングを拡張し,その制限を緩和し,エージェントがネイティブ言語能力,具体化,環境,ユーザ嗜好に適合する新たなタスク知識を取得できるようにする。
論文 参考訳(メタデータ) (2023-06-11T20:50:14Z) - Human-Timescale Adaptation in an Open-Ended Task Space [56.55530165036327]
大規模にRLエージェントを訓練することで、オープンエンドの新規な3D問題に人間と同じくらい早く適応できる一般的なコンテキスト内学習アルゴリズムが実現可能であることを示す。
我々の研究は、より大規模で適応的なRLエージェントの基礎を築いた。
論文 参考訳(メタデータ) (2023-01-18T15:39:21Z) - PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via
Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。
提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
論文 参考訳(メタデータ) (2021-06-09T14:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。