論文の概要: ExpeL: LLM Agents Are Experiential Learners

• arxiv url: http://arxiv.org/abs/2308.10144v2
• Date: Mon, 18 Dec 2023 03:11:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 23:22:52.851843
• Title: ExpeL: LLM Agents Are Experiential Learners
• Title（参考訳）: ExpeL: LLMエージェントは経験的学習者
• Authors: Andrew Zhao, Daniel Huang, Quentin Xu, Matthieu Lin, Yong-Jin Liu, Gao Huang
• Abstract要約: 実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。 我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。 推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
• 参考スコア（独自算出の注目度）: 60.54312035818746
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent surge in research interest in applying large language models (LLMs) to decision-making tasks has flourished by leveraging the extensive world knowledge embedded in LLMs. While there is a growing demand to tailor LLMs for custom decision-making tasks, finetuning them for specific tasks is resource-intensive and may diminish the model's generalization capabilities. Moreover, state-of-the-art language models like GPT-4 and Claude are primarily accessible through API calls, with their parametric weights remaining proprietary and unavailable to the public. This scenario emphasizes the growing need for new methodologies that allow learning from agent experiences without requiring parametric updates. To address these problems, we introduce the Experiential Learning (ExpeL) agent. Our agent autonomously gathers experiences and extracts knowledge using natural language from a collection of training tasks. At inference, the agent recalls its extracted insights and past experiences to make informed decisions. Our empirical results highlight the robust learning efficacy of the ExpeL agent, indicating a consistent enhancement in its performance as it accumulates experiences. We further explore the emerging capabilities and transfer learning potential of the ExpeL agent through qualitative observations and additional experiments.
• Abstract（参考訳）: 大規模言語モデル(LLM)を意思決定タスクに適用することに対する最近の研究の関心の高まりは、LLMに埋め込まれた広範囲な世界知識を活用することで繁栄している。 カスタムな意思決定タスクのためにLLMをカスタマイズする需要は増えているが、特定のタスクのためにそれらを微調整することはリソース集約であり、モデルの一般化能力を低下させる可能性がある。 さらに、GPT-4やClaudeのような最先端の言語モデルは、主にAPIコールを通じてアクセス可能である。 このシナリオは、パラメトリック更新を必要とせずにエージェントエクスペリエンスから学習できる新しい方法論の必要性の高まりを強調している。 これらの問題に対処するためにexperiential learning (expel)エージェントを紹介する。 エージェントは、経験を自律的に収集し、訓練タスクの集合から自然言語を用いた知識を抽出する。 推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。 実験の結果,ExpeLエージェントの堅牢な学習効果が強調され,経験を蓄積するにつれて,その性能が一貫した向上であることが示唆された。 我々はさらに,質的観察と追加実験を通じて,expelエージェントの新たな能力と伝達学習能力について検討する。

関連論文リスト

• Empowering Large Language Model Agents through Action Learning [85.39581419680755]
  大規模言語モデル(LLM)エージェントは最近ますます関心を集めているが、試行錯誤から学ぶ能力は限られている。 我々は、経験から新しい行動を学ぶ能力は、LLMエージェントの学習の進歩に欠かせないものであると論じる。 我々はPython関数の形式でアクションを作成し改善するための反復学習戦略を備えたフレームワークLearningActを紹介した。
  論文  参考訳（メタデータ） (2024-02-24T13:13:04Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Augmenting LLMs with Knowledge: A survey on hallucination prevention [0.0]
  この調査は言語モデル(LM)の領域を掘り下げ、外部の知識ソースをタップする機能を備えている。 欠落したトークンを予測するという標準的な目的に固執する一方で、これらの拡張LMは多種多様で、おそらくパラメトリックでない外部モジュールを活用する。
  論文  参考訳（メタデータ） (2023-09-28T14:09:58Z)
• Thrust: Adaptively Propels Large Language Models with External Knowledge [58.72867916604562]
  大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。 PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。 本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
  論文  参考訳（メタデータ） (2023-07-19T20:16:46Z)
• Improving Knowledge Extraction from LLMs for Task Learning through Agent Analysis [4.055489363682198]
  大規模言語モデル(LLM)は、タスク学習の知識源として大きな可能性を秘めている。 プロンプト工学は、LLMから知識を引き出すのに有効であることが示されているが、同時に、新しいタスクを具現化したエージェント学習のための、適切な、状況に根ざした知識を得るには不十分である。 本稿では,認知エージェントアプローチであるSTARSについて述べる。これは,迅速なエンジニアリングを拡張し,その制限を緩和し,エージェントがネイティブ言語能力,具体化,環境,ユーザ嗜好に適合する新たなタスク知識を取得できるようにする。
  論文  参考訳（メタデータ） (2023-06-11T20:50:14Z)
• Asking Before Acting: Gather Information in Embodied Decision Making with Language Models [20.282749796376063]
  本研究では,Large Language Models (LLM) が,不慣れな環境で重要な情報を効率的に収集する上で,課題に直面していることを示す。 我々は,自然言語を用いた関連する情報に対して,エージェントが外部ソースと積極的に問い合わせることを可能にする方法であるtextitAsking Before Acting (ABA)を提案する。 本研究では,テキストベースの日常タスク,ロボットアーム操作タスク,実世界のオープンドメインイメージベース実施タスクを含む,幅広い環境実験を行う。
  論文  参考訳（メタデータ） (2023-05-25T04:05:08Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• Improving Language Model Prompting in Support of Semi-autonomous Task Learning [6.021787236982658]
  言語モデル(LLM)は、新しいタスク能力を取得するために必要なエージェントの知識の源としてポテンシャルを提供する。 本稿では,新しいタスクを学習するエージェントに対して有用なLLM応答をもたらす手がかりを構築できる新しいエージェント機能への取り組みについて述べる。
  論文  参考訳（メタデータ） (2022-09-13T15:36:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。