論文の概要: Large Language Models Are Semi-Parametric Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2306.07929v2
• Date: Mon, 30 Oct 2023 01:52:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 21:29:12.331006
• Title: Large Language Models Are Semi-Parametric Reinforcement Learning Agents
• Title（参考訳）: 大規模言語モデルは半パラメトリック強化学習エージェントである
• Authors: Danyang Zhang, Lu Chen, Situo Zhang, Hongshen Xu, Zihan Zhao, Kai Yu
• Abstract要約: REMEMBERERは過去のエピソードからの経験をさまざまなタスク目標に活用することができる。 メモリを更新するためにRLEM(Reinforcement Learning with Experience Memory)が導入される。 提案したフレームワークを評価するために,2つのRLタスクセットで実験を行った。
• 参考スコア（独自算出の注目度）: 15.908831573619842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by the insights in cognitive science with respect to human memory and reasoning mechanism, a novel evolvable LLM-based (Large Language Model) agent framework is proposed as REMEMBERER. By equipping the LLM with a long-term experience memory, REMEMBERER is capable of exploiting the experiences from the past episodes even for different task goals, which excels an LLM-based agent with fixed exemplars or equipped with a transient working memory. We further introduce Reinforcement Learning with Experience Memory (RLEM) to update the memory. Thus, the whole system can learn from the experiences of both success and failure, and evolve its capability without fine-tuning the parameters of the LLM. In this way, the proposed REMEMBERER constitutes a semi-parametric RL agent. Extensive experiments are conducted on two RL task sets to evaluate the proposed framework. The average results with different initialization and training sets exceed the prior SOTA by 4% and 2% for the success rate on two task sets and demonstrate the superiority and robustness of REMEMBERER.
• Abstract（参考訳）: 人間の記憶と推論機構に関する認知科学の知見に触発され,REMEMBERERとして,進化可能なLLM(Large Language Model)エージェントフレームワークが提案されている。 長期記憶をLLMに装備することにより、REMEMBERERは、異なるタスク目標に対してであっても過去のエピソードからの経験を活用できる。 さらに、メモリの更新にRLEM(Reinforcement Learning with Experience Memory)を導入します。 したがって、システム全体が成功と失敗の両方の経験から学び、LSMのパラメータを微調整することなくその能力を進化させることができる。 このようにして、提案したREMEMBERERは半パラメトリックRLエージェントを構成する。 提案したフレームワークを評価するために,2つのRLタスクセットに対して大規模な実験を行った。 初期化とトレーニングセットの異なる平均結果は,2つのタスクセットにおける成功率の4%と2%を上回り,REMEMBERERの優位性と堅牢性を示す。

関連論文リスト

• Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
  微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。 一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
  論文  参考訳（メタデータ） (2024-11-17T01:16:37Z)
• RAG-Modulo: Solving Sequential Tasks using Experience, Critics, and Language Models [5.0741409008225755]
  大規模言語モデル(LLM)は、ロボットの課題を解決するための有望なツールとして登場した。 既存のLSMベースのエージェントは、過去の相互作用を維持および学習する能力に欠ける。 RAG-Modulo は,過去のインタラクションを記憶した LLM ベースのエージェントを強化し,エージェントの判断を評価するための批判を取り入れたフレームワークである。
  論文  参考訳（メタデータ） (2024-09-18T20:03:32Z)
• LLaVA-MoD: Making LLaVA Tiny via MoE Knowledge Distillation [41.05687297326706]
  LLaVA-MoDは、小規模マルチモーダル言語モデルの効率的なトレーニングを可能にするために設計されたフレームワークである。 スパースミキサーアーキテクチャを言語モデルに統合することにより、s-MLLMのネットワーク構造を最適化する。 また,包括的知識移動を確保するために,先進的な知識移動戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-28T15:52:23Z)
• A Survey on Self-Evolution of Large Language Models [116.54238664264928]
  大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。 この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
  論文  参考訳（メタデータ） (2024-04-22T17:43:23Z)
• Knowledgeable Agents by Offline Reinforcement Learning from Large Language Model Rollouts [10.929547354171723]
  本稿では,言語モデルロールアウト(KALM)の知識エージェントを紹介する。 大規模言語モデル(LLM)から、オフラインの強化学習手法によってエージェントが容易に学習できる想像上のロールアウトの形で知識を抽出する。 未確認の目標を持つタスクの実行において46%の成功率を達成し、ベースラインメソッドによって達成された26%の成功率を大幅に上回る。
  論文  参考訳（メタデータ） (2024-04-14T13:19:40Z)
• True Knowledge Comes from Practice: Aligning LLMs with Embodied Environments via Reinforcement Learning [37.10401435242991]
  大規模言語モデル(LLM)は、環境とのLLMにおける知識のミスアライメントにより、単純な意思決定タスクの解決に失敗することが多い。 本稿では,LSMを意思決定エージェントとして展開する新しいフレームワークであるTWOSOMEを提案する。
  論文  参考訳（メタデータ） (2024-01-25T13:03:20Z)
• Mutual Enhancement of Large Language and Reinforcement Learning Models through Bi-Directional Feedback Mechanisms: A Case Study [1.3597551064547502]
  我々は,大規模言語モデル(LLM)と強化学習(RL)モデルの課題に対処するために,教師による学習フレームワークを採用している。 この枠組みの中で、LLMは教師として、RLモデルは学生として機能する。 本手法の有効性を評価するために,この問題に対処し,実証実験を行うための実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-12T14:35:57Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• ExpeL: LLM Agents Are Experiential Learners [60.54312035818746]
  実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。 我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。 推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
  論文  参考訳（メタデータ） (2023-08-20T03:03:34Z)
• Do Embodied Agents Dream of Pixelated Sheep: Embodied Decision Making using Language Guided World Modelling [101.59430768507997]
  強化学習 (Reinforcement Learning, RL) エージェントは通常、世界の事前の知識なしに、タブラララザを学習する。 抽象世界モデル (AWM) を仮定するために, 少数ショット大言語モデル (LLM) を提案する。 LLMを用いてAWMを仮定し, エージェント経験に基づくAWMの検証を行うことで, 従来手法よりもサンプル効率を桁違いに向上させることができる。
  論文  参考訳（メタデータ） (2023-01-28T02:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。