論文の概要: Memory Sharing for Large Language Model based Agents
- arxiv url: http://arxiv.org/abs/2404.09982v1
- Date: Mon, 15 Apr 2024 17:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 21:18:06.009459
- Title: Memory Sharing for Large Language Model based Agents
- Title(参考訳): 大規模言語モデルに基づくエージェントのためのメモリ共有
- Authors: Hang Gao, Yongfeng Zhang,
- Abstract要約: 大言語モデル(LLM)ベースのエージェントは、自然言語プロンプトを介してタスクを実行する。
詩の創造のようなオープンエンドな課題へのインコンテキスト学習の適用は、かなりの制限を明らかにしている。
本稿では,リアルタイムメモリストレージと検索システムを利用したLLMマルチエージェントのためのメモリ共有(MS)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 43.53494041932615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the realm of artificial intelligence, the adaptation of Large Language Model (LLM)-based agents to execute tasks via natural language prompts represents a significant advancement, notably eliminating the need for explicit retraining or fine tuning for fixed-answer tasks such as common sense questions and yes/no queries. However, the application of In-context Learning to open-ended challenges, such as poetry creation, reveals substantial limitations due to the comprehensiveness of the provided examples and agent's ability to understand the content expressed in the problem, leading to outputs that often diverge significantly from expected results. Addressing this gap, our study introduces the Memory-Sharing (MS) framework for LLM multi-agents, which utilizes a real-time memory storage and retrieval system to enhance the In-context Learning process. Each "memory" within this system captures both the posed query and the corresponding real-time response from an LLM-based agent, aggregating these memories from a broad spectrum of similar agents to enrich the memory pool shared by all agents. This framework not only aids agents in identifying the most relevant examples for specific tasks but also evaluates the potential utility of their memories for future applications by other agents. Empirical validation across three distinct domains involving specialized functions of agents demonstrates that the MS framework significantly improve the agent's performance regrading the open-ended questions. Furthermore, we also discuss what type of memory pool and what retrieval strategy in MS can better help agents, offering a future develop direction of MS. The code and data are available at: https://github.com/GHupppp/MemorySharingLLM
- Abstract(参考訳): 人工知能の領域において、自然言語プロンプトを介してタスクを実行するためのLarge Language Model (LLM) ベースのエージェントの適応は、特に、常識質問やye/noクエリのような定性課題に対する明示的なトレーニングや微調整の必要性を排除し、大きな進歩を示している。
しかし、詩作成などのオープンエンドな課題へのインコンテクスト学習の適用は、提供された例の包括性や、問題に表される内容を理解するエージェントの能力によって、かなりの制限が示され、しばしば期待された結果から大きく逸脱するアウトプットにつながる。
このギャップに対処するため,LLMマルチエージェントのためのメモリ共有(MS)フレームワークを導入し,リアルタイムメモリストレージと検索システムを用いてインコンテキスト学習プロセスを強化する。
このシステム内の各"メモリ"は、提案されたクエリと、LLMベースのエージェントからの対応するリアルタイム応答の両方をキャプチャし、これらのメモリを類似エージェントの広い範囲から集約し、すべてのエージェントが共有するメモリプールを強化する。
このフレームワークは、エージェントが特定のタスクの最も関連性の高い例を特定するのを助けるだけでなく、他のエージェントによる将来の応用のためのメモリの潜在的有用性を評価する。
エージェントの特殊機能を含む3つの異なる領域にまたがる実証的な検証は、MSフレームワークがオープンエンドの質問に対するエージェントのパフォーマンス改善を著しく改善していることを示す。
さらに、どのようなタイプのメモリプールとMSの検索戦略がエージェントに役立ち、MSの今後の開発方向性を提供するかについても論じる。
関連論文リスト
- HELPER-X: A Unified Instructable Embodied Agent to Tackle Four Interactive Vision-Language Domains with Memory-Augmented Language Models [13.963676467274109]
我々は、より広い例とプロンプトでメモリを拡張することで、HELPERの機能を拡張する。
この単純なHELPERの共有メモリへの拡張により、エージェントは対話、自然言語の命令、アクティブな質問、一般的な部屋の再編成から計画を実行するドメイン間で作業することができる。
本稿では,AChRED,TAA,DialFRED,Tidy Taskの4種類の対話型視覚言語エンボディエージェントについて評価を行った。
論文 参考訳(メタデータ) (2024-04-29T19:12:42Z) - A Survey on the Memory Mechanism of Large Language Model based Agents [66.4963345269611]
大規模言語モデル(LLM)に基づくエージェントは、最近、研究や産業コミュニティから多くの注目を集めている。
LLMベースのエージェントは、現実の問題を解決する基礎となる自己進化能力に特徴付けられる。
エージェント-環境相互作用をサポートする重要なコンポーネントは、エージェントのメモリである。
論文 参考訳(メタデータ) (2024-04-21T01:49:46Z) - Generative Cross-Modal Retrieval: Memorizing Images in Multimodal
Language Models for Retrieval and Beyond [99.73306923465424]
画像表現にユニークな識別子文字列を割り当てる生成的クロスモーダル検索フレームワークを提案する。
MLLMのイメージを記憶することで,従来の差別的アプローチとは異なる,クロスモーダル検索の新しいパラダイムを導入する。
論文 参考訳(メタデータ) (2024-02-16T16:31:46Z) - Recommender AI Agent: Integrating Large Language Models for Interactive
Recommendations [53.76682562935373]
我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。
InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
論文 参考訳(メタデータ) (2023-08-31T07:36:44Z) - RecallM: An Adaptable Memory Mechanism with Temporal Understanding for
Large Language Models [3.9770715318303353]
RecallMは、適応可能で拡張可能な長期記憶機構を備えた大規模言語モデルを提供するための新しいアーキテクチャである。
RecallM は,長期記憶に格納された知識を更新するためのベクトルデータベースよりも 4 倍有効であることを示す。
また、RecallMは、一般的な質問応答およびコンテキスト内学習タスクにおいて、競合性能を示すことを示した。
論文 参考訳(メタデータ) (2023-07-06T02:51:54Z) - RET-LLM: Towards a General Read-Write Memory for Large Language Models [4.997673761305335]
RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。
デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。
本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
論文 参考訳(メタデータ) (2023-05-23T17:53:38Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。
本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-26T07:25:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。