論文の概要: Memory Sharing for Large Language Model based Agents

• arxiv url: http://arxiv.org/abs/2404.09982v1
• Date: Mon, 15 Apr 2024 17:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 21:18:06.009459
• Title: Memory Sharing for Large Language Model based Agents
• Title（参考訳）: 大規模言語モデルに基づくエージェントのためのメモリ共有
• Authors: Hang Gao, Yongfeng Zhang,
• Abstract要約: 大言語モデル(LLM)ベースのエージェントは、自然言語プロンプトを介してタスクを実行する。 詩の創造のようなオープンエンドな課題へのインコンテキスト学習の適用は、かなりの制限を明らかにしている。 本稿では,リアルタイムメモリストレージと検索システムを利用したLLMマルチエージェントのためのメモリ共有(MS)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 43.53494041932615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the realm of artificial intelligence, the adaptation of Large Language Model (LLM)-based agents to execute tasks via natural language prompts represents a significant advancement, notably eliminating the need for explicit retraining or fine tuning for fixed-answer tasks such as common sense questions and yes/no queries. However, the application of In-context Learning to open-ended challenges, such as poetry creation, reveals substantial limitations due to the comprehensiveness of the provided examples and agent's ability to understand the content expressed in the problem, leading to outputs that often diverge significantly from expected results. Addressing this gap, our study introduces the Memory-Sharing (MS) framework for LLM multi-agents, which utilizes a real-time memory storage and retrieval system to enhance the In-context Learning process. Each "memory" within this system captures both the posed query and the corresponding real-time response from an LLM-based agent, aggregating these memories from a broad spectrum of similar agents to enrich the memory pool shared by all agents. This framework not only aids agents in identifying the most relevant examples for specific tasks but also evaluates the potential utility of their memories for future applications by other agents. Empirical validation across three distinct domains involving specialized functions of agents demonstrates that the MS framework significantly improve the agent's performance regrading the open-ended questions. Furthermore, we also discuss what type of memory pool and what retrieval strategy in MS can better help agents, offering a future develop direction of MS. The code and data are available at: https://github.com/GHupppp/MemorySharingLLM
• Abstract（参考訳）: 人工知能の領域において、自然言語プロンプトを介してタスクを実行するためのLarge Language Model (LLM) ベースのエージェントの適応は、特に、常識質問やye/noクエリのような定性課題に対する明示的なトレーニングや微調整の必要性を排除し、大きな進歩を示している。 しかし、詩作成などのオープンエンドな課題へのインコンテクスト学習の適用は、提供された例の包括性や、問題に表される内容を理解するエージェントの能力によって、かなりの制限が示され、しばしば期待された結果から大きく逸脱するアウトプットにつながる。 このギャップに対処するため,LLMマルチエージェントのためのメモリ共有(MS)フレームワークを導入し,リアルタイムメモリストレージと検索システムを用いてインコンテキスト学習プロセスを強化する。 このシステム内の各"メモリ"は、提案されたクエリと、LLMベースのエージェントからの対応するリアルタイム応答の両方をキャプチャし、これらのメモリを類似エージェントの広い範囲から集約し、すべてのエージェントが共有するメモリプールを強化する。 このフレームワークは、エージェントが特定のタスクの最も関連性の高い例を特定するのを助けるだけでなく、他のエージェントによる将来の応用のためのメモリの潜在的有用性を評価する。 エージェントの特殊機能を含む3つの異なる領域にまたがる実証的な検証は、MSフレームワークがオープンエンドの質問に対するエージェントのパフォーマンス改善を著しく改善していることを示す。 さらに、どのようなタイプのメモリプールとMSの検索戦略がエージェントに役立ち、MSの今後の開発方向性を提供するかについても論じる。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Self-evolving Agents with reflective and memory-augmented abilities [8.123272461141815]
  大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げてきたが、それでも継続的意思決定のような課題に直面している。 本稿では, 繰り返しフィードバック, 反射機構, およびEbbinghaus forgetting curveに基づくメモリ最適化機構を統合することで, 新たなフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-01T23:36:34Z)
• Hello Again! LLM-powered Personalized Agent for Long-term Dialogue [63.65128176360345]
  モデルに依存しない長期対話エージェント(LD-Agent)を導入する。 イベント認識、ペルソナ抽出、応答生成のための3つの独立した調整可能なモジュールが組み込まれている。 LD-Agentの有効性, 汎用性, クロスドメイン性について実験的に検証した。
  論文  参考訳（メタデータ） (2024-06-09T21:58:32Z)
• Retrieval Meets Reasoning: Even High-school Textbook Knowledge Benefits Multimodal Reasoning [49.3242278912771]
  RMR(Retrieval Meets Reasoning)と呼ばれる新しいマルチモーダルRAGフレームワークについて紹介する。 RMRフレームワークは、最も関連性の高い問合せ対を特定するために、バイモーダル検索モジュールを使用する。 これは、ベンチマークデータセットのスペクトルにわたって様々なビジョン言語モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-31T14:23:49Z)
• HELPER-X: A Unified Instructable Embodied Agent to Tackle Four Interactive Vision-Language Domains with Memory-Augmented Language Models [13.963676467274109]
  我々は、より広い例とプロンプトでメモリを拡張することで、HELPERの機能を拡張する。 この単純なHELPERの共有メモリへの拡張により、エージェントは対話、自然言語の命令、アクティブな質問、一般的な部屋の再編成から計画を実行するドメイン間で作業することができる。 本稿では,AChRED,TAA,DialFRED,Tidy Taskの4種類の対話型視覚言語エンボディエージェントについて評価を行った。
  論文  参考訳（メタデータ） (2024-04-29T19:12:42Z)
• A Survey on the Memory Mechanism of Large Language Model based Agents [66.4963345269611]
  大規模言語モデル(LLM)に基づくエージェントは、最近、研究や産業コミュニティから多くの注目を集めている。 LLMベースのエージェントは、現実の問題を解決する基礎となる自己進化能力に特徴付けられる。 エージェント-環境相互作用をサポートする重要なコンポーネントは、エージェントのメモリである。
  論文  参考訳（メタデータ） (2024-04-21T01:49:46Z)
• A Framework for Inference Inspired by Human Memory Mechanisms [9.408704431898279]
  本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。 メモリモジュールは、ワーキングメモリと長期メモリから構成され、後者は、広範囲で複雑なリレーショナル知識と経験を維持するために、高次構造を備えている。 我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
  論文  参考訳（メタデータ） (2023-10-01T08:12:55Z)
• Celebrating Diversity in Shared Multi-Agent Reinforcement Learning [20.901606233349177]
  深層多エージェント強化学習は、複雑な協調的な課題を解決することを約束している。 本稿では,共有型マルチエージェント強化学習の最適化と表現に多様性を導入することを目的とする。 提案手法は,Google Research Footballと超硬度StarCraft IIマイクロマネジメントタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-06-04T00:55:03Z)
• Randomized Entity-wise Factorization for Multi-Agent Reinforcement Learning [59.62721526353915]
  実世界のマルチエージェント設定は、エージェントや非エージェントエンティティのタイプや量が異なるタスクを伴うことが多い。 我々の方法は、これらの共通点を活用することを目的としており、「観察対象のランダムに選択されたサブグループのみを考えるとき、各エージェントが期待する効用は何か?」という問いを投げかける。
  論文  参考訳（メタデータ） (2020-06-07T18:28:41Z)
• Augmented Replay Memory in Reinforcement Learning With Continuous Control [1.6752182911522522]
  オンライン強化学習エージェントは、高次値関数に変換することで、現在、増大するデータを処理することができる。 この拡張によりエージェントの状態空間が増大し、より複雑な問題にスケールアップできるだけでなく、冗長なデータや矛盾するデータを学習することで忘れるリスクも増大する。 大量のデータの近似を改善するために、リプレイメモリバッファに格納された過去の経験のランダムなミニバッチを各学習ステップで頻繁に再生する。
  論文  参考訳（メタデータ） (2019-12-29T20:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。