論文の概要: HiAgent: Hierarchical Working Memory Management for Solving Long-Horizon Agent Tasks with Large Language Model

• arxiv url: http://arxiv.org/abs/2408.09559v1
• Date: Sun, 18 Aug 2024 17:59:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 18:14:04.004929
• Title: HiAgent: Hierarchical Working Memory Management for Solving Long-Horizon Agent Tasks with Large Language Model
• Title（参考訳）: HiAgent: 大規模言語モデルによる長距離エージェントタスク解決のための階層型ワーキングメモリ管理
• Authors: Mengkang Hu, Tianxing Chen, Qiguang Chen, Yao Mu, Wenqi Shao, Ping Luo,
• Abstract要約: HiAgentは、サブゴールをメモリチャンクとして活用して、LLM(Large Language Model)ベースのエージェントの動作メモリを階層的に管理するフレームワークである。 その結果,HiAgentは成功率を2倍に向上し,平均ステップ数を3.8倍に削減した。
• 参考スコア（独自算出の注目度）: 39.169389255970806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM)-based agents exhibit significant potential across various domains, operating as interactive systems that process environmental observations to generate executable actions for target tasks. The effectiveness of these agents is significantly influenced by their memory mechanism, which records historical experiences as sequences of action-observation pairs. We categorize memory into two types: cross-trial memory, accumulated across multiple attempts, and in-trial memory (working memory), accumulated within a single attempt. While considerable research has optimized performance through cross-trial memory, the enhancement of agent performance through improved working memory utilization remains underexplored. Instead, existing approaches often involve directly inputting entire historical action-observation pairs into LLMs, leading to redundancy in long-horizon tasks. Inspired by human problem-solving strategies, this paper introduces HiAgent, a framework that leverages subgoals as memory chunks to manage the working memory of LLM-based agents hierarchically. Specifically, HiAgent prompts LLMs to formulate subgoals before generating executable actions and enables LLMs to decide proactively to replace previous subgoals with summarized observations, retaining only the action-observation pairs relevant to the current subgoal. Experimental results across five long-horizon tasks demonstrate that HiAgent achieves a twofold increase in success rate and reduces the average number of steps required by 3.8. Additionally, our analysis shows that HiAgent consistently improves performance across various steps, highlighting its robustness and generalizability. Project Page: https://github.com/HiAgent2024/HiAgent .
• Abstract（参考訳）: 大規模言語モデル(LLM)をベースとしたエージェントは、環境観測を処理し、目的のタスクに対して実行可能なアクションを生成するインタラクティブシステムとして機能し、様々な領域において大きなポテンシャルを示す。 これらのエージェントの有効性は、過去の経験をアクション・オブザーブレーション・ペアのシーケンスとして記録する記憶機構に大きく影響されている。 メモリは、複数の試行にまたがって蓄積されるクロス・トライアルメモリと、単一の試行に蓄積されるイン・トライアルメモリ(ワークメモリ)の2つのタイプに分類される。 多くの研究が心房間メモリにより性能を最適化しているが、作業メモリ利用の改善によるエージェント性能の向上はいまだに未調査である。 代わりに、既存のアプローチでは、歴史的アクション・オブザーブレーションペア全体をLSMに直接入力することが多く、長い水平タスクの冗長性をもたらす。 本稿では,人間の問題解決戦略に触発されて,サブゴールをメモリチャンクとして活用し,LLMエージェントの動作メモリを階層的に管理するフレームワークであるHiAgentを紹介する。 特に、HiAgentは、実行可能アクションを生成する前にLDMにサブゴールを定式化するよう促し、LCMが既存のサブゴールを要約された観察で積極的に置き換えることを可能にし、現在のサブゴールに関連するアクション・オブザーブレーションペアのみを保持する。 5つの長期タスクに対する実験結果から、HiAgentは成功率を2倍に向上し、平均ステップ数を3.8に削減することを示した。 さらに、分析の結果、HiAgentはさまざまなステップにわたるパフォーマンスを一貫して改善し、その堅牢性と一般化性を強調しています。 Project Page: https://github.com/HiAgent2024/HiAgent

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• HiMemFormer: Hierarchical Memory-Aware Transformer for Multi-Agent Action Anticipation [39.92192685576485]
  オンラインマルチエージェントアクション予測のためのトランスモデルであるHiMemFormer(HiMemFormer)を提案する。 HiMemFormerは、アクション予測におけるノイズや冗長な情報を避けるために、エージェント固有の好みでグローバルコンテキストを適用する。
  論文  参考訳（メタデータ） (2024-11-03T06:33:37Z)
• AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents [52.13695464678006]
  本研究は, 観察空間と行動空間を簡略化することで, LLMベースのWebエージェントを強化する。 AgentOccam は以前の最先端および同時処理を 9.8 (+29.4%) と 5.9 (+15.8%) で上回っている。
  論文  参考訳（メタデータ） (2024-10-17T17:50:38Z)
• MLLM as Retriever: Interactively Learning Multimodal Retrieval for Embodied Agents [28.419007116364668]
  MLLMエージェントは、マルチモーダルなタスク関連軌道データを取得することで、複雑なエンボディされたタスクの可能性を実証する。 現在の検索手法は、主に軌跡におけるテキストや視覚的手がかりの表面レベルでの類似性に注目し、その特定のタスクに対する有効性を無視している。 本稿では,MLLMレシーバを微調整するためのインタラクションデータを活用することで,組込みエージェントの性能を向上させる新しい手法であるMLLM as ReTriever (MART)を提案する。
  論文  参考訳（メタデータ） (2024-10-04T14:10:39Z)
• Performant, Memory Efficient and Scalable Multi-Agent Reinforcement Learning [3.676220008456203]
  Sableは、Retentive NetworksからMARLへの保持機構を適応させる新しいアルゴリズムである。 Sableは、タスクの大部分で既存の最先端メソッドを大幅に上回る。
  論文  参考訳（メタデータ） (2024-10-02T16:15:26Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• A Survey on the Memory Mechanism of Large Language Model based Agents [66.4963345269611]
  大規模言語モデル(LLM)に基づくエージェントは、最近、研究や産業コミュニティから多くの注目を集めている。 LLMベースのエージェントは、現実の問題を解決する基礎となる自己進化能力に特徴付けられる。 エージェント-環境相互作用をサポートする重要なコンポーネントは、エージェントのメモリである。
  論文  参考訳（メタデータ） (2024-04-21T01:49:46Z)
• Learning Graph-Enhanced Commander-Executor for Multi-Agent Navigation [28.71585436726336]
  マルチエージェント強化学習(MARL)では,この問題の解決に有望な結果が得られた。 目標条件付き階層型強化学習(HRL)は、この課題に取り組むための有望な方向性を提供する。 マルチエージェントナビゲーションタスクのためのグラフベースのゴール条件階層手法であるMAGE-Xを提案する。
  論文  参考訳（メタデータ） (2023-02-08T14:44:21Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。