論文の概要: From Experience to Strategy: Empowering LLM Agents with Trainable Graph Memory

• arxiv url: http://arxiv.org/abs/2511.07800v1
• Date: Wed, 12 Nov 2025 01:19:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.483272
• Title: From Experience to Strategy: Empowering LLM Agents with Trainable Graph Memory
• Title（参考訳）: 経験から戦略へ - トレーニング可能なグラフメモリによるLLMエージェントの強化
• Authors: Siyu Xia, Zekun Xu, Jiajun Chai, Wentian Fan, Yan Song, Xiaohan Wang, Guojun Yin, Wei Lin, Haifeng Zhang, Jun Wang,
• Abstract要約: 大規模言語モデル(LLM)に基づくエージェントは、自律的なタスク解決において顕著な可能性を示している。 本稿では,エージェント中心型,トレーニング可能な,多層グラフメモリフレームワークを提案する。 コンテクストメモリがLLMの情報活用能力をいかに向上させるかを示す。
• 参考スコア（独自算出の注目度）: 48.22750809620306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) based agents have demonstrated remarkable potential in autonomous task-solving across complex, open-ended environments. A promising approach for improving the reasoning capabilities of LLM agents is to better utilize prior experiences in guiding current decisions. However, LLMs acquire experience either through implicit memory via training, which suffers from catastrophic forgetting and limited interpretability, or explicit memory via prompting, which lacks adaptability. In this paper, we introduce a novel agent-centric, trainable, multi-layered graph memory framework and evaluate how context memory enhances the ability of LLMs to utilize parametric information. The graph abstracts raw agent trajectories into structured decision paths in a state machine and further distills them into high-level, human-interpretable strategic meta-cognition. In order to make memory adaptable, we propose a reinforcement-based weight optimization procedure that estimates the empirical utility of each meta-cognition based on reward feedback from downstream tasks. These optimized strategies are then dynamically integrated into the LLM agent's training loop through meta-cognitive prompting. Empirically, the learnable graph memory delivers robust generalization, improves LLM agents' strategic reasoning performance, and provides consistent benefits during Reinforcement Learning (RL) training.
• Abstract（参考訳）: LLM(Large Language Models)ベースのエージェントは、複雑でオープンな環境での自律的なタスク解決において、顕著な可能性を示している。 LLMエージェントの推論能力を改善するための有望なアプローチは、現在の決定を導く上で、事前の経験をより活用することである。 しかし、LLMはトレーニングを通じて暗黙の記憶を得られるが、これは破滅的な忘れ込みと限定的な解釈性、あるいは適応性に欠けるプロンプトによる明示的な記憶に悩まされる。 本稿では,エージェント中心でトレーニング可能な多層グラフメモリフレームワークを提案する。 このグラフは、生エージェントの軌跡を状態機械の構造化された決定経路に抽象化し、それらを高レベルで人間の解釈可能な戦略的メタ認知に蒸留する。 メモリを適応させるために,下流タスクからの報酬フィードバックに基づいて,各メタ認知の経験的有用性を推定する強化型重み最適化手法を提案する。 これらの最適化された戦略は、メタ認知的プロンプトを通じてLLMエージェントのトレーニングループに動的に統合される。 経験的に、学習可能なグラフメモリは堅牢な一般化を提供し、LLMエージェントの戦略的推論性能を改善し、強化学習(RL)トレーニング中に一貫した利点を提供する。

関連論文リスト

• Learn to Memorize: Optimizing LLM-based Agents with Adaptive Memory Framework [33.739298910759544]
  メモリサイクルをモデル化し,適応型・データ駆動型メモリフレームワークを用いたLCMエージェントの最適化を提案する。 具体的には、メモリ検索を容易にするためのMoEゲート関数を設計し、メモリ利用を改善するための学習可能な集約プロセスを提案し、メモリ記憶に適応するためのタスク固有のリフレクションを開発する。
  論文  参考訳（メタデータ） (2025-08-15T12:22:52Z)
• Feedback-Induced Performance Decline in LLM-Based Decision-Making [6.5990946334144756]
  大規模言語モデル(LLM)は、自然言語の問題記述からコンテキストを抽出することができる。 本稿では,マルコフ決定過程(MDP)におけるこれらのモデルの挙動について考察する。
  論文  参考訳（メタデータ） (2025-07-20T10:38:56Z)
• ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [53.817538122688944]
  Reinforced Meta-thinking Agents (ReMA) を導入し,Large Language Models (LLMs) の推論からメタ思考行動を求める。 ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。 単ターン実験による実験結果から、ReMAは複雑な推論タスクにおいて単エージェントRLベースラインよりも優れることが示された。
  論文  参考訳（メタデータ） (2025-03-12T16:05:31Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents [18.369668601864575]
  AriGraphは、環境を探索しながら意味記憶とエピソード記憶を統合するメモリグラフである。 我々は,Ariadne LLMエージェントが対話型テキストゲーム環境における複雑なタスクを,人間プレイヤーでも効果的に処理できることを実証した。
  論文  参考訳（メタデータ） (2024-07-05T09:06:47Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。