論文の概要: Diagnosing Retrieval vs. Utilization Bottlenecks in LLM Agent Memory
- arxiv url: http://arxiv.org/abs/2603.02473v1
- Date: Mon, 02 Mar 2026 23:47:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-04 21:38:10.576635
- Title: Diagnosing Retrieval vs. Utilization Bottlenecks in LLM Agent Memory
- Title(参考訳): LLMエージェント記憶における検索検索と利用ボトルネックの診断
- Abstract要約: 我々は、書き込み戦略、検索方法、メモリ利用行動における性能差がどのように現れるかを分析する。
LoCoMoでは、検索方法が主流である。
フェール分析は、パフォーマンスの低下が、利用ではなく、検索段階で最も多く現れることを示している。
- 参考スコア(独自算出の注目度): 6.493102878734374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory-augmented LLM agents store and retrieve information from prior interactions, yet the relative importance of how memories are written versus how they are retrieved remains unclear. We introduce a diagnostic framework that analyzes how performance differences manifest across write strategies, retrieval methods, and memory utilization behavior, and apply it to a 3x3 study crossing three write strategies (raw chunks, Mem0-style fact extraction, MemGPT-style summarization) with three retrieval methods (cosine, BM25, hybrid reranking). On LoCoMo, retrieval method is the dominant factor: average accuracy spans 20 points across retrieval methods (57.1% to 77.2%) but only 3-8 points across write strategies. Raw chunked storage, which requires zero LLM calls, matches or outperforms expensive lossy alternatives, suggesting that current memory pipelines may discard useful context that downstream retrieval mechanisms fail to compensate for. Failure analysis shows that performance breakdowns most often manifest at the retrieval stage rather than at utilization. We argue that, under current retrieval practices, improving retrieval quality yields larger gains than increasing write-time sophistication. Code is publicly available at https://github.com/boqiny/memory-probe.
- Abstract(参考訳): メモリ拡張LDMエージェントは、以前のインタラクションから情報を格納し、取得するが、メモリの書き方と取得方法の相対的な重要性は、まだ不明である。
本稿では,書き込み戦略,検索方法,メモリ利用行動間でのパフォーマンス差がどのように現れるかを分析し,それを3つの書き込み戦略(生チャンク,Mem0スタイルの事実抽出,MemGPTスタイルの要約)を3つの検索手法(コサイン,BM25,ハイブリッドリランク)で横断する3x3研究に適用する。
LoCoMoでは、平均精度は検索方法(57.1%から77.2%)にまたがるが、書き込み戦略全体ではわずか3~8ポイントである。
現在のメモリパイプラインは、下流の検索機構が補うことができない有用なコンテキストを捨てる可能性があることを示唆している。
フェール分析は、パフォーマンスの低下が、利用ではなく、検索段階で最も多く現れることを示している。
現状の検索手法では,検索精度の向上は書き込み時間の高度化よりも大きな利益をもたらすと論じている。
コードはhttps://github.com/boqiny/Memory-probe.comで公開されている。
関連論文リスト
- Where to Look and What to Use: Retrieve-Localize-Generate for Long-Term Conversational Memory Question Answering [42.31517185994942]
RAGは、外部知識にアクセスすることによって、大きな言語モデルで質問に答えることを可能にする。
既存の方法は、時間的に離れたセッションに散在する断片化されたエビデンスと、中途半端な効果を誘発する検索セッション内のノイズのある内容の2つの主要な課題に悩まされている。
本稿では,長期会話メモリQAのための検索・ローカライズ・ジェネレーション統合フレームワークであるMemLocを提案する。
論文 参考訳(メタデータ) (2026-09-07T06:32:12Z) - Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳(メタデータ) (2026-07-15T08:32:40Z) - Learning to Retrieve: Dual-Level Long-Term Memory for Text-to-SQL Agents [63.38073530162493]
長期記憶は、エージェントが過去の経験を再利用するのに役立つ。
静的メソッドは、下流ユーティリティを最適化しない固定された類似性に依存します。
動的マルチ水平メモリ検索フレームワークであるMERITを提案する。
論文 参考訳(メタデータ) (2026-05-30T05:44:34Z) - MGRetrieval: Memory-Guided Reflective Retrieval for Long-Term Dialogue Agents [10.248580356955085]
大規模言語モデル(LLM)は対話において大きな進歩を遂げているが、冗長なメモリコンテキストはそれらの有効性を制限している。
歴史的記憶の意味構造における反射的検索を基盤とした検索戦略であるMGRetrievalを提案する。
LoCoMoの大規模な実験により、MGRetrievalはF1の8.91%、BLEU-1の11.11%で最強のベースラインを上回った。
論文 参考訳(メタデータ) (2026-05-22T14:41:56Z) - iCoRe: An Iterative Correlation-Aware Retriever for Bug Reproduction Test Generation [10.824024745675281]
iCoReは反復的相関型コンテキスト検索手法である。
本手法はFail-to-Passレートをそれぞれ42.0%,52.8%とする。
論文 参考訳(メタデータ) (2026-04-21T08:26:30Z) - MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
大きな言語モデル(LLM)は、長期化タスクにますます使われています。
現在の手法はコストと精度のトレードオフに直面している。
MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
論文 参考訳(メタデータ) (2026-03-03T02:57:38Z) - NextMem: Towards Latent Factual Memory for LLM-based Agents [58.35585202907478]
NextMemは、自動回帰型オートエンコーダを使用して、潜時メモリを効率的に構築する、潜時ファクトメモリフレームワークである。
大規模な実験は、NextMemが優れたパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2026-02-26T14:35:27Z) - Beyond Chunk-Then-Embed: A Comprehensive Taxonomy and Evaluation of Document Chunking Strategies for Information Retrieval [37.055995647350784]
本稿では,文書チャンキングにおける先行研究を再現し,既存の戦略を統一する体系的枠組みを提案する。
評価の結果,最適なチャンキング戦略はタスク依存であることがわかった。
論文 参考訳(メタデータ) (2026-02-19T00:27:15Z) - SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。
本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。
ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2026-01-05T21:02:49Z) - MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning [73.27233666920618]
本稿では,メモリを反復的に保持し,現在のターンと組み合わせたエージェントワークフローであるMemSearcherを提案する。
それぞれのターンで、MemSearcherはユーザーの質問をメモリに融合させ、推論トレースを生成し、検索アクションを実行し、メモリを更新してタスクの解決に必要な情報のみを保持する。
我々は,MemSearcher Agents の推論,検索戦略,メモリ管理を協調的に最適化する,エンドツーエンドの RL フレームワークである Multi-context GRPO を紹介する。
論文 参考訳(メタデータ) (2025-11-04T18:27:39Z) - Look Back to Reason Forward: Revisitable Memory for Long-Context LLM Agents [33.617262543252494]
本稿では、メモリ履歴全体からの選択的検索を可能にするコールバック強化メモリを備えたメモリ拡張エージェントReMemR1を提案する。
また,RLMLR(Reinforcement Learning with Multi-Level Rewards)を提案する。
論文 参考訳(メタデータ) (2025-09-27T01:36:46Z) - Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。
Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
論文 参考訳(メタデータ) (2025-02-18T15:56:34Z) - A Gradient Accumulation Method for Dense Retriever under Memory Constraint [7.314901185604559]
Contrastive Accumulation (ContAccum) は高密度レトリバーの安定かつ効率的なメモリ削減手法である。
広く使われている5つの情報検索データセットの実験は、ContAccumが既存のメモリ削減手法だけでなく、高リソースシナリオを克服できることを示している。
論文 参考訳(メタデータ) (2024-06-18T07:41:11Z) - RMM: Reinforced Memory Management for Class-Incremental Learning [102.20140790771265]
クラスインクリメンタルラーニング(CIL)は、厳格な記憶予算の下で分類器を訓練する。
既存のメソッドは静的およびアドホックな戦略を使ってメモリ割り当てを行うが、これはしばしば準最適である。
本稿では,段階的な段階と異なるオブジェクトクラスに最適化された動的メモリ管理戦略を提案する。
論文 参考訳(メタデータ) (2023-01-14T00:07:47Z) - Injecting Domain Adaptation with Learning-to-hash for Effective and
Efficient Zero-shot Dense Retrieval [49.98615945702959]
我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。
以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
論文 参考訳(メタデータ) (2022-05-23T17:53:44Z) - Recall@k Surrogate Loss with Large Batches and Similarity Mixup [62.67458021725227]
微分不可能な場合、評価計量の勾配降下による直接最適化は不可能である。
本研究は,リコールにおける相異なるサロゲート損失を提案する。
提案手法は,複数の画像検索ベンチマークにおいて最先端の結果を得る。
論文 参考訳(メタデータ) (2021-08-25T11:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。