論文の概要: MemDev-Bench: Does Memory Help Code Agents?Benchmarking Memory Systems over Real Repository Histories

• arxiv url: http://arxiv.org/abs/2610.27524v1
• Date: Tue, 20 Oct 2026 02:39:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.590962
• Title: MemDev-Bench: Does Memory Help Code Agents?Benchmarking Memory Systems over Real Repository Histories
• Title（参考訳）: MemDev-Bench: メモリはコードエージェントに役立つか?
• Abstract要約: 本稿では,メモリシステムがさまざまなリポジトリ履歴に対してコードエージェントに与える影響を評価するためにMemDev-Benchを提案する。 MemDev-Benchをベースとして,メモリシステムの系統的評価を行った。
• 参考スコア（独自算出の注目度）: 51.50022165666403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code agents increasingly work on evolving real repositories, and memory systems aim to help them reuse earlier experience. However, such experience is diverse and evolving, so it remains unclear how memory systems organize it and thereby affect code agents. Existing benchmarks cannot answer this reliably because they lack either temporally valid histories or control over prior-task relevance. In this paper, we present MemDev-Bench to evaluate how memory systems affect code agents over diverse repository histories. It pairs each task with relevance-annotated earlier tasks from the same repository to build histories with controlled relevance. We also build an automated pipeline that reliably makes these earlier tasks executable and verifiable, producing 4,869 historical tasks for 555 base tasks. Based on MemDev-Bench, our systematic evaluation of memory systems across diverse development scenarios yields three main findings. (1) Memory mainly improves fine-grained localization and editing, increasing functional correctness. (2) Memory also causes failures on otherwise solvable tasks even with related history, and unrelated history tends to increase such failures. These failures mainly stem from agents reusing memory without reassessing its applicability. (3) Compared with using memory systems, directly providing agents with raw historical trajectories substantially reduces their steps. Further analysis suggests that agents save these steps by reusing process information that compressed memories tend to omit. These results suggest that future memory systems should preserve process information and reassess memory applicability against current task context.
• Abstract（参考訳）: コードエージェントは、実際のリポジトリの進化にますます取り組んでおり、メモリシステムは、より早い経験の再利用を支援することを目指している。 しかし、そのような経験は多種多様であり進化しているため、メモリシステムがどうやってそれを整理し、コードエージェントに影響を与えるのかは不明だ。 既存のベンチマークでは、時間的に有効な履歴や事前タスクの関連性に対する制御が欠如しているため、これを確実に答えることができない。 本稿では,メモリシステムがどのようにコードエージェントに影響を与えるかを評価するために,MemDev-Benchを提案する。 それぞれのタスクを、同じリポジトリから関連付けされた以前のタスクと組み合わせて、制御された関連性を持つ履歴を構築する。 また、これらの初期のタスクを確実に実行可能で検証可能な自動化パイプラインを構築し、555のベースタスクに対して4,869の履歴タスクを生成します。 MemDev-Benchをベースとして,多様な開発シナリオにおけるメモリシステムの体系的評価を行った。 1)メモリは主に微粒なローカライゼーションと編集を改善し,機能的正しさを高めている。 2) メモリは、関連する履歴であっても、他の解決可能なタスクに障害を引き起こす。 これらの障害は主に、その適用性を再評価することなく、メモリを再利用するエージェントに起因している。 (3) メモリシステムと比べ, 生の履歴軌跡をエージェントに直接提供することにより, 歩数を大幅に削減できる。 さらなる分析は、圧縮された記憶が省略される傾向にあるプロセス情報を再利用することで、エージェントがこれらのステップを保存することを示唆している。 これらの結果は、将来のメモリシステムはプロセス情報を保存し、現在のタスクコンテキストに対してメモリ適用性を再評価する必要があることを示唆している。

関連論文リスト

• VibeMemBench: Evaluating Memory Systems for Coding Agents on Real Repository Coding Tasks [74.71365175490853]
  我々は90のSWE-rebench V2レポジトリから111のコーディングターゲットのメモリシステムを評価するベンチマークであるVibeMemBenchを紹介する。 ターゲットはSWEベンチマークスタイルに従い、バグ修正、機能要求、インターフェースの変更、設定作業をカバーする。 ダイレクトインジェクションは、4つのタスクの解像度を1.1から4.5ポイント引き上げ、エージェントステップを5つに下げる。しかし、4つの既存のメモリシステムが同じ履歴から経験を構築・取得しなければならない場合、12のソルバのうち11のシステムペアリングは一致したメモリオフベースラインを超えない。
  論文  参考訳（メタデータ） (2026-09-20T11:44:03Z)
• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• MemSyco-Bench: Benchmarking Sycophancy in Agent Memory [32.49512092540906]
  MemSyco-Benchは、エージェントシステムにおけるメモリ誘起性を評価するためのベンチマークである。 MemSyco-Benchは、いつメモリが決定に影響を及ぼすか、どのように有効なメモリを使用するかを測定する。
  論文  参考訳（メタデータ） (2026-07-01T15:30:33Z)
• WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
  マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。 既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。 マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
  論文  参考訳（メタデータ） (2026-05-28T04:27:20Z)
• EvoMemBench: Benchmarking Agent Memory from a Self-Evolving Perspective [21.66000179149483]
  EvoMemBenchは、メモリスコープとメモリ内容の2つの軸に沿って編成された統一ベンチマークである。 本稿では,15個の代表記憶法と強い長文ベースラインを標準プロトコルで比較する。 結果は、現在のメモリシステムは、まだ一般的な解決策には程遠いことを示している。
  論文  参考訳（メタデータ） (2026-05-18T13:54:38Z)
• MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
  メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。 マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。 MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
  論文  参考訳（メタデータ） (2026-02-18T09:49:14Z)
• Enhancing Conversational Agents via Task-Oriented Adversarial Memory Adaptation [64.69535903624033]
  本稿では,タスク実行をシミュレートすることで,メモリ構築と更新をタスク目標と整合させるアダクティブメモリ適応機構を提案する。 AMAは、様々な既存のメモリシステムに統合することができ、LongダイアログベンチマークであるLoCoMoの広範な実験により、その効果が示されている。
  論文  参考訳（メタデータ） (2026-01-29T14:42:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。