論文の概要: VibeMemBench: Evaluating Memory Systems for Coding Agents on Real Repository Coding Tasks

• arxiv url: http://arxiv.org/abs/2609.23570v1
• Date: Sun, 20 Sep 2026 11:44:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.859957
• Title: VibeMemBench: Evaluating Memory Systems for Coding Agents on Real Repository Coding Tasks
• Title（参考訳）: VibeMemBench:リアルリポジトリコーディングタスクにおけるコーディングエージェントのメモリシステム評価
• Abstract要約: 我々は90のSWE-rebench V2レポジトリから111のコーディングターゲットのメモリシステムを評価するベンチマークであるVibeMemBenchを紹介する。 ターゲットはSWEベンチマークスタイルに従い、バグ修正、機能要求、インターフェースの変更、設定作業をカバーする。 ダイレクトインジェクションは、4つのタスクの解像度を1.1から4.5ポイント引き上げ、エージェントステップを5つに下げる。しかし、4つの既存のメモリシステムが同じ履歴から経験を構築・取得しなければならない場合、12のソルバのうち11のシステムペアリングは一致したメモリオフベースラインを超えない。
• 参考スコア（独自算出の注目度）: 74.71365175490853
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coding agents operate on real repository coding tasks, and persistent memory systems promise to reuse experience across tasks. Yet existing evaluations do not show whether those systems improve executable repository work. Repository benchmarks test code changes but do not isolate memory, while memory benchmarks score recall without measuring downstream coding outcomes. We introduce VibeMemBench, a benchmark for evaluating memory systems on 111 coding targets from 90 SWE-rebench V2 repositories and 3,634 history trajectories from the target repositories. The targets follow the SWE benchmark style and cover bug fixes, feature requests, interface changes, and configuration work. An agent edits each target codebase under a declared memory condition. Executable tests decide task resolution. Each target is retained only when injected history experience improves its executable outcome in a reference setting, so every target carries a prior experience whose usefulness is verified by execution in that setting. The frozen verified experience is then transferred to five held-out solvers. Direct injection raises observed task resolution on four of them by 1.1 to 4.5 percentage points while lowering agent steps on all five. Yet when four existing memory systems must construct and retrieve experience from the same history, eleven of twelve solver and system pairings fail to exceed the matched memory-off baseline. VibeMemBench exposes the gap between the useful experience that repository history holds and the experience existing memory systems deliver for repository coding tasks.
• Abstract（参考訳）: コーディングエージェントは実際のリポジトリコーディングタスクで動作し、永続メモリシステムはタスク間のエクスペリエンスを再利用することを約束する。 しかし、既存の評価では、これらのシステムが実行可能なリポジトリ作業を改善するかどうかは示されていない。 Repositoryはテストコードの変更をベンチマークするが、メモリを分離しない。 我々は90のSWE-rebench V2レポジトリと3,634の履歴トラジェクトリから111のコーディング対象のメモリシステムを評価するベンチマークであるVibeMemBenchを紹介した。 ターゲットはSWEベンチマークスタイルに従い、バグ修正、機能要求、インターフェースの変更、設定作業をカバーする。 エージェントは、宣言されたメモリ条件下で各ターゲットコードベースを編集する。 実行可能なテストはタスク解決を決定する。 それぞれのターゲットは、注入された履歴体験が参照設定で実行結果を改善する場合にのみ保持されるので、各ターゲットは、その設定の実行によって有用性が検証される事前エクスペリエンスを運ぶ。 凍結した検証された経験は、5つのホールドアウト・ソルバに転送される。 直接注射は、4つのタスクの分解能を1.1から4.5ポイント上昇させ、5つのエージェントステップを低下させる。 しかし、4つの既存のメモリシステムが同じ履歴から経験を構築・取得しなければならない場合、12のソルバとシステムペアリングのうち11は一致したメモリオフベースラインを超えない。 VibeMemBenchは、リポジトリ履歴が持つ有用なエクスペリエンスと、既存のメモリシステムがリポジトリのコーディングタスクに提供するエクスペリエンスのギャップを明らかにする。

関連論文リスト

• MemSecBench: Tracking Agent Memory Poisoning from Persistence to Consequence and Repair [11.307480451677145]
  メモリシステムは、エージェントが過去のインタラクションから情報を保持、再利用することを可能にするが、悪意のあるコンテンツを持続させることもできる。 最近のベンチマークでは、エージェントメモリのセキュリティがますます調査されているが、永続性、下流の結果、選択的な修復など、同じ悪意のあるセマンティクスをトレースするケースはほとんどない。 MemSecBenchはエージェントメモリシステムのライフサイクルセキュリティのベンチマークである。
  論文  参考訳（メタデータ） (2026-07-29T16:06:54Z)
• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
  ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。 MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。 長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
  論文  参考訳（メタデータ） (2026-07-14T15:33:44Z)
• MemSyco-Bench: Benchmarking Sycophancy in Agent Memory [32.49512092540906]
  MemSyco-Benchは、エージェントシステムにおけるメモリ誘起性を評価するためのベンチマークである。 MemSyco-Benchは、いつメモリが決定に影響を及ぼすか、どのように有効なメモリを使用するかを測定する。
  論文  参考訳（メタデータ） (2026-07-01T15:30:33Z)
• MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
  我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。 我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。 私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
  論文  参考訳（メタデータ） (2026-06-23T13:52:46Z)
• LongMemEval-V2: Evaluating Long-Term Agent Memory Toward Experienced Colleagues [80.29362825271768]
  LongMemEval-V2は、メモリシステムが、カスタマイズされた環境で知識のある同僚になるために必要な経験を得るのに役立つかどうかを評価するためのベンチマークである。 LME-V2には、Webエージェントの5つのコアメモリ能力をカバーする451の質問が含まれている。 AgentRunbook-Rは生の状態観察,イベント,戦略ノートのための知識プールを備えた,効率的なRAGベースのメモリであり,AgentRunbook-Cはトラジェクトリをファイルとして格納し,コードエージェントを起動して,拡張サンドボックスに証拠を収集する。
  論文  参考訳（メタデータ） (2026-05-12T17:59:34Z)
• MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
  メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。 マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。 MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
  論文  参考訳（メタデータ） (2026-02-18T09:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。