論文の概要: Memory Reward Inflation in Self-Improving LLM Agents

• arxiv url: http://arxiv.org/abs/2608.00017v1
• Date: Mon, 29 Jun 2026 12:20:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 00:28:56.909233
• Title: Memory Reward Inflation in Self-Improving LLM Agents
• Title（参考訳）: 自己改善LDM剤のメモリ・リワード・インフレーション
• Abstract要約: 自己改善エージェントは、重みを更新することなく経験から学ぶ。 各エピソードは外部メモリに格納され、スコア付けされ、同様の将来のタスクのために検索される。 デプロイメントでは、グラウンドトルースラベルは利用できないため、格納された報酬は、せいぜい評価である。
• 参考スコア（独自算出の注目度）: 1.4027589547318844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-improving LLM agents increasingly learn from experience without updating any weights. Each episode is stored in an external memory, scored, and retrieved for similar future tasks to shape later behavior. Viewed through a reward lens, the stored score is a proxy reward for an implicit, non-parametric policy. Each retrieved episode then becomes a policy-improvement step whose reliability hinges on how that score is produced. In deployment, ground-truth labels are unavailable, so the stored reward is at best an LLM assessment. This substitution creates a failure mode, the *Echo Gap*, across the memory-based self-improving agents and model families studied. Incorrect episodes receive inflated rewards; thus, the agent preferentially reuses the very mistakes it has most confident in. Because the error compounds through memory rather than averaging out and the confirming judge's errors remain correlated with the original self-grading bias, so it cannot identify which memories are overvalued. The missing property is formalized as the *Error-Independence Assumption* (EIA), which we prove is a *necessary* condition for correcting the inflation, not merely a description of a good verifier: a usable signal must track truth *and* decorrelate its error from the memory bias, and the recoverable payoff is a closed-form function of exactly those two quantities. We further show the inflation compounds not only when retrieval ranks by the stored score but also under plain similarity retrieval which is the regime the deployed agent uses. Finally, the answer-free de-inflation algorithm LUCID delivers a consistent end-to-end gain on the BIRD text-to-SQL benchmark. It raises execution accuracy to $56.9\%$, above both a Memento-style self-graded agent ($54.0\%$, a $+2.9$-point mean gain across seeds) and a memory-less agent of identical architecture ($52.4\%$).
• Abstract（参考訳）: 自己改善型LLMエージェントは、重みを更新することなく経験から学習する傾向にある。 各エピソードは、外部メモリに格納され、スコアされ、後の動作を形成するために、同様の将来のタスクのために検索される。 報酬レンズを通して見ると、記憶されたスコアは暗黙の非パラメトリックポリシーに対するプロキシ報酬である。 検索された各エピソードはポリシー改善ステップとなり、その信頼性はそのスコアの作り方に依存する。 配備では、地上のトラスラベルは利用できないので、格納された報酬は、せいぜいLLMアセスメントである。 この置換は、メモリベースの自己改善エージェントと研究されたモデルファミリーにまたがる障害モード*Echo Gap*を生成する。 不正確なエピソードは膨らませられた報酬を受け取り、エージェントは最も自信のあるミスを優先的に再利用する。 エラーは平均的なアウトではなくメモリを介して合成され、確認された裁判官のエラーは元の自己階調バイアスと相関しているため、どのメモリが過大評価されているかは特定できない。 欠落した特性は *Error-Independence Assumption* (EIA) として形式化され、これは単に良い検証器の記述ではなく、インフレーションを修正するための *necessary* 条件であると証明する。 さらに、蓄積されたスコアによる検索ランクだけでなく、デプロイされたエージェントが使用するレギュレーションであるプレーンな類似性検索においても、インフレーション化合物が示される。 最後に、回答のないデインフレーションアルゴリズムであるLUCIDは、BIRDのテキスト・トゥ・SQLベンチマークで一貫したエンドツーエンドのゲインを提供する。 実行精度は56.9\%(Mementoスタイルのセルフグレードエージェント(54.0\%$)と、同じアーキテクチャのメモリレスエージェント(52.4\%$)のどちらよりも高い。

関連論文リスト

• When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
  過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。 textbfBoundary-Aware Skill Memory (BASM)を提案する。 BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-23T10:16:06Z)
• Coupling Planning with Episodic Memory in LLM Agents for Software Issue Resolution [13.491535879221901]
  PMCoderは、階層的なフェーズプランナーとエピソードメモリを結合する問題解決エージェントである。 SWE-bench Verifiedでは、PMCoderはハーネスマッチングベースラインよりも平均25ドル高いケースを解決している。
  論文  参考訳（メタデータ） (2026-08-07T05:05:05Z)
• Causal Episodic Memory for Feedback-Driven Agent Repair [2.641347237473854]
  オラクル認証のオンライン双極性メモリを保守するトレーニングフリーエージェントであるMERITを紹介する。 負のメモリが適度に寄与することを示し、型条件付けと語彙ランク付けの値はデータセットに依存し、スキーマローカルエクスペリエンスが最も一貫した利点を提供する。
  論文  参考訳（メタデータ） (2026-08-06T11:34:03Z)
• Caching for the Future: Scrub Jay Episodic Memory Principles for Agent Memory Systems [5.321970297768025]
  既存の記憶アーキテクチャは、全ての記憶を、時代遅れの事実と共に、保存されたコンテキストを均等に永続的で体系的に汚染したものとして扱う。 メモリ当たりの時間減衰は,外部LLMエージェントメモリストアにおいて,自動分類係数$_i$として操作可能であることを示す。 本稿では,時間的一般化テスト(TGT)と,保持間隔を保ったベンチマーク,一般化ギャップ(GenGap)メトリクスを紹介する。
  論文  参考訳（メタデータ） (2026-08-05T12:12:44Z)
• MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
  我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。 我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。 私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
  論文  参考訳（メタデータ） (2026-06-23T13:52:46Z)
• Scaling Self-Evolving Agents via Parametric Memory [69.96398842169002]
  既存のメモリ拡張LDMエージェントは、過去の経験をプロンプト空間にのみ保存する。 自己進化型パラメトリックメモリフレームワークである textttTMEM を導入する。 textttTMEMは、様々なモデルスケールで要約ベースのベースラインと検索ベースのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-06-03T07:18:31Z)
• AlphaMemo: Structured Search-Process Memory for Self-Evolving Alpha Mining Agents [87.95001910627825]
  AlphaMemoは、Structured Search-Process Memoryを備えた自己進化型アルファマイニングエージェントである。 編集モチーフが機能するか、特定の親要素コンテキストで失敗するかに関する再利用可能な証拠を記録する。 CSI 500とS&P 500の実験では、サンプル外性能と固定予算発見効率が改善された。
  論文  参考訳（メタデータ） (2026-05-26T15:48:09Z)
• Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval [59.295767860331004]
  RF-Memは、親しみやすい不確実性誘導デュアルパスメモリレトリバーである。 それは、人間のようなデュアルプロセス認識をレトリバーに埋め込む。 一定の予算とレイテンシの制約の下で、ワンショット検索とフルコンテキスト推論を一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-10T06:31:44Z)
• Remember Me, Refine Me: A Dynamic Procedural Memory Framework for Experience-Driven Agent Evolution [52.76038908826961]
  我々は静的ストレージと動的推論のギャップを埋めるため、$textbfReMe$ ($textitRemember Me, Refine Me$)を提案する。 ReMeは3つのメカニズムを通じてメモリライフサイクルを革新する: $textitmulti-faceted distillation$, きめ細かい経験を抽出する。 BFCL-V3とAppWorldの実験では、ReMeが新しい最先端のエージェントメモリシステムを確立している。
  論文  参考訳（メタデータ） (2025-12-11T14:40:01Z)
• Memento: Fine-tuning LLM Agents without Fine-tuning LLMs [36.3424780932712]
  本稿では,適応型大言語モデル(LLM)エージェントのための新しい学習パラダイムを提案する。 本手法は,メモリベースのオンライン強化学習により,低コストで連続的な適応を可能にする。 我々はエージェントモデルを,GAIA検証でトップ1に達するemphMementoというディープリサーチ環境でインスタンス化する。
  論文  参考訳（メタデータ） (2025-08-22T07:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。