論文の概要: The Memory Trap: Language Agents Overgeneralize from Benign Interactions

• arxiv url: http://arxiv.org/abs/2611.07554v1
• Date: Thu, 05 Nov 2026 07:01:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.577036
• Title: The Memory Trap: Language Agents Overgeneralize from Benign Interactions
• Title（参考訳）: メモリトラップ: 言語エージェントは、良質な相互作用から過度に一般化する
• Abstract要約: 良質な相互作用からのメモリは、後続のタスクにおいて安全でない、あるいは信頼性の低い振る舞いを引き起こす可能性があることを示す。 セッションの振る舞いを、6つのフロンティアモデル間でメモリなしで比較します。
• 参考スコア（独自算出の注目度）: 9.348905519856189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language agents increasingly use persistent memory to record user preferences and procedures across sessions. We show that memory from benign interactions can cause unsafe or unreliable behavior on later tasks. We call this failure the memory trap. To study this issue, we compare behavior in sessions with and without memory across six frontier models (including Claude Sonnet, Opus, and Fable models and GPT-5.6). We evaluate these models in a range of settings. First, in autonomy experiments, we find that requests to skip confirmation during low-stakes coding chores lead agents to skip confirmation and verification on simulated high-stakes tasks in both coding and everyday life. We next study memories formed when users seek emotional support, or describe harm from uncritical feedback, and find these memories bias later judgments of mathematical work, arguments, and poems toward sycophancy or over-critique (respectively). Memory notes written during legitimate stale-test repairs lead agents to weaken correct tests that catch broken safeguards; these memories also increase cheating on ImpossibleBench, with larger increases for stronger Sonnet and Opus models. We show that memory traps can arise both from overgeneralizations in memory writing, and when acting on memory. These findings demonstrate that even benign interactions can lead to serious risks from memory systems, and thus motivate the need for new research into ensuring that agents preserve the scope of their memories.
• Abstract（参考訳）: 言語エージェントは、セッション間でのユーザの好みや手順を記録するために、永続メモリをますます利用します。 良質な相互作用からのメモリは、後続のタスクにおいて安全でない、あるいは信頼性の低い振る舞いを引き起こす可能性があることを示す。 私たちはこの障害をメモリトラップと呼んでいる。 この問題を研究するために、セッション中の動作を6つのフロンティアモデル(Claude Sonnet、Opus、Fableモデル、GPT-5.6など)でメモリなしで比較する。 これらのモデルをさまざまな設定で評価する。 まず, 自律的な実験では, コーディングと日常生活の双方において, シミュレーションされたハイテイクタスクの確認と検証を省略するために, コーディングコレの少ないエージェントによる確認を省略する要求があることがわかった。 次に,ユーザが感情的支援を求めるとき,あるいは非批判的フィードバックによる害を記述した場合に発生する記憶について考察し,これらの記憶の偏りを後に数学的作業や議論,詩の梅毒や過度批判に対する偏見を見出す。 これらのメモリはImpossibleBenchでの不正行為も増加し、より強力なSonnetとOpusモデルが増加した。 メモリ書き込みにおける過剰一般化とメモリ上での動作の両方からメモリトラップが生じる可能性があることを示す。 これらの知見は、良心的な相互作用でさえ記憶システムから深刻なリスクを生じさせ、エージェントが記憶の範囲を維持するための新たな研究の必要性を動機付けていることを示している。

関連論文リスト

• MemDev-Bench: Does Memory Help Code Agents?Benchmarking Memory Systems over Real Repository Histories [51.50022165666403]
  本稿では,メモリシステムがさまざまなリポジトリ履歴に対してコードエージェントに与える影響を評価するためにMemDev-Benchを提案する。 MemDev-Benchをベースとして,メモリシステムの系統的評価を行った。
  論文  参考訳（メタデータ） (2026-10-20T02:39:26Z)
• Beyond the Shadows of Plato's Cave: Evaluating False Memory in Autonomous Agents via Counterfactual Reasoning [90.354889777866]
  我々は,素早い相関関係,環境変化,知識衝突から生じるテクスタイス・メモリを定式化する。 本稿では,反実的推論に基づくエージェント信念の進化を通じて,虚偽記憶を評価する学習自由フレームワークFAMEを提案する。
  論文  参考訳（メタデータ） (2026-09-30T10:35:41Z)
• MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use [30.64715962774191]
  既存のメモリベンチマークは、情報が正しく抽出され、保存され、検索されるかどうかを主に評価する。 記憶によって引き起こされる認知的トラップは、忠実に記録され、意味的に関連する記憶でさえ、モデル推論を歪ませることができる。 本稿では,LLMにメモリトラップを回避するためのシンプルな推論時間手法であるAdaptiveMemを提案する。
  論文  参考訳（メタデータ） (2026-08-20T16:00:17Z)
• MemSyco-Bench: Benchmarking Sycophancy in Agent Memory [32.49512092540906]
  MemSyco-Benchは、エージェントシステムにおけるメモリ誘起性を評価するためのベンチマークである。 MemSyco-Benchは、いつメモリが決定に影響を及ぼすか、どのように有効なメモリを使用するかを測定する。
  論文  参考訳（メタデータ） (2026-07-01T15:30:33Z)
• WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
  マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。 既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。 マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
  論文  参考訳（メタデータ） (2026-05-28T04:27:20Z)
• MemGuard: Preventing Memory Contamination in Long-Term Memory-Augmented Large Language Models [56.31411457917676]
  本稿では,メモリ構築と検索において,機能的メモリ境界を保存するタイプアウェアメモリフレームワークであるMemGuardを紹介する。 幻覚と長期会話のベンチマーク全体で、MemGuardはメモリの信頼性を最大28.27%向上し、メモリトークンは以前の方法より5.8倍少ない。
  論文  参考訳（メタデータ） (2026-05-27T06:04:19Z)
• MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
  メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。 マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。 MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
  論文  参考訳（メタデータ） (2026-02-18T09:49:14Z)
• MADial-Bench: Towards Real-world Evaluation of Memory-Augmented Dialogue Generation [15.64077949677469]
  メモリ拡張対話システム(MADS)の有効性を評価するための新しいメモリ拡張対話ベンチマーク(MADail-Bench)を提案する。 このベンチマークは2つのタスクを別々に評価する: メモリ検索とメモリ認識は、パッシブとプロアクティブの両方のメモリリコールデータを組み込んだものである。 このベンチマークにおける最先端の埋め込みモデルと大規模言語モデルの結果は、さらなる進歩の可能性を示している。
  論文  参考訳（メタデータ） (2024-09-23T17:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。