論文の概要: Remember, Verify, or Ask? Cross-Family Evaluation of Memory Commitment in LLM Agents
- arxiv url: http://arxiv.org/abs/2608.19564v1
- Date: Thu, 20 Aug 2026 02:11:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.434713
- Title: Remember, Verify, or Ask? Cross-Family Evaluation of Memory Commitment in LLM Agents
- Title（参考訳）: 記憶, 検証, 質問を覚えているか? LLM エージェントにおけるメモリ消費の相互評価
- Abstract要約: 永続メモリはLDMエージェントをパーソナライズすることができるが、不正確な耐久性のある更新は、静かに将来の動作を歪ませることができる。
メモリ・クラシフィケーション・バウンダリ(メモリ・クラシフィケーション・バウンダリ)について検討する。
- 参考スコア（独自算出の注目度）: 4.6840536642016195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Persistent memory can personalize an LLM agent, but an incorrect durable update can silently distort future behavior. We study the memory-clarification boundary: whether interaction-derived information should be persisted, used only in the current context, re-verified, or clarified with the user. MCB contains 140 primary scenarios, split into 70 development and 70 held-out items, plus a separate 70-item contrast set. It evaluates both action labels and structured tool-call selection. Two non-authors independently label the 70 held-out primary and 70 contrast items (97.1% agreement, Cohen's kappa = 0.962); a blind third resolves four disagreements, replacing eight author labels by non-author majority. Across Claude and Qwen, models verify changing facts more reliably than they ask users to resolve ambiguity. Bare Qwen asks on 0/12 clarification items while verifying 12/18 freshness items. Few-shot prompting raises accuracy from 0.557 to 0.771 (paired delta = +0.214, Holm-adjusted exact McNemar p_H = 0.002), yet clarification recall remains 0.333. The policy prompt reduces erroneous persistence from 0.243 to 0.100 (p_H = 0.038), although its accuracy gain is not significant. Label-tool agreement is 57% for each Claude model and 23% for Qwen; Qwen accuracy falls from 0.557 to 0.343 (p_H = 0.047). Memory evaluation must test both stated decisions and tool-call choices.
- Abstract（参考訳）: 永続メモリはLDMエージェントをパーソナライズすることができるが、不正確な耐久性のある更新は、静かに将来の動作を歪ませることができる。
メモリ・クラシフィケーション・バウンダリ(メモリ・クラシフィケーション・バウンダリ)について検討する。
MCBには140のシナリオがあり、70の開発と70のアイテムに分割され、70のコントラストセットが分離されている。
アクションラベルと構造化ツールコールの選択の両方を評価する。
2人のノン著者が独立に70のコントラストアイテム(97.1%の合意、コーエンのカッパ=0.962)をラベル付けし、盲目の3人目は4つの意見の相違を解消し、8つの著作者ラベルを非著作者多数に置き換えた。
Claude氏やQwen氏を含むモデルは、曖昧さの解決を求めるユーザよりも、事実の変化をより確実に検証する。
Bare Qwen氏は、12/18の鮮度アイテムを検証しながら、0/12の明確化項目を尋ねている。
Few-shot promptingは0.557から0.771(paired delta = +0.214, Holm-adjusted exact McNemar p_H = 0.002)まで精度を上げるが、明快なリコールは0.333のままである。
このポリシーは誤持続性を0.243から0.100(p_H = 0.038)に減少させるが、精度はそれほど高くない。
ラベル・ツール合意はクロードモデルごとに57%、Qwenでは23%であり、Qwenの精度は0.557から0.343(p_H = 0.047)となる。
メモリ評価は、宣言された決定とツールコールの選択の両方をテストする必要がある。
関連論文リスト
- Token Counts Are Not Model Lineage: A Frozen-Threshold Holdout Study of Black-Box LLM API Fingerprinting [4.093009863847175]
大規模な言語モデルがリレーとリセラーAPIを通じて提供される場合、ブラックボックスモデルの属性はますます重要になる。
テンポの低い信号は、OpenAI互換エンドポイントで返されるプロンプトトケン数である。
しかし、この信号がより広範にEmphmodel- family属性に有効であることは、直接のホールドアウト試験がほとんど行われていない。
我々は,24個のラベル付きエンドポイントペアに対して凍結保持実験を行い,開発セットと未タッチのホールドアウトセットに均等に分割した。
論文 参考訳（メタデータ） (2026-08-30T17:58:49Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions [87.95757610455173]
我々は、x演算グリッドとSO-OPFをサポートするために、インジェクティブに整合した残余セルアウトプロトコルを導入する。
グリッドが分かっているときにキャリアがホールドアウトバインディングを構成するかどうか、フラットなセルラベルからグリッドを回収できるかどうかという2つの質問を分離する。
論文 参考訳（メタデータ） (2026-08-06T15:38:55Z) - MutMem: Cryptographically Authorized Mutation in Persistent Agent Memory [0.0]
我々は、永続的なエージェントメモリエンジンにおける許可された変更プロトコルであるMutMemを紹介する。
MutMemは、年齢ベースの有効期限なしで、メモリの内容、署名された正および負の結果の証拠を保持できる。
有用性、突然変異の完全性、および中毒適応を評価した。
論文 参考訳（メタデータ） (2026-08-03T19:58:37Z) - Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。
一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
論文 参考訳（メタデータ） (2026-07-30T16:41:40Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Beyond Accuracy: Auditing Spatial Provenance in Visual Token Pruning for OCR-Critical MLLM Inference [22.335515110971475]
ビジュアルトーケンプルーニングは、一定保持予算における応答品質によって判断される。
私たちはこの盲点を、幾何学的トークン・オリジンの証明によってカップルが行動に答えるエビデンスリスク監査にします。
目的検証ポイントがタスク汎用圧縮を含まないことを示す。
論文 参考訳（メタデータ） (2026-07-29T13:45:31Z) - Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。
アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。
また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
論文 参考訳（メタデータ） (2026-07-13T23:13:57Z) - Decision-Aware Memory Cards: Counterfactual-Inspired Context Selection and Compression for Tool-Using LLM Agents [3.964533007623828]
現代の大規模言語モデル(LLM)エージェントは、行動の時点で決定に関連のある証拠を必要とする。
本稿では、事例コンテキストグラフを構築し、候補単位の決定指向ユーティリティを推定し、選択したエビデンスを型付きメモリカードに圧縮するCICLについて述べる。
CICLは、ツール使用エージェントの意思決定クリティカルコンテキストの測定、ランキング、圧縮のための実用的なレイヤを提供する。
論文 参考訳（メタデータ） (2026-06-06T13:02:28Z) - MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。
本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。
ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
論文 参考訳（メタデータ） (2026-05-26T15:38:46Z) - CIMemories: A Compositional Benchmark for Contextual Integrity of Persistent Memory in LLMs [62.116710797795314]
大規模言語モデル(LLM)は、パーソナライゼーションとタスクパフォーマンスを向上させるために、過去のインタラクションから永続的なメモリを使用することが多い。
タスクコンテキストに基づいて,LLMがメモリからの情報フローを適切に制御するかどうかを評価するベンチマークであるCIMemoriesを提案する。
論文 参考訳（メタデータ） (2025-11-18T21:51:23Z) - ObjexMT: Objective Extraction and Metacognitive Calibration for LLM-as-a-Judge under Multi-Turn Jailbreaks [12.396822247035578]
目的抽出とメタ認知のためのベンチマークであるexMTを提案する。
マルチターン書き起こしが与えられた場合、モデルは1文ベース目標と自己報告された自信を出力しなければならない。
正確性は金の目標と類似性によって評価され、300の校正項目で1度閾値付けされる。
論文 参考訳（メタデータ） (2025-08-23T03:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。