論文の概要: When to Remember, When to Abstain: Category-Conditioned Retention for Reliable Agent Memory
- arxiv url: http://arxiv.org/abs/2610.07100v1
- Date: Mon, 05 Oct 2026 14:36:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.560505
- Title: When to Remember, When to Abstain: Category-Conditioned Retention for Reliable Agent Memory
- Title(参考訳): いつ忘れるべきか: 信頼できるエージェント記憶のためのカテゴリー指定型保持
- Abstract要約: 本研究は,保持決定がアサーションのセマンティックカテゴリに規定された信頼性バーによって管理されるべきかどうかを考察する。
我々はこれを100の合成ペルソナ上に展開したコールドスタートメモリパイプラインで評価した。
- 参考スコア(独自算出の注目度): 3.1266062825732663
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Persistent agent memory is only as reliable as its retention decision: an assertion weakly supported by its source can be stored and later reused as established fact. We study whether the retention decision should be governed by a confidence bar conditioned on the semantic category of the assertion rather than by a single global threshold, retaining well-evidenced categories liberally while abstaining more aggressively where inference is unreliable. We evaluate this in a deployed cold-start memory pipeline on 100 synthetic personas. The empirical evaluation is motivated by a sharp reliability asymmetry: across 4{,}715 candidate assertions, only 77.9\% of value and belief assertions are supported by their source, versus 96.2\% for all other categories. A global confidence threshold cannot separate these: it either admits unsupported value claims or discards well-evidenced ones. Conditioning the threshold on category resolves the tradeoff. In repeated held-out evaluation, a stricter bar on values alone reduces unsupported retentions from 6.2\% to 4.0\% (an ${\approx}36\%$ relative reduction, modest but consistent across folds) and, as corroborating evidence, preserves an estimated 13 percentage points more coverage (95\% CI 9.8--16.0) than a global threshold at comparable retention. Our results suggest that reliable retention depends on the type of assertion, not on confidence alone, and that a category-conditioned threshold can act as a simple, effective form of selective prediction at the write boundary.
- Abstract(参考訳): 永続的なエージェントメモリはその保持決定と同じくらい信頼性が高く、ソースによって弱いサポートを受けたアサーションを保存し、後に確立された事実として再利用することができる。
本研究は,アサーションのセマンティック・カテゴリに規定された信頼性バーを単一グローバル・しきい値ではなく,アサーションのセマンティック・カテゴリに規定した信頼性バーによって保持決定が管理されるべきかどうかを考察する。
我々はこれを100の合成ペルソナ上に展開したコールドスタートメモリパイプラインで評価した。
4{,}715の候補アサーションでは77.9\%の値と信念アサーションしかサポートされていないが、他のすべてのカテゴリでは96.2\%である。
グローバルな信頼しきい値はこれらを分離することはできない。
カテゴリのしきい値を設定することで、トレードオフが解決される。
繰り返しホールドアウト評価では、値のみの厳格な保持バーは、支持保持率を6.2\%から4.0\%(${\approx}36\%$相対的な還元率で、折り畳みは控えめだが一貫性がある)に減らし、相関証拠として、推定13パーセントのカバレッジ(95\% CI 9.8-16.0)を、同等の保持率で世界的閾値より保存する。
以上の結果から,信頼性保持は信頼のみではなくアサーションのタイプに依存し,カテゴリ条件付きしきい値が書込み境界における選択予測の単純かつ効果的な形式として機能する可能性が示唆された。
関連論文リスト
- The Right Memory in the Wrong Context: Verifying Retrieval Admissibility in Long-Term Agent Memory [5.138725534209034]
長期記憶エージェントは、他のプリンシパルに属し、ポリシーに違反したり、ライフサイクル状態を反映したりするため、現在の要求に対して許容できない情報を検索することができる。
本稿では,各メモリクエリ対に3つの状態(許容,不許容,未解決)の1つを割り当てる検索許容検証フレームワークを提案する。
論文 参考訳(メタデータ) (2026-10-05T19:47:43Z) - What Should an Agent Remember? Disentangling Retention from Retrieval in Bounded-Memory Evaluation [0.0]
メモリ評価は、保持と選択の両方が異なる方法を比較することで、決定を曖昧にすることができる。
我々は,ストリーミングリコールベンチマークの保持と選択ルールを構築し,同じ300個のシードエピソードのすべての条件を評価する。
メモリ境界評価はアクセス固定とレポート保持と選択を別々に行うべきであることを示す。
論文 参考訳(メタデータ) (2026-09-30T06:38:14Z) - Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance [0.0]
定型言語モデル上での動作層として,不確実性,先入観を意識したアサーション,明示的信念のリビジョンを実装できるかどうかを検証した。
合成モデルとQwen2.5-0.5B-インストラクタを用いて,機械的に評価したマルチセッションベンチマークを用いて評価を行った。
論文 参考訳(メタデータ) (2026-09-22T11:34:53Z) - Counterfactual Fragility Certificates: Exposing High-Confidence Brittleness under Structured Evidence Failure [26.80740674805048]
高い試験精度と優れた集合キャリブレーションは、個々の予測がその証拠によって構造的に支持されているかどうかを示さない。
本稿では,CFC (Counterfactual Fragility Certificates) について紹介する。
CFCは、0.915 AUROCで独立に不安定な高信頼症例を識別し、最強の非正当性スコアを+0.405で改善した。
論文 参考訳(メタデータ) (2026-06-29T01:54:04Z) - Belief Memory: Agent Memory Under Partial Observability [56.41506249481312]
本稿では,メモリパラダイムを観測毎に1つの結論にシフトし,その確率で複数の結論を導出するBeliefMemを提案する。
BeliefMemは決定論的パラダイムが破棄されるという不確実性を保ち、エージェントが高い信頼を持って行動することを可能にする。
LoCoMoとALFWorldベンチマークの実証的な評価は、限られたデータであっても、BeliefMemが最高の平均パフォーマンスを達成することを示している。
論文 参考訳(メタデータ) (2026-05-07T02:03:13Z) - CHASE: Competing Hypotheses for Ambiguity-Aware Selective Prediction [2.1707529464094555]
CHASEは、構造化された時間的説明を明示的に比較し、決定にコミットするか、棄権するかを決定する選択的な予測フレームワークである。
真の曖昧さは、競合する仮説間のスコアギャップを崩壊させるため、CHASEはこれらの仮説マージンよりもランク対応セレクタを優先する。
標準的不確実性ベースラインと比較すると、CHASEは全体としての絶対的正確性、三方向の正確性、全体的あいまい性に整合した棄権において顕著な利得を達成している。
論文 参考訳(メタデータ) (2026-05-02T09:39:48Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳(メタデータ) (2026-04-09T10:26:32Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳(メタデータ) (2025-09-25T13:04:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。