論文の概要: Before Answering: Evidence Sufficiency under Size-Matched Memory Construction

• arxiv url: http://arxiv.org/abs/2609.32269v1
• Date: Sat, 26 Sep 2026 05:53:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:16:45.307385
• Title: Before Answering: Evidence Sufficiency under Size-Matched Memory Construction
• Title（参考訳）: アンサー: サイズマッチングメモリ構築時のエビデンス効率
• Abstract要約: 不十分な証拠の作り方とそれを検出する推定器が同等であることを示す。 MemSafeは、クエリを各メモリユニットでクロスエンコードし、セット変換器でユニットを集約する推定器である。
• 参考スコア（独自算出の注目度）: 0.9786690381850356
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Agents that answer questions from compressed or retrieved memory must recognize when the evidence a query needs is no longer in memory. Benchmarks for this task usually create insufficient-evidence examples by deleting supporting passages. We show that this construction leaks the label through memory size: on MuSiQue, a classifier that only counts paragraphs reaches an area under the ROC curve (AUROC) of $0.979$ for detecting unsafe memory, higher than the lexical estimator we initially evaluated. We propose a size-matched construction that provably removes this shortcut, and use it to study MemSafe, an estimator that cross-encodes the query with each memory unit and aggregates the units with a set transformer. Across three multi-hop question answering datasets and five seeds, MemSafe reaches $0.968$ and $0.983$ AUROC on MuSiQue and HotpotQA, $0.26$ to $0.39$ above a lexical baseline, while the third dataset, 2WikiMultiHopQA, is saturated. A frozen pretrained cross-encoder with a logistic head already closes $41\%$ of the MuSiQue gap between the lexical baseline and MemSafe. At the same time, MemSafe degrades more than a weak baseline on the unanswerable questions released with MuSiQue, reaches only $0.639$ AUROC on SQuAD~2.0, and needs several thousand clinical training examples before it outperforms a feature-based estimator. Used as a gate for a 7B reader, it reduces the error rate on answered questions from $0.850$ to $0.631$ at $5\%$ coverage, outperforming both reader confidence and, on average, the ground-truth integrity label, although a 7B LLM judge is the better gate at $10\%$ coverage. These results indicate that the way insufficient evidence is constructed matters as much as the estimator that detects it.
• Abstract（参考訳）: 圧縮または検索されたメモリからの質問に答えるエージェントは、クエリが必要なエビデンスがメモリに存在しないことを認識しなければならない。 このタスクのベンチマークは通常、サポートパスを削除することで、不十分なエビデンス例を生成します。 この構造はメモリサイズによってラベルをリークすることを示す: MuSiQue では、最初に評価した語彙推定器よりも高い$0.979$のLOC曲線(AUROC)以下の領域に、段落だけをカウントする分類器が到達している。 本稿では,このショートカットを確実に除去するサイズマッチング構造を提案し,メモリユニット毎にクエリをクロスエンコードし,セット変換器でユニットを集約する推定器であるMemSafeについて検討する。 3つのマルチホップ質問応答データセットと5つのシードに対して、MemSafeはMuSiQueおよびHotpotQA上で0.968$と0.983$AUROCに達し、語彙ベースラインの上位に0.26$から0.39$、第3のデータセットである2WikiMultiHopQAが飽和している。 ロジスティックヘッドを備えた凍結事前トレーニングされたクロスエンコーダは、語彙ベースラインとMemSafeの間のMuSiQueギャップの411\%をすでに閉じている。 同時に、MemSafe は MuSiQue がリリースした未解決質問のベースラインが弱く、SQuAD~2.0 で 0.639$ AUROC にしか達せず、機能ベースの推定値を上回るまでには数千の臨床訓練例が必要である。 7Bリーダーのゲートとして使用され、回答された質問のエラー率を0.850$から0.631$に5\%$に下げ、読者の信頼度と平均すると7B LLM判事が10\%$でより良いゲートである。 これらの結果は、不十分な証拠の作り方や、それを検出する推定器の作り方を示している。

関連論文リスト

• HasMem: Hard-Origin Adaptively Softened Memory for Long-Term LLM Agents [21.47408873041601]
  ハードオリジン適応軟化メモリ(HasMem)を提案する。 凍結した急激な埋め込みは、検証可能な初期状態を提供する。 500ドルのLongMemEval-Sの質問に対して、ローカルの語彙F1はハードリファレンスの3.4ドルから8.9ドルに上昇し、負のログ類似度(NLL)への答えは12.257ドルから5.274ドルになる。
  論文  参考訳（メタデータ） (2026-09-25T04:22:05Z)
• Selective Forgetting: A Graph-Based Memory Framework for Long-Term LLM Agents [0.0]
  我々のフレームワークは,各会話のターンをタイプノードと属性エッジに抽出する。 2ホップのサブグラフから質問に回答し、リクライド、アクセス頻度、度重心、年齢の重み付けの組み合わせで低いスコアのノードを定期的にプーンする。 抽出器は1つのベンチマークで評価された1つの小さなモデルであるため、これらの結果は一般にグラフ構造化メモリではなく、この抽出に基づくパイプラインを特徴付ける。
  論文  参考訳（メタデータ） (2026-08-29T01:11:10Z)
• When Does Memory Help? A Cost-Aware Evaluation of Long-Term Memory in Tool-Using LLM Agents [0.0]
  本稿では,タスク実行エージェントにおけるメモリの限界効用を測定するベンチマークであるMERITを提案する。 23,440回(42.57回)で、リーク確認フロアが0.00から0.55-1.00に上昇した。 メモリの実装をスワップすることでタスクの成功を最大60ポイント移動させ、完全なリプレイは経済的には行われない。
  論文  参考訳（メタデータ） (2026-07-26T07:42:00Z)
• AdaMem: Learning What to Remember for Personalized Long-Horizon LLM Agents [79.03892269184145]
  我々は、記憶に値するものはロール依存であり、 textbfAdaMem (Adaptive Memory)を提案する。 AdaMemは、メモリ容量をtextbf9%削減しながら、均一なMem0ベースライン上で textbf+9.0% まで精度を向上する。
  論文  参考訳（メタデータ） (2026-06-19T06:35:52Z)
• What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
  現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。 我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。 3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
  論文  参考訳（メタデータ） (2026-05-12T01:57:53Z)
• GridProbe: Posterior-Probing for Adaptive Test-Time Compute in Long-Video VLMs [3.9266376632068485]
  GridProbeは、効率的なトレーニング不要な後処理推論パラダイムである。 解答空間における証拠は、凍結したVLM自身の推論を用いて得られる。 疑似関連フレームを適応的に選択し、精度の損失が少なくて、準四分法的な注意コストをもたらす。
  論文  参考訳（メタデータ） (2026-05-11T15:57:46Z)
• MemQ: Integrating Q-Learning into Self-Evolving Memory Agents over Provenance DAGs [47.66730296440261]
  我々は,新たなメモリが生成されるたびに記憶が取得されたことを記録した証明DAGを通じて,クレジットを後方に伝播するMemQを紹介した。 6つのベンチマークで、MemQは、一般化評価とランタイム学習の6つすべてで最高成功率を達成した。 さらに、$と$がEC-MDP構造とどのように相互作用するかを研究し、パラメータ選択と将来の研究の原則的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-05-08T18:30:24Z)
• MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents [0.0]
  検索強化エージェントに対するメモリ中毒攻撃を,統合評価フレームワークを用いたStackelbergゲームとして定式化する。 ASR-R: 0.25〜1.00$) による攻撃成功度を4倍に向上させる。 私たちの主な貢献は、勾配結合に接地したキャリブレーションに基づく防御であるMEMSADである。
  論文  参考訳（メタデータ） (2026-05-05T08:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。