論文の概要: Auditable Long-Term Memory: A Deterministic Retrieval Chain Measured at 479/475 of 500 on LongMemEval-S
- arxiv url: http://arxiv.org/abs/2609.38021v1
- Date: Tue, 29 Sep 2026 17:04:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.769785
- Title: Auditable Long-Term Memory: A Deterministic Retrieval Chain Measured at 479/475 of 500 on LongMemEval-S
- Title（参考訳）: Auditable Long-Term Memory: A Deterministic Retrieval Chain measured at 479/475 of 500 on LongMemEval-S
- Abstract要約: 我々は,LongMemEval-Sを用いた聴覚型長期記憶システムの評価を行った。
このチェーンは、468/470の回答可能な質問に対して、すべての金のセッションを候補プールに配置する。
2回の500クエストパスは479/500、GPT-4oで475/500となる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We evaluate an auditable long-term memory system on LongMemEval-S. Its retrieval chain uses hybrid candidate retrieval, cross-encoder reranking, coverage-first packet compilation, and deterministic reasoning scaffolds; an LLM is used only as a replaceable final reader. The chain places all gold sessions in the candidate pool for 468/470 answerable questions and produces gold-complete packets for 462/470. With a Claude Opus reader called through an unpinned CLI alias, two 500-question passes score 479/500 and 475/500 under GPT-4o. The 72 answerable knowledge-update rows used a substantively modified scoring prompt whose effect under the official text has not been measured. The pair straddles Chronos High's published 478/500; differences in reader generation, scoring prompt, and possibly data version, plus within-system variance, establish neither superiority nor equivalence. A grok-4.6-high reader on the same packets scores 476/474, while a maximum-reasoning-effort agentic variant regresses to 461/465. The headline passes differ on eight verdict-flip rows. A second judge agrees with the headline judge on 493/500 rows (98.6%) in each pass and scores both passes 472/500; the official judge also flips three verdicts when re-scoring byte-identical pass-1 answers. Negative controls rejected a verifier that repaired three wrong drafts but broke eleven correct drafts. All components were developed on the same 500 questions, with no held-out evaluation or independent human adjudication; retrieval and scaffold method sources and transcript-derived audits are held; and the headline reader received extra operator context, its complete requests were not retained, and MCP tool availability is unresolved. We release materialized packets, scaffolds, reader outputs, judge verdicts, and controls for inspection and re-scoring.
- Abstract（参考訳）: 我々は,LongMemEval-Sを用いた聴覚型長期記憶システムの評価を行った。
検索チェーンは、ハイブリッド候補検索、クロスエンコーダリグレード、カバレッジファーストパケットコンパイル、決定論的推論スキャフォールドを使用する。
このチェーンは、468/470の回答可能な質問に対してすべてのゴールドセッションを候補プールに配置し、462/470のゴールド完全パケットを生成する。
クロード・オプスの読者が無ピンのCLIエイリアスに電話し、2つの500クエストパスが479/500と475/500のGPT-4oで得点した。
72行の解答可能な知識更新行は、公式テキストによる効果が測定されていない、実質的に修正されたスコアリングプロンプトを使用していた。
2人はクロノス・ハイ(英語版)が出版した478/500にまたがっており、読者生成、スコアリングプロンプト、およびおそらくデータバージョンの違いに加えて、システム内部のばらつきがあり、優越性も等価性も確立していない。
同じパケット上のGrok-4.6ハイリーダーのスコアは476/474で、最大値が461/465である。
見出しは8行の評定フリップ行で異なる。
第2の裁判官は、各パスで493/500行 (98.6%) の先頭判事に同意し、スコアは472/500である。
否定的なコントロールは、3つの間違ったドラフトを修復したが、正しいドラフトを11つ破った検証を拒絶した。
すべてのコンポーネントは同じ500の質問に対して開発され、評価や独立的な人的偏見は行われず、検索と足場メソッドのソースと書き起こしによる監査が行われ、ヘッドラインリーダは余分なオペレータコンテキストを受け取り、その完全な要求は保持されず、MPPツールの可用性は未解決である。
我々は,実物化されたパケット,足場,読み出し出力,判断判断,検査と再検査のための制御を発売する。
関連論文リスト
- Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。
標準的な最終精度評価は、これらの反対のメカニズムを詳述する。
複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
論文 参考訳（メタデータ） (2026-09-28T14:31:19Z) - Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。
公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
論文 参考訳（メタデータ） (2026-09-28T03:10:18Z) - GANDR: Claim Auditing for Verifiable Legal Answer Generation [21.842813905857863]
グラウンドジェネレーションパイプラインは、答え全体をスコアリングするので、正しい結論は、製造されたまたはゆるくマッチした引用に留まり、それでも良いスコアを得ることができる。
本稿では,Drafterが構造化された法的推論形式と批判書に回答を書き込む2エージェントシステムであるGANDRを紹介し,人間の検証と同様の視点で,引用元に対して各クレームを監査する。
185等級の法定ベンチマークでは、GANDRが1位にランクインし、70.8%の精度に達し、11.3ポイント(p0.01)で最強のベースラインをリードした。
論文 参考訳（メタデータ） (2026-09-09T15:08:09Z) - Capability-Gated Conformance Testing of Quantum Error-Correction Decoder Libraries [2.8225611777999906]
判決は各図書館が宣言する内容に基づいて公布されるので、解雇は発行された保証と矛盾する。
境界距離の正確さは0.0%と直接宣言されるが、仮説は62.1%のケースで成り立つ。
639の証明書はすべて、独立検証器のバンドルとして出荷され、最初の原則から再帰される。
論文 参考訳（メタデータ） (2026-09-07T04:44:19Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳（メタデータ） (2026-09-02T10:30:05Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - When Memory Updates but Behavior Does Not: Repairing Implicit Stale Dependencies in Personalized Agent Responses [1.5770673503612611]
メモリ拡張されたエージェントは、ユーザの格納された状態が時代遅れであることを知ることができ、なおも古い値を計画する。
私たちは1つの構造的コントリビュータを特定します。 ドラフトアンコールによる検証は、応答が何を言っているかをチェックします。
論文 参考訳（メタデータ） (2026-08-03T02:49:08Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - UTS at CheckThat! 2026: Cite-Frame Engineering for Generated Fact-Checking Articles [1.348563827917271]
UTSは11チーム中2位となった(M4 = 0.484)。
出荷されたシステムは、2つの単葉の介入によってラップされた決定論的スタブドラフトである。
スタックは、WatClaimCheckバリデーション分割のスタブ上でM4を+0.027上げます。
論文 参考訳（メタデータ） (2026-07-15T08:24:56Z) - Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG [45.88028371034407]
マルチモーダル検索拡張生成(RAG)はクリーンなエビデンスで評価されることが多いが、真の検索は、トポロジー的に関係があるが信頼できないコンテンツを返すことができる。
本稿では,多文事実QAにおけるマルチモーダル検索汚染のベンチマークであるQIMG-7を紹介する。
そこで本研究では,Parametric, Text-only, Full-MM の候補解と比較した学習自由な手法として,SATRを提案する。
論文 参考訳（メタデータ） (2026-07-12T15:13:09Z) - Clarify-Then-Search: A Clarification Benchmark for Deep Search with End-to-End Nugget Restoration [66.89521868638815]
我々は,LLM生成の解明質問が下流の深層探索ユーティリティを改善するかどうかを評価するベンチマークであるClarify-Then-Searchを紹介する。
Baidu検索エンジンの実際のクエリデータに基づいて構築されたこのベンチマークには、518のキュレートされたインスタンスが含まれている。
静的な金に対して部分的にクレジットされた重み付きナゲット・リコールスコアであるrepure_score_100を用いて、エンドツーエンドのユーティリティをスコアする。
論文 参考訳（メタデータ） (2026-06-17T13:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。