論文の概要: Auditing Long-Term Memory Evaluation: Repeated Judging, Reader Variation, and Negative Controls
- arxiv url: http://arxiv.org/abs/2609.38021v2
- Date: Fri, 02 Oct 2026 02:24:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:29.952761
- Title: Auditing Long-Term Memory Evaluation: Repeated Judging, Reader Variation, and Negative Controls
- Title（参考訳）: 長期記憶評価:反復的判断, 読影変化, 否定的制御
- Abstract要約: 本稿では,500 LongMemEval-S開発質問に対する長期記憶検索チェーンの評価を行う。
GPT-4oで479と475のスコアが最強であり、同じパス-1の解答で3つのラベルが変化し、収率は478となる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This report audits evaluation of a long-term-memory retrieval chain on the 500 LongMemEval-S development questions. Its strongest historical reader lane scores 479 and 475 under an adapted GPT-4o rubric; re-judging the same pass-1 answers changes three labels and yields 478. Fixed-answer knowledge-update re-scoring gives 70/72 under the upstream template and 69/72 under the modified template. Reader lanes span 93 to 479 on fixed packets; paired tests between the two strongest historical lanes establish neither superiority nor equivalence. A different-family reader, configured without client tools or operator files, scores 474, 1.0 percentage point below the headline pass (paired 95% interval [-3.0,+1.0]). Live reader request bodies were not retained. With the same requested reader label, route and judge snapshot, the full package scores 474 versus 454 for baseline sessions, a difference of +4.0 percentage points [95% interval +2.2,+6.0]. Eighteen of the 23 gains, and no losses, occur where baseline packets lacked listed evidence; this post-hoc split does not identify a component effect. In recovered LoCoMo data, token-F1 gains do not survive answer-line extraction. A negative control rejects a verifier that repairs three wrong drafts but breaks eleven correct ones. All questions were used to develop the components; no untouched holdout was evaluated. These findings do not establish a new leaderboard leader or transferable memory advantage. The A/D comparison has one pass per arm, including six reused identical-prompt outcomes, with no pinned reader snapshot; B/C and repeats remain unrun. Original headline requests cannot be reconstructed and stages 1--4 remain closed. Released artifacts support packet inspection and saved-verdict recounting and re-scoring; they do not reconstruct the method.
- Abstract（参考訳）: 本稿では,500 LongMemEval-S開発質問に対する長期記憶検索チェーンの評価を行う。
GPT-4oルーブリックで479,475の歴史的読影線が最強であり、同じパス-1の解答は3つのラベルに変化し、収率は478となる。
修正された回答の知識更新は、アップストリームテンプレートで70/72、修正されたテンプレートで69/72を与える。
読者レーンは固定パケットで93から479の範囲にまたがっており、2つの最強の歴史的レーン間のペアテストは、優越性も等価性も確立していない。
クライアントツールやオペレータファイルなしで設定された異なるファミリーリーダーは、見出しパスより474,1.0ポイント低い(95%間隔 [-3.0,+1.0] )。
ライブ・レシーバー・リクエスト・ボディは保持されなかった。
同じ要求されたレシーバーラベル、ルート、ジャッジスナップショットで、全パッケージはベースラインセッションで474対454であり、+4.0パーセンテージポイント(95%インターバル+2.2,+6.0]の違いがある。
23の利得のうち18は、ベースラインパケットがリストアップされた証拠を欠いている場合に発生し、このポストホック分割はコンポーネント効果を特定できない。
回収されたLoCoMoデータでは、トークン-F1ゲインは応答線抽出を生き残らない。
負の制御は、3つの間違ったドラフトを修復する検証を拒絶するが、11の正しいドラフトを破る。
すべての質問がコンポーネントの開発に使用され、未修正のホールドアウトは評価されなかった。
これらの発見は、新しいリーダーボードリーダーや転送可能なメモリ優位性を確立していない。
A/D比較は腕に1回のパスを持ち、6回の再利用された同一のプロンプト結果を含み、ピン付きリーダースナップショットはなし、B/Cとリピートは未実行のままである。
当初のヘッドライン要求は再構築できず、ステージ1--4はクローズされたままである。
生成されたアーティファクトは、パケット検査と保存された予測リカウントと再スコアをサポートし、メソッドを再構築しない。
関連論文リスト
- Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。
標準的な最終精度評価は、これらの反対のメカニズムを詳述する。
複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
論文 参考訳（メタデータ） (2026-09-28T14:31:19Z) - Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。
公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
論文 参考訳（メタデータ） (2026-09-28T03:10:18Z) - GANDR: Claim Auditing for Verifiable Legal Answer Generation [21.842813905857863]
グラウンドジェネレーションパイプラインは、答え全体をスコアリングするので、正しい結論は、製造されたまたはゆるくマッチした引用に留まり、それでも良いスコアを得ることができる。
本稿では,Drafterが構造化された法的推論形式と批判書に回答を書き込む2エージェントシステムであるGANDRを紹介し,人間の検証と同様の視点で,引用元に対して各クレームを監査する。
185等級の法定ベンチマークでは、GANDRが1位にランクインし、70.8%の精度に達し、11.3ポイント(p0.01)で最強のベースラインをリードした。
論文 参考訳（メタデータ） (2026-09-09T15:08:09Z) - Capability-Gated Conformance Testing of Quantum Error-Correction Decoder Libraries [2.8225611777999906]
判決は各図書館が宣言する内容に基づいて公布されるので、解雇は発行された保証と矛盾する。
境界距離の正確さは0.0%と直接宣言されるが、仮説は62.1%のケースで成り立つ。
639の証明書はすべて、独立検証器のバンドルとして出荷され、最初の原則から再帰される。
論文 参考訳（メタデータ） (2026-09-07T04:44:19Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳（メタデータ） (2026-09-02T10:30:05Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - When Memory Updates but Behavior Does Not: Repairing Implicit Stale Dependencies in Personalized Agent Responses [1.5770673503612611]
メモリ拡張されたエージェントは、ユーザの格納された状態が時代遅れであることを知ることができ、なおも古い値を計画する。
私たちは1つの構造的コントリビュータを特定します。 ドラフトアンコールによる検証は、応答が何を言っているかをチェックします。
論文 参考訳（メタデータ） (2026-08-03T02:49:08Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - UTS at CheckThat! 2026: Cite-Frame Engineering for Generated Fact-Checking Articles [1.348563827917271]
UTSは11チーム中2位となった(M4 = 0.484)。
出荷されたシステムは、2つの単葉の介入によってラップされた決定論的スタブドラフトである。
スタックは、WatClaimCheckバリデーション分割のスタブ上でM4を+0.027上げます。
論文 参考訳（メタデータ） (2026-07-15T08:24:56Z) - Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG [45.88028371034407]
マルチモーダル検索拡張生成(RAG)はクリーンなエビデンスで評価されることが多いが、真の検索は、トポロジー的に関係があるが信頼できないコンテンツを返すことができる。
本稿では,多文事実QAにおけるマルチモーダル検索汚染のベンチマークであるQIMG-7を紹介する。
そこで本研究では,Parametric, Text-only, Full-MM の候補解と比較した学習自由な手法として,SATRを提案する。
論文 参考訳（メタデータ） (2026-07-12T15:13:09Z) - Clarify-Then-Search: A Clarification Benchmark for Deep Search with End-to-End Nugget Restoration [66.89521868638815]
我々は,LLM生成の解明質問が下流の深層探索ユーティリティを改善するかどうかを評価するベンチマークであるClarify-Then-Searchを紹介する。
Baidu検索エンジンの実際のクエリデータに基づいて構築されたこのベンチマークには、518のキュレートされたインスタンスが含まれている。
静的な金に対して部分的にクレジットされた重み付きナゲット・リコールスコアであるrepure_score_100を用いて、エンドツーエンドのユーティリティをスコアする。
論文 参考訳（メタデータ） (2026-06-17T13:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。