論文の概要: MemStrata: 95% and 90.91% Source-Aware Accuracy on LongMemEval-500 and LoCoMo-1540 with a Local Qwen 3.8 27B Q4_K_M Reader
- arxiv url: http://arxiv.org/abs/2610.05343v1
- Date: Sun, 04 Oct 2026 16:12:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 21:26:57.021889
- Title: MemStrata: 95% and 90.91% Source-Aware Accuracy on LongMemEval-500 and LoCoMo-1540 with a Local Qwen 3.8 27B Q4_K_M Reader
- Title（参考訳）: MemStrata: LongMemEval-500 と LoCoMo-1540 における 95% と 90.91% のソース認識精度。ローカル Qwen 3.8 27B Q4_K_M リーダー
- Abstract要約: MemStrata CL1はLongMemEval-Sで475/500 (95.0%)、LoCoMoカテゴリーで1-4で1,400/1,540 (90.91%)、GPT-5.5で475/500 (95.0%)と評価されている。
検索バックボーンを保持し、非重複、日付付き、話者対応ソーススパンを追加する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An adequate conversational answer may differ from a short or incomplete benchmark reference. To measure adequacy against the recorded history we prefer source-aware grading, in which the judge checks the reference against the full source before assessing system-blinded answers; original reference-only grading is reported alongside. With a local Qwen 3.8 27B Q4_K_M reader and a 24,000-token evidence ceiling, MemStrata CL1 scores 475/500 (95.0%) on LongMemEval-S and 1,400/1,540 (90.91%) on LoCoMo categories 1-4 under source-aware GPT-5.5 adjudication, against 463/500 (92.6%) and 1,205/1,540 (78.25%) under reference-only grading of the same answers. It preserves a retrieval backbone and adds nonduplicated, dated, speaker-attributed source spans. A same-reader full-history control with about 4.7 times the evidence scores 464/500 reference-only and 470/500 (94.0%) source-aware; neither difference is decisive. Keyword-only selection at the same budget scores 425, and a matched-reader Letta arm 438. On LongMemEval-M, where the packet holds about 1.6% of each history, MemStrata CL1 scores 427/500, with losses concentrated in multi-session and temporal questions. On 300 BEAM-1M questions it outscores dense retrieval, 0.738 to 0.706 (Wilcoxon p = 0.011). A same-seed replay of unchanged requests changed 1.5-2.3% of labels. On identical packets GLM 5.3 flash is non-inferior within 3 points (462 versus 463); Muse Spark 1.3 did not show non-inferiority on 269 questions. None of four pre-registered interventions met all of its registered advancement or feasibility criteria. Signed read-side artifacts support inspection but do not regenerate the private retrieval pipeline. The superiority of source-aware grading to human adjudication is not established, and development exposure, automated-judge dependence and the absence of held-out data preclude an independent-replication or leaderboard claim.
- Abstract（参考訳）: 適切な会話の答えは、短いまたは不完全なベンチマーク参照とは異なるかもしれない。
記録された履歴に対する妥当性を評価するために,審査員がシステムブラインドされた回答を評価する前に,全ソースに対する参照を検査するソース認識グレーティング(source-aware grading)が望ましい。
Qwen 3.8 27B Q4_K_Mリーダーと24,000の証拠天井を持つMemStrata CL1は、LongMemEval-Sで475/500 (95.0%)、LongMemEval-Sで1400/1,540 (90.91%)、LoCoMoカテゴリー1-4で463/500 (92.6%)と1,205/1,540 (78.25%)と、同じ答えの参照のみの階調で463/500 (92.6%)と1,205/1,540 (78.25%)と判定された。
検索バックボーンを保持し、非重複、日付付き、話者対応ソーススパンを追加する。
証拠の約4.7倍が464/500と470/500 (94.0%)のソース・アウェアである。
同じ予算でのキーワードのみの選択は425点、マッチリーダーのレッタアームは438点である。
パケットが各履歴の約1.6%を占めるLongMemEval-Mでは、MemStrata CL1のスコアは427/500であり、マルチセッションと時間の問題に集中している。
300 BEAM-1M の質問では、密度が 0.738 から 0.706 である(ウィルコクソン p = 0.011)。
変更のないリクエストの同じシードのリプレイは、ラベルの1.5-2.3%を変更した。
同じパケットでは、GLM 5.3フラッシュは3点以内(462対463)、Muse Spark 1.3は269の質問に対して非偽性を示しなかった。
4つの事前登録された介入は、その登録された進歩または実現可能性基準をすべて満たさなかった。
署名された読み取り側のアーティファクトは検査をサポートするが、プライベートな検索パイプラインを再生しない。
人的偏見に対するソース・アウェア・グレーディングの優位性は確立されておらず、開発露出、自動ジャッジ依存、保持データの欠如は、独立レプリケーションやリーダーボードのクレームを妨げる。
関連論文リスト
- AGO AI Quality Gate: Evidence-First Release Decisions for Retrieval-Augmented Generation [35.18016233072556]
AGO AI Quality Gateは、産業RAGアセスメントエンゲージメントにデプロイされるエビデンスファーストの品質ゲートフレームワークである。
AGOは4つの重要なコンポーネントを統合している。データ不足を処理し、エラーを明確な結果として判断する4状態決定モデルだ。
RAGBenchは、12データセットにわたる100kの注釈付きRAGトレースの公開ベンチマークである。
論文 参考訳（メタデータ） (2026-10-01T07:24:04Z) - Auditing Long-Term Memory Evaluation: Repeated Judging, Reader Variation, and Negative Controls [0.0]
本稿では,500 LongMemEval-S開発質問に対する長期記憶検索チェーンの評価を行う。
GPT-4oで479と475のスコアが最強であり、同じパス-1の解答で3つのラベルが変化し、収率は478となる。
論文 参考訳（メタデータ） (2026-09-29T17:04:18Z) - Decision Readouts for Text-Mediated Video Anomaly Detection: An Exploratory Evaluation of Jev and Qwen [9.92799001840128]
我々は,UCF-CrimeとXD-Violenceの40本の動画と400本のターゲットアンカーのスパース開発サンプルを用いて,Jev型判定と3つのQwen読み出し結果を評価した。
XDキャプションでは、Jev Noulは平均精度を75.99%、Qwen生成確率は48.47%、ローカルな順序的予想が57.81%に達した。
論文 参考訳（メタデータ） (2026-09-28T02:58:55Z) - The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
本研究は, ベットによる検査に基づく漏洩検出について検討する。
13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
論文 参考訳（メタデータ） (2026-09-27T14:14:10Z) - CITECHOICE: A Causal Audit of How Document Presentation Redistributes Citation Credit in Agentic Search [0.0]
CITECHOICEは、マルチターンエージェントサーチの因果監査である。
同一の既定事実に対して独立に認証されたサポートを持つ113の同呼文書ペアを選択する。
構造化レンダリングは、ソースの入力を明示的に増加させるのではなく、引用クレジットに集中する。
論文 参考訳（メタデータ） (2026-09-14T07:47:47Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳（メタデータ） (2026-08-24T17:13:25Z) - Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM [0.47745223151611654]
LLM判事によるベンチマークは、通常1点の10分の1の違いを判断するが、これらのベンチマークの解像度は測定されていない。
測定対象としてシステムを扱い,373,019の判断をシステム,項目,判断,相互作用成分に分解する。
論文 参考訳（メタデータ） (2026-08-17T09:08:49Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。
我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。
全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
論文 参考訳（メタデータ） (2025-08-28T04:13:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。