論文の概要: Better Retrievers, Worse Labels: How Incomplete Relevance Judgments Distort Abstention Evaluation in Conversational RAG

• arxiv url: http://arxiv.org/abs/2610.40966v1
• Date: Thu, 29 Oct 2026 20:52:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.49186
• Title: Better Retrievers, Worse Labels: How Incomplete Relevance Judgments Distort Abstention Evaluation in Conversational RAG
• Title（参考訳）: より良いレトリバー, さらに悪いラベル: 会話RAGにおける不完全関連判断の歪み回避評価
• Abstract要約: ショートカットは関連性判断を読み出し、金の文書を使わずに文脈を扱う。 このショートカットをRECOR (CO track2) と Qwen3 の読者でテストする。
• 参考スコア（独自算出の注目度）: 2.96212604568265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conversational RAG benchmarks such as MTRAG and RETECO evaluate retrieval and generation end to end: each system answers from its own retrieval, so abstention must be scored against whether each retrieved context is sufficient. A convenient shortcut reads sufficiency off the relevance judgments and treats a context without gold documents as unanswerable. We re-run the official baselines exactly and test this shortcut on RECOR (RETECO track~2) with four retrievers (nDCG@10 from .18 to .59) and three Qwen3 readers. Two open LLM judges and a panel of four small open models label each context by content, and a model of another family audits 250 contexts blind, with adjudication. The stronger the retriever, the larger the share of no-gold contexts that still contain the answer (28\% to 72\%) and the lower the shortcut's precision (.68 to .10; .70 to .21 under the audit). A reader agrees: Qwen3-4B answers 62--67\% of these false misses correctly, against 23--30\% of no-gold contexts judged insufficient and 1\% with no documents. In most false misses, the answer comes from a hard negative mined for the same question, another turn's gold or a neighbouring chunk of the gold page. On MTRAG, whose judgments come from annotators, precision drops from .72 to .50. Under the shortcut, answerability AUROC is up to .19 too low, and the best sufficiency detector appears to be a retrieval score that never reads the documents. We release code, runs and labels, and recommend scoring refusals against content labels, not the presence of gold.
• Abstract（参考訳）: MTRAGやRETECOのような対話型RAGベンチマークは、検索と生成の終端を評価する。 都合の良いショートカットは、関連判断から十分を読み取り、金の文書のないコンテキストを解決不能として扱う。 公式のベースラインを正確に再実行し、このショートカットをRECOR(RETECO track~2)で4つのレトリバー(.18から.59までのnDCG@10)と3つのQwen3リーダーでテストします。 2人のオープンLLM審査員と4つの小さなオープンモデルのパネルは、それぞれのコンテキストを内容別にラベル付けし、別の家族のモデルは250のコンテキストを盲目で監査する。 解答器が強くなればなるほど、解答(28\%から72\%)をまだ含んでいる非金の文脈のシェアが大きくなり、ショートカットの精度が低いほど(監査では.68から.10; .70から.21)。 Qwen3-4Bは、これらの誤りの62-67-%を正しく答え、23-30-%の非金の文脈が不十分と判断され、1-%は文書なしで答える。 ほとんどの誤ったミスでは、答えは同じ質問、別のターンの金、または隣接するゴールドページの塊のために採掘された硬い負の答えから来ている。 MTRAGはアノテーションから判断されるが、精度は.72から.50に低下する。 ショートカットでは、回答可能性のAUROCは.19以下であり、最高の十分度検出器は文書を読まない検索スコアである。 コード、実行、ラベルをリリースし、ゴールドの存在ではなくコンテンツラベルに対する拒否のスコアリングを推奨します。

関連論文リスト

• One Fact, Many Places: Redundant Evidence in Long Visual Documents Breaks Single-Gold Evaluation of Retrieval, Citation and Attribution [7.882790741851022]
  文書の理解は、注釈付き金の場所に対して、答えがどこから来たかでますます判断される。 このようなコピーが標準ベンチマークでどれだけ頻繁に発生し、評価に何をするかを尋ねる。 我々は,MMLongBench-DocとMMDocRAGの420の質問に対して,それぞれの要求された事実を独立に確立する場所について注釈を付ける。
  論文  参考訳（メタデータ） (2026-10-19T13:43:29Z)
• Auditing Long-Term Memory Evaluation: Repeated Judging, Reader Variation, and Negative Controls [0.0]
  本稿では,500 LongMemEval-S開発質問に対する長期記憶検索チェーンの評価を行う。 GPT-4oで479と475のスコアが最強であり、同じパス-1の解答で3つのラベルが変化し、収率は478となる。
  論文  参考訳（メタデータ） (2026-09-29T17:04:18Z)
• VulContextBench: A Benchmark for Security Context Retrieval in Coding Agents [8.80548156733219]
  脆弱性検出ベンチマークは、収集した証拠ではなく、エージェントが到達した判断をスコアする。 VulContextBenchは、83のリポジトリ、63のCWE、および5つの言語にわたる111の脆弱性導入コミット(VIC)のベンチマークである。
  論文  参考訳（メタデータ） (2026-09-26T13:19:18Z)
• When Is a Multi-Agent Code Judge Actually Grounded? Two Label-Free Measurements, and a Judge That Declines to Guess [1.3063136334195182]
  ある言語モデルが、ある言語のコードが正しいかどうかを判断するとき、証拠がないことを報告しない。 これらの手法には2つの証拠が必要であると我々は主張する:それはレビュー中の回答とは独立していなければならないし、比較される2つの候補との違いである。 MARCHは80以上の条件・バイ・セル測定を無修正で公開したフレームワークであり,78～95%の比較において,両者の解が等しく良いことを宣言している。
  論文  参考訳（メタデータ） (2026-09-23T23:19:59Z)
• VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
  VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。 100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。 強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
  論文  参考訳（メタデータ） (2026-08-18T15:23:06Z)
• Agent Retrieval Bench: Evaluating Repository Context Retrieval for Coding Agents [8.81342573156581]
  Agent Retrieval Benchはこの上流検索問題のファイルレベルベンチマークである。 ベンチマークでは、code2test、 comment2context、 trace2code、Edit2rippleの4つの肯定的なタスクがカバーされている。 コーパスには308のベースコミットスナップショット、392,000ファイル、7.9百万チャンクが含まれている。
  論文  参考訳（メタデータ） (2026-07-27T09:39:09Z)
• ImpliRet: Benchmarking the Implicit Fact Retrieval Challenge [50.93758649363798]
  Impliretは、推論の課題をドキュメント側処理にシフトするベンチマークである。 我々は,この環境下で苦戦している,疎水・密集したレトリバーの幅を評価した。
  論文  参考訳（メタデータ） (2025-06-17T11:08:29Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)
• Reader-Guided Passage Reranking for Open-Domain Question Answering [103.18340682345533]
  シンプルで効果的なパスリランク方式であるReader-guided Reranker(Rider)を提案します。 riderは、トップ1の検索精度で10〜20の絶対的なゲインを達成し、1〜4の正確なマッチ(em)スコアを得る。 RiderはNatural Questionsデータセットで48.3EM、TriviaQAデータセットで66.4を達成し、1,024トークン(平均7.8パス)のみをリーダー入力として使用します。
  論文  参考訳（メタデータ） (2021-01-01T18:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。