論文の概要: How Ground Truth Shapes Retrieval Scores: Evidence-Aware Evaluation of a Retrieval-Augmented Generation System for Breast Lesions

• arxiv url: http://arxiv.org/abs/2610.31606v2
• Date: Fri, 23 Oct 2026 02:23:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.241523
• Title: How Ground Truth Shapes Retrieval Scores: Evidence-Aware Evaluation of a Retrieval-Augmented Generation System for Breast Lesions
• Title（参考訳）: 地中真実が検索スコアをどう形作るか:乳腺病変の検索拡張生成システムの証拠と評価
• Abstract要約: 128から1024のトークンのチャンク、0から20%の重複、および4つのレトリバー構成を評価した。 R-Precision, Recall@K, MRR, nDCG@Kを用いて検索を行った。 クロスエンコーダの順位は最も高い検索スコアを得た。
• 参考スコア（独自算出の注目度）: 0.4925906256430175
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Purpose: To describe an evidence-aware retrieval evaluation protocol for a clinical retrieval-augmented generation (RAG) system over breast lesion management literature, addressing the dependence of retrieval scores on annotation coverage. Methods: An 18-document corpus and an 18-query development benchmark, with one Yes/No or WH-question per document, were used. Retrieval combined dense embeddings, BM25, and cross-encoder reranking. Chunk sizes of 128 to 1024 tokens, overlaps of 0 to 20%, and four retriever configurations were evaluated. Relevance was defined by evidence spans mapped to all containing chunks, treating overlapping chunks with equivalent evidence as relevant. Retrieval was evaluated using R-Precision, Recall@K, MRR, and nDCG@K. Separately, generation was assessed on a 512-token index at K=1 to 5 using DeepEval claim-level metrics, with deepseek-v4-pro as the LLM judge, and BLEU/ROUGE metrics. Results: The selected hybrid retriever, using 384-token chunks and 20% overlap, retrieved accepted evidence in the top three results for 17 of 18 queries. Recall@3, R-Precision, MRR@3, and nDCG@3 each reached 0.94. Ground-truth curation increased evidence spans from 25 to 37 and accepted chunk targets from 36 to 51 without changing retrieval rankings. Conclusion: Cross-encoder reranking achieved the highest retrieval scores. Expanded relevance annotations increased recognized evidence without changing rankings, highlighting annotation sensitivity. The small development set and retrieval-informed curation require independent validation, including radiologist assessment of evidence sufficiency.
• Abstract（参考訳）: 目的:乳房病変管理文献に対する臨床検索強化世代(RAG)システムのためのエビデンス対応検索評価プロトコルを記述し、検索スコアのアノテーションカバレッジへの依存に対処する。 方法:18文書コーパスと18クエリ開発ベンチマークを使用し、1文書につき1つのYes/NoまたはWHクエストが実施された。 Retrievalは密接な埋め込み、BM25、クロスエンコーダを組み込んだ。 チャンクサイズは128～1024トークン,オーバーラップは0～20%,レトリバー構成は4つであった。 関連性は、すべてのチャンクにマッピングされたエビデンスによって定義され、等価なエビデンスを持つ重なり合うチャンクを扱う。 R-Precision, Recall@K, MRR, nDCG@Kを用いて検索を行った。 また,LLM判定としてDeepseek-v4-pro,BLEU/ROUGE測定を用いて,K=1～5の512 token指標で生成を評価した。 結果: 選択したハイブリッドレトリバーは, 384個のチャンクと20%のオーバーラップを用いて, 上位3項目の18問中17問の証拠を検索した。 Recall@3、R-Precision、MRR@3、nDCG@3はそれぞれ0.94に達した。 根拠は25から37まで増加し,36から51のチャンク目標を検索ランクを変更することなく受け入れた。 結論: クロスエンコーダの再ランクは, 最高の検索スコアを得た。 拡張関連アノテーションは、ランクを変更することなく認識された証拠を増やし、アノテーションの感度を強調した。 小規模な開発セットと検索インフォームドキュレーションは、証拠不十分性の評価を含む独立した検証を必要とする。

関連論文リスト

• Protection Is Not One Event: A Survey of RAG Protection Research by Measured Endpoint [23.89156074149801]
  Retrieval-augmented Generation (RAG) システムは、セキュリティ、プライバシー、著作権のリスクに直面している。 しかし、RAG保護研究では、互換性のない評価指標、データセット、脅威モデルを使用している。 我々は,全文確認されたRAG防衛文書118件の体系的調査と人為的証拠マップを提示する。
  論文  参考訳（メタデータ） (2026-10-21T06:17:23Z)
• VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
  VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。 100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。 強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
  論文  参考訳（メタデータ） (2026-08-18T15:23:06Z)
• RAGSieve: Self-Referenced Local Contrast for Knowledge-Poison Detection in Retrieval-Augmented Generation [0.0]
  既存の検出器は、信頼できる参照、特定の攻撃アーティファクト、またはコーパストポロジーに敏感なグローバルしきい値に依存している。 本稿では,検査システムから参照を構成する自己参照検出フレームワークであるRAGSieveを提案する。 共同配備により攻撃成功率は67.4%から14.0%に減少し、41.3%のF1を維持している。
  論文  参考訳（メタデータ） (2026-08-13T09:29:48Z)
• SciRet: A Compute-Aware Empirical Study of Retrieval and Reranking for Scientific RAG [0.0]
  我々は,CORD-19上での科学的質問応答に対する検索強化生成をコンピュータに認識した実証研究であるSciRetを紹介した。 我々は, 1,034チャンク (1K論文), 5,160チャンク (5K論文), 15,480チャンク (15K論文) の3つのコーパススケールにわたる固定科学的RAGパイプラインの評価を行った。 これらの設定全体では、ハイブリッド検索はスパースオンリーまたは密度オンリーの検索よりも堅牢で、1Kおよび15Kで1.000のRecall@10に達する。
  論文  参考訳（メタデータ） (2026-08-04T16:04:07Z)
• APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
  LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。 我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
  論文  参考訳（メタデータ） (2026-03-31T00:24:56Z)
• Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
  Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。 我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。 本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
  論文  参考訳（メタデータ） (2026-03-09T18:20:20Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
  デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。 我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。 全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
  論文  参考訳（メタデータ） (2025-08-28T04:13:51Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• MOCHA: A Dataset for Training and Evaluating Generative Reading Comprehension Metrics [55.85042753772513]
  そこで本研究では,生成的読解の指標であるModeling Correctness with Humanをトレーニングし,評価するためのベンチマークを提案する。 S 我々は,MOCHAを用いて,人間の判断スコアを模倣する学習評価尺度LERCを訓練する。 最小のペアで評価すると、LERCは80%の精度でベースラインを14から26の絶対パーセンテージポイントで上回り、改善の余地は大きい。
  論文  参考訳（メタデータ） (2020-10-07T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。