論文の概要: Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification

• arxiv url: http://arxiv.org/abs/2609.30467v1
• Date: Thu, 24 Sep 2026 19:04:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.110634
• Title: Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification
• Title（参考訳）: 検索に基づくオープンエンド評価はどこに機能しないのか? : 長期医療回答者による自動分類法の導入
• Abstract要約: 既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。 オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットに関するケーススタディに基づいた総合的な2つのデータセットを紹介した。 我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを適用し, 証拠品質をラベル付けし, 大規模な検証器推論誤差を分類する。
• 参考スコア（独自算出の注目度）: 50.168648286292004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-based factuality evaluation, where LLM-generated claims are verified against evidence from authoritative medical corpora, has become the dominant paradigm for scalable hallucination detection in high-stakes clinical settings. Despite the urgency of reliable and transparent medical fact verification, most systems measure performance with aggregate metrics like F1, which obscure where and why failures occur. Existing RAG diagnostics require gold answers or annotated gold evidence, neither of which exists in this regime. We introduce two comprehensive taxonomies, grounded in a case study on the open-ended MedExpert dataset and 3 closed-ended datasets, decomposing failures into retrieval-stage errors along five quality dimensions, and verifier-reasoning errors into six consecutive steps. We adapt an automatic pattern induction pipeline using LLM-as-Judge to label evidence quality and classify verifier reasoning errors at scale, and then stress-test our findings across 4 retrieval methods and 6 frontier verifier models. Our analysis reveals that scaling model size, adding reasoning effort, expanding to authoritative web sources, and applying medical fine-tuning do not resolve these failure modes, demonstrating that they represent fundamental limitations of the retrieve-then-verify paradigm in open-ended medical settings rather than artifacts of outdated systems. We release our code and data at https://anonymous.4open.science/r/Medical_RAG_eval-4AB5 for the full reproducibility of our results.
• Abstract（参考訳）: LLMが生成した主張が、権威ある医療コーパスの証拠に対して検証される検索に基づく事実性評価は、ハイテイクな臨床環境でのスケーラブルな幻覚検出の主流のパラダイムとなっている。 信頼性と透過的な医療事実検証の緊急性にもかかわらず、ほとんどのシステムは、F1のような集約されたメトリクスでパフォーマンスを測定します。 既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。 オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットのケーススタディに基づいて,5つの品質次元に沿った検索ステージエラーに障害を分解し,検証対象のエラーを6ステップに分割する。 我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを用いて, 証拠品質のラベル付けを行い, 大規模検証誤りの分類を行い, そして, 4つの検索手法と6つのフロンティア検証モデルを用いたストレス-テストを行った。 分析の結果, モデルサイズの拡大, 推理努力の追加, 権威のあるWebソースへの拡張, 医用微調整の適用は, これらの障害モードの解決には至らず, 時代遅れのシステムのアーティファクトではなく, オープンエンドの医療環境における検索検証パラダイムの基本的限界を表現していることが明らかとなった。 コードとデータはhttps://anonymous.4open.science/r/Medical_RAG_eval-4AB5で公開しています。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• Grading the Graders: Verification Autonomy Levels (L0-L5) for LLM Reasoning [0.0]
  検証自律度(VAL, Verification Autonomy Levels)は,一つの軸に沿って任意の検証スキームを分類するメタスタンダードである。 VAL は L0 (LLM self-declaration; no deterministic anchor) から L2 (objective ground truth; correctness only) から L3 (decidable systems with single-property or domain-level completeness) まで様々である。 置換およびサンプリングに基づく検証は、提案された候補が保持されていることを確認できるが、候補が見逃されたことを証明できない。
  論文  参考訳（メタデータ） (2026-08-19T15:10:00Z)
• Toward Automated Detection of Documentation Inconsistencies in Electronic Health Records [16.68744679025527]
  一般ドメイン大言語モデル(LLM)は、実世界の放電サマリーから表れる。 LLMは3,460人の候補者の不一致を表面化し、69.7%が入院した。
  論文  参考訳（メタデータ） (2026-07-24T23:43:35Z)
• Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
  本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
  論文  参考訳（メタデータ） (2026-07-07T03:20:52Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Facet-Level Tracing of Evidence Uncertainty and Hallucination in RAG [8.18791900871137]
  Retrieval-Augmented Generationは、検索された証拠の回答を根拠にして幻覚を減らすことを目的としている。 既存の評価は回答レベルの精度や通過レベルの正確さに重点を置いており、世代間の証拠の使用方法に関する限られた洞察を与えている。 本稿では、各入力質問を原子推論ファセットに分解するQAのためのファセットレベル診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-10T09:59:43Z)
• MedEinst: Benchmarking the Einstellung Effect in Medical LLMs through Counterfactual Differential Diagnosis [13.241795322837861]
  MedEinstは,49の疾患に5,383対の臨床症例を比較検討した。 バイアストラップ速度による感受性の測定-正確な診断制御にもかかわらず、誤診断トラップの確率について検討する。
  論文  参考訳（メタデータ） (2026-01-10T17:39:25Z)
• Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
  本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。 本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
  論文  参考訳（メタデータ） (2025-05-27T11:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。