論文の概要: Auditing evaluation artifacts and data leakage in large language model systems for rare disease diagnosis

• arxiv url: http://arxiv.org/abs/2610.33592v1
• Date: Sat, 24 Oct 2026 10:35:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.369656
• Title: Auditing evaluation artifacts and data leakage in large language model systems for rare disease diagnosis
• Title（参考訳）: 稀な疾患診断のための大規模言語モデルシステムにおける評価アーティファクトとデータ漏洩の評価
• Abstract要約: Augmented Large Language Model (LLM) システムは、まれな疾患の診断において高いベンチマーク精度を報告しているが、現実の臨床的有用性は証明されていない。 本稿では,AIパラダイムにまたがる評価成果物を定量化するための総合的な実証監査を行う。 我々は,拡張LDMシステムの評価プロトコルが真の医学的推論ではなく,データ漏洩を不注意に反映していると結論付けた。
• 参考スコア（独自算出の注目度）: 19.160903114450104
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Augmented large language model (LLM) systems have reported high benchmark accuracies in rare disease diagnosis, yet their real-world clinical utility remains unproven. A recent meta-analysis flagged augmented LLM diagnostic evaluations as having a high risk of bias due to suspected data leakage; however, the precise impact of these vulnerabilities on model inference has yet to be fully quantified. In this study, we present a comprehensive empirical audit to quantify evaluation artifacts across prevailing AI paradigms, using a repository of over 60,000 cases from diverse public and independent clinical cohorts. By reconstructing a state-of-the-art agentic framework, we demonstrate that candidate-space contamination artificially inflates performance: enforcing strict cross-dataset isolation resulted in a marked performance decline, with the cross-dataset mean Recall@1 decreasing from 54.3% (under conventional one-vs-rest evaluation) to 40.3% (Hedges' g = 0.94). Similar spatial overfitting in supervised classifiers caused diagnostic accuracy to drop from an internal mean of 42.9% to 16.7% across external cohorts (Cohen's d = 2.01). Furthermore, we quantify how LLMs infer diagnoses by exploiting retrospective therapeutic cues in clinical narratives, and how temporal misalignment in foundational knowledge bases leads to performance fluctuations. We conclude that prevailing evaluation protocols for augmented LLM systems inadvertently reflect data leakage rather than genuine medical reasoning. To address these systematic artifacts, we propose a rigorous evaluation framework - coupling strict data-isolation protocols with standardized benchmarking safeguards - to ensure future diagnostic AI for rare diseases is evaluated on actual clinical robustness.
• Abstract（参考訳）: Augmented Large Language Model (LLM) システムは、まれな疾患の診断において高いベンチマーク精度を報告しているが、現実の臨床的有用性は証明されていない。 最近のメタアナリシスでは、データ漏洩の疑いによるバイアスのリスクが高いとLCMの診断評価が強化されているが、モデル推論に対するこれらの脆弱性の正確な影響は、まだ完全に定量化されていない。 本研究では,多種多様の公立および独立臨床コホートから6万件以上の症例のリポジトリを用いて,AIパラダイムにおける評価アーティファクトの定量化のための総合的実証監査を行う。 厳密なクロスデータセット分離を強制すると、パフォーマンスが著しく低下し、クロスデータセット平均 Recall@1 は54.3%(従来の1-vs-rest評価では)から40.3%(Hedges' g = 0.94)に低下した。 教師付き分類器における同様の空間オーバーフィッティングは、診断精度を外部コホート全体で42.9%から16.7%に低下させた(コーエンのd = 2.01)。 さらに,臨床物語における振り返り治療手法を利用した診断の推測方法や,基礎的知識ベースにおける時間的ミスアライメントが,パフォーマンスの変動にどう影響するかを定量的に検討した。 我々は,拡張LDMシステムの評価プロトコルが真の医学的推論ではなく,データ漏洩を不注意に反映していると結論付けた。 これらの体系的なアーティファクトに対処するために、厳密なデータアイソレーションプロトコルと標準化されたベンチマークセーフガードを結合する厳密な評価フレームワークを提案する。

関連論文リスト

• Unified Multiparadigm Fusion Intelligence for Rare Disease Diagnosis [17.51836942941484]
  本稿では,知識駆動型シンボリック推論,ディープラーニングパターン認識,ケースベース患者検索,LLMベースの推論を統合した統合マルチパラダイム融合フレームワークFusionRareを紹介する。 厳格に分離された臨床症例2,528例を対象に,FusionRareは,表現型のみの診断で平均51%,表現型と遺伝子型の関節分析で79%のマクロ平均リコール@1を達成し,最先端のRD優先順位付けを達成している。 ランダム化されたクロスオーバークリニックAI検証では、FusionRareは決定の45%で真の診断ランクを高め、62%で医師の信頼性を高め、診断までの時間を短縮することを示した。
  論文  参考訳（メタデータ） (2026-10-16T03:52:24Z)
• Evaluating the Diagnostic Robustness of Vision-Language Models Under Visual and Textual Perturbations [3.765860543344957]
  証拠保存摂動下での4つのVLMファミリーの診断的ロバスト性について検討した。 以上の結果から,48.9%のケースで予測反転を示すモデルを用いて,プレゼンテーション順序安定性の重大な脆弱性を明らかにした。
  論文  参考訳（メタデータ） (2026-08-05T14:09:55Z)
• Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
  既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。 テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
  論文  参考訳（メタデータ） (2026-06-17T08:10:30Z)
• Development and evaluation of CADe systems in low-prevalence setting: The RARE25 challenge for early detection of Barrett's neoplasia [8.843983707422955]
  バレット食道における早期新生のコンピュータ支援による検出は,低頻度監視問題である。 RARE25チャレンジは、ネオプラシア検出のための大規模で有病率対応のベンチマークを導入することで、このギャップに対処する。 7カ国の11チームが、多様なアーキテクチャ、事前訓練、アンサンブル、キャリブレーション戦略を使ったアプローチを提出した。
  論文  参考訳（メタデータ） (2026-04-13T08:30:35Z)
• A Multi-Stage Validation Framework for Trustworthy Large-scale Clinical Information Extraction using Large Language Models [1.9110728489340625]
  大規模言語モデル(LLM)は、非構造化の健康記録から臨床的に意味のある情報を抽出する約束を示す。 LLMに基づく臨床情報抽出のための多段階検証フレームワークを提案する。 919,783名の臨床ノートから11種類の物質分類で診断された物質使用障害の抽出に本枠組みを適用した。
  論文  参考訳（メタデータ） (2026-04-07T16:23:52Z)
• Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
  既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。 GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。 我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
  論文  参考訳（メタデータ） (2026-03-03T09:36:43Z)
• LiveMedBench: A Contamination-Free Medical Benchmark for LLMs with Automated Rubric Evaluation [22.211535340726073]
  LiveMedBenchは、オンライン医療コミュニティからリアルな臨床ケースを抽出する、継続的に更新されたベンチマークである。 LiveMedBenchは、38の専門医と複数の言語にまたがる2,756の現実世界のケースで構成され、16,702のユニークな評価基準と組み合わせている。 大規模な評価では、最高のパフォーマンスモデルでさえ39.2%しか達成せず、84%のモデルがカット後のケースで性能劣化を示す。
  論文  参考訳（メタデータ） (2026-02-10T23:38:25Z)
• Conformal Lesion Segmentation for 3D Medical Images [82.92159832699583]
  本稿では,データ駆動しきい値の校正をコンフォーマル化することで,テスト時間FNRが目標許容値以下であることを保証する,リスク制約付きフレームワークを提案する。 5つのバックボーンモデルにまたがる6つの3D-LSデータセット上でのCLSの統計的健全性と予測性能を検証し,臨床実践におけるリスク認識セグメンテーションの展開に関する実用的な知見を得た。
  論文  参考訳（メタデータ） (2025-10-19T08:21:00Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Towards Reliable Medical Image Segmentation by Modeling Evidential Calibrated Uncertainty [57.023423137202485]
  医用画像のセグメンテーションの信頼性に関する懸念が臨床医の間で続いている。 本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。 主観的論理理論を活用することで、医用画像分割の確率と不確実性を明示的にモデル化する。
  論文  参考訳（メタデータ） (2023-01-01T05:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。