論文の概要: Are We Grading Properly? Understanding Failure Modes in Medical Benchmarks
- arxiv url: http://arxiv.org/abs/2609.16023v1
- Date: Thu, 10 Sep 2026 01:18:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.107424
- Title: Are We Grading Properly? Understanding Failure Modes in Medical Benchmarks
- Title（参考訳）: グラディングは良好か? : 医療ベンチマークにおける失敗モードの理解
- Abstract要約: 医療評価は、静的オプションベースの質問から、オープンエンド出力モードによる現実的な臨床シナリオへとシフトしつつある。
しかし、これらを自然にスケールさせることは高価であり、ルーブリックベースの評価が主要なスケーラブルな代替手段となっている。
潤滑剤自体が気密でない場合に何が起こるのか、そのような欠陥を検知して修正できるかを問う。
- 参考スコア（独自算出の注目度）: 0.028647133890966986
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical evaluation is shifting from static option-based questioning to realistic clinical scenarios with open-ended output modes. Grading these at scale naively, however, is expensive, and rubric-based evaluation has become the dominant scalable alternative. We ask what happens when the rubrics themselves are not airtight, and whether such flaws can be detected and corrected. We apply RIFT, a global rubric failure taxonomy, to two clinical benchmarks (HealthBench Professional and LiveMedBench), and find failure modes are meaningful: on HealthBench Professional an LLM judge flags 29.6% of criteria as non-atomic and 65.4% as misaligned/rigid. Then, we show that these flaws are meaningful and not simply cosmetic. As an example, rewriting bundled criteria of the form "at least one of / all of the following" as equally weighted children and regrading identical responses shifts scores by up to 15.9 percentage points on affected conversations, with disjunctive bundles inflating scores and conjunctive bundles deflating them. We also find that RIFT generally under-detects bundling on clinical rubrics, flagging 3.3% of LiveMedBench criteria as non-atomic where surface-form analysis finds structure in 25.8%.
- Abstract（参考訳）: 医療評価は、静的オプションベースの質問から、オープンエンド出力モードによる現実的な臨床シナリオへとシフトしつつある。
しかし、これらを自然にスケールさせることは高価であり、ルーブリックベースの評価が主要なスケーラブルな代替手段となっている。
潤滑剤自体が気密でない場合に何が起こるのか、そのような欠陥を検知して修正できるかを問う。
We apply a global rubric failure taxonomy, a RIFT to two clinical benchmarks (HealthBench Professional and LiveMedBench) and find failure modes are meaningful: on HealthBench Professional a LLM judge flags 29.6% as non-atomic and 65.4% as misaligned/rigid。
そして、これらの欠陥は意味があり、単に化粧品ではないことを示す。
例えば、「以下のうちの少なくとも1つ」という形式の束縛された基準を同様に重み付けされた子供として書き直し、同じ反応を分解すると、影響のある会話において最大15.9ポイントのスコアがシフトし、解離的バンドルはスコアを膨らませ、結合的バンドルはそれらを膨らませる。
また、RIFTは一般的に臨床的ルーリックに束縛され、LiveMedBenchの基準の3.3%を、表面形態解析が25.8%で構造を見出す非原子としてフラグ付けしている。
関連論文リスト
- MedSNIP: Building and Benchmarking Snippet-Level Granularity for Medical Fact Verification [50.13873960887466]
我々はスニペットレベルの医療事実検証のベンチマークであるMedSNIP-Benchを紹介する。
また,自動スニペット生成パイプラインであるMedSNIPを導入する。
MedSNIP-Bench、HealthFC、MedHallu全体で、スニペットレベルの検証は偽クラスF1を保存または改善する。
論文 参考訳（メタデータ） (2026-09-11T14:08:44Z) - ConRub-Med: Reinforcement Learning with Consensus Rubrics for Open-Ended Medical Question Answering [33.27644708906731]
検証可能な報酬を伴う強化学習は数学やコーディングにおいて特に効果的である。
ConRub-Medを導入し,建設から政策最適化へのルーブリックフィードバックの移動に伴い,有用性を維持する。
ConRub-Medは9つのベンチマークのうち6つにランクインしている。
論文 参考訳（メタデータ） (2026-08-11T14:48:15Z) - MamaBench: Benchmarking LLM Robustness in Maternal and Child Health Diagnosis through Counterfactual Clinical Perturbation [0.49454229616760287]
大規模言語モデルは医学ベンチマークで強いスコアを得るが、これらのベンチマークはそれぞれの質問を独立して評価する。
ママベンチ(MamaBench)は、母体と小児のAIに対する最初のカウンターファクトのベンチマークである。
Evidence-Anchored RAGは,アグリゲート類似性をエビデンスカバレッジの目的に置き換える3段階検索手法である。
論文 参考訳（メタデータ） (2026-07-15T21:56:19Z) - Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳（メタデータ） (2026-06-17T08:10:30Z) - ClinicalBench: Stress-Testing Assertion-Aware Retrieval for Cross-Admission Clinical QA on MIMIC-IV [0.0]
推論ベンチマークはクリーンインプットの臨床的パフォーマンスを測定する。
我々は, 否定, 時間性, 家族反対の帰属が正しい答えを誤ったものに戻すことができる, 実際の EHR ノートを検索することで, 推論の段階を評価する。
EpiKGは、アサーションラベルと時間性タグを患者の知識グラフに格納し、質問意図による検索をルーティングする。
論文 参考訳（メタデータ） (2026-05-11T18:47:52Z) - Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
不完全な患者の医療反応を検出するために,この仮定をストレステストする。
我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
論文 参考訳（メタデータ） (2026-03-26T19:01:55Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳（メタデータ） (2026-03-02T00:50:39Z) - Automated Rubrics for Reliable Evaluation of Medical Dialogue Systems [19.880569341968023]
大規模言語モデル(LLM)は、幻覚や安全でない提案が患者の安全に直接的なリスクをもたらすという、臨床的な意思決定支援にますます利用されている。
本稿では,インスタンス固有の評価ルーリックの自動生成を目的とした検索拡張型マルチエージェントフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-21T16:40:41Z) - From Scores to Steps: Diagnosing and Improving LLM Performance in Evidence-Based Medical Calculations [45.414878840652115]
大規模言語モデル(LLM)は医療ベンチマークで有望な性能を示した。
しかし、医学的な計算を行う能力は未熟であり、評価も不十分である。
本研究は,臨床信頼性を重視した医療計算評価を再考する。
論文 参考訳（メタデータ） (2025-09-20T09:10:26Z) - Dynamic Bank Learning for Semi-supervised Federated Image Diagnosis with
Class Imbalance [65.61909544178603]
クラス不均衡半教師付きFL(imFed-Semi)の実用的かつ困難な問題について検討する。
このImFed-Semi問題は、クラス比例情報を利用してクライアントトレーニングを改善する新しい動的銀行学習方式によって解決される。
25,000個のCTスライスによる頭蓋内出血診断と10,015個の皮膚内視鏡画像による皮膚病変診断の2つの公開実世界の医療データセットに対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-06-27T06:51:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。