Fugu-MT 論文翻訳(概要): Toward Better Assessment of LLMs' Performance in Clinical Error Detection

論文の概要: Toward Better Assessment of LLMs' Performance in Clinical Error Detection

arxiv url: http://arxiv.org/abs/2608.16643v1
Date: Mon, 17 Aug 2026 14:41:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-18 19:59:03.749999
Title: Toward Better Assessment of LLMs' Performance in Clinical Error Detection
Title（参考訳）: 臨床誤差検出におけるLCMの性能評価の改善に向けて
Abstract要約: 臨床文書における誤りの自動検出のための15大言語モデル(LLM)を評価した。 15モデル中13モデルが、標準慣行が適度に読むF1スコアを達成しながらも、ランダムなペアワイズ判別のレベルを下回っていることが判明した。 F1とペアの精度は、同じバイアスによって反対方向に駆動されるので、F1によるランキングモデルは、系統的に最も弱い差別者を促進する可能性がある。
参考スコア（独自算出の注目度）: 13.451007655769827
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Automated detection of errors in clinical documentation is a promising application of large language models (LLMs), yet decisions to deploy such models rest on benchmarks that evaluate each clinical note in isolation. Error-detection benchmarks are typically constructed by injecting errors into notes, such that each erroneous note has a natural counterpart. Aggregate discriminative metrics (e.g., balanced accuracy or F1) do not exploit this structure. We show that this omission is consequential. In particular, evaluating 15 diverse LLMs on 4 standardized clinical error-detection test sets across 3 languages, we find that 13 of 15 models fall below the level of random pairwise discrimination, even while achieving F1 scores that standard practice would read as moderate. We also observe that the underlying bias patterns differ across languages: the same model can default to "no error" on one language and over-flag errors on another. To diagnose where discrimination breaks down, we further introduce a procedure to score the evidence models cite in their outputs. We find that while models consistently locate error-relevant content, they fail to produce the corresponding correct verdict on the clean counterpart. Finally, we show that F1 and pairwise accuracy are driven in opposite directions by the same underlying bias, so that ranking models by F1 may systematically promote the weakest discriminators. For safety-critical clinical NLP applications, we advocate for supplementing aggregate metrics with paired evaluations in benchmark reporting. Code and analysis scripts are available at https://github.com/healthylaife/paired-clinical-eval.
Abstract（参考訳）: 臨床文書におけるエラーの自動検出は、大規模言語モデル(LLM)の有望な応用であるが、そのようなモデルをデプロイする決定は、個々の臨床ノートを個別に評価するベンチマークに委ねられている。誤り検出ベンチマークは通常、誤りをメモに注入することで構成される。 Aggregate discriminative metrics (例えば、バランスの取れた精度やF1)は、この構造を利用していない。この省略は連続的であることを示す。特に,3言語にまたがる4つの標準化された臨床エラー検出テストセットを用いて15種類のLCMを評価し,F1スコアを達成しても,15のモデルのうち13がランダムなペアワイズ判別のレベル以下であることがわかった。同じモデルでは、ある言語では“エラーなし”、別の言語ではオーバーフラグエラーがデフォルトになります。また, 識別の故障箇所を診断するために, アウトプットに引用されるエビデンスモデルを評価する手順も導入する。モデルが常にエラー関連コンテンツを特定する一方で、クリーンなコンテンツに対して適切な判断を下すことに失敗していることがわかった。最後に、F1とペアの精度は同じバイアスによって反対方向に駆動されることを示し、F1によるランク付けモデルが系統的に最も弱い識別者を促進できることを示す。安全クリティカルな臨床NLPの分野では,ベンチマークレポートにおけるペア評価による集計指標の補足を提唱する。コードと分析スクリプトはhttps://github.com/healthylaife/paired-clinical-eval.comで入手できる。

関連論文リスト

NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文参考訳（メタデータ） (2026-09-10T08:34:56Z)
Fault Detection and Explainable Classification in Automotive HIL Validation via Denoising Autoencoders and In-Context Large Language Models [1.9435397960631864]
機械学習とディープラーニングは高度な故障診断を持っているが、ほとんどの教師付きモデルは大きなラベル付きデータセットを必要とする。実時間検証における故障検出と分類のための汎用的で説明可能な2相フレームワークを提案する。
論文参考訳（メタデータ） (2026-07-04T06:43:43Z)
Clinical Term Extraction using Open-Source Small Language Models [2.5316486726943843]
患者文書におけるALS関連臨床用語に対するオープンソースの小言語モデルの評価を行った。集約,ラベルレベル,手動検証を用いた26のオープンソースモデルを比較した。これらの知見は,既存のルールベースの手法を置き換えるのではなく,ハイブリッド抽出を対象とする。
論文参考訳（メタデータ） (2026-06-19T18:59:33Z)
Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文参考訳（メタデータ） (2026-06-17T08:10:30Z)
First, Do No Harm (With LLMs): Mitigating Racial Bias via Agentic Workflows [0.0]
大規模言語モデル(LLM)は、医療現場でますます使われており、発生した医療テキストの人種的偏見や臨床推論への懸念が高まっている。本研究では、EU AI Actをガバナンスレンズとして使用し、2つのタスクで広く使用されている5つのLSMを評価する。全てのモデルは、合成ケース生成タスクにおける観察された人種分布から逸脱し、GPT-4.1は全体の偏差が最小であった。エージェントワークフローに埋め込まれた場合、DeepSeek V3は平均p値が0.0348、中央p値が0.1166、平均差が0.0949であった。
論文参考訳（メタデータ） (2026-04-20T10:02:38Z)
Fine-Tune, Don't Prompt, Your Language Model to Identify Biased Language in Clinical Notes [31.925112343488976]
臨床的ドキュメンテーションには、感情に満ちた言語が含まれ、無効化や特権化が可能である。このような言語を検知し分類するためのフレームワークを提案する。語彙素数入力による微調整は、常にプロンプトアプローチよりも優れていた。
論文参考訳（メタデータ） (2026-02-16T22:39:28Z)
Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
モデル信頼性の定量化について検討する。信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
論文参考訳（メタデータ） (2025-02-05T18:58:19Z)
Classification Error Bound for Low Bayes Error Conditions in Machine Learning [50.25063912757367]
機械学習における誤りミスマッチとKulback-Leibler分散の関係について検討する。多くの機械学習タスクにおける低モデルに基づく分類誤差の最近の観測により、低ベイズ誤差条件に対する分類誤差の線形近似を提案する。
論文参考訳（メタデータ） (2025-01-27T11:57:21Z)
Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。提案手法であるPremiseが実際によく動作することを示す。
論文参考訳（メタデータ） (2023-11-18T00:24:26Z)
LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文参考訳（メタデータ） (2023-05-23T21:50:06Z)
Negation detection in Dutch clinical texts: an evaluation of rule-based and machine learning methods [0.21079694661943607]
オランダ臨床ノートにおける否定検出の3つの方法の比較を行った。その結果,biLSTMモデルとRoBERTaモデルはF1スコア,精度,リコールという点で,ルールベースモデルよりも一貫して優れていた。
論文参考訳（メタデータ） (2022-09-01T14:00:13Z)
LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
論文参考訳（メタデータ） (2020-10-06T16:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。