論文の概要: Rethinking Correctness for Uncertainty Estimation in Clinical Prediction with Vision-Language Models
- arxiv url: http://arxiv.org/abs/2609.15180v1
- Date: Mon, 14 Sep 2026 08:03:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.17755
- Title: Rethinking Correctness for Uncertainty Estimation in Clinical Prediction with Vision-Language Models
- Title（参考訳）: 視覚言語モデルを用いた臨床予測における不確かさ推定の再考
- Abstract要約: 不確かさ推定(UE)はそのような予測を検出できるが、その評価は各モデルの出力が正しいかどうかを決定する正しさ基準に依存する。
本稿では,人間の判断基準と人為的なUE性能との一致による正当性評価を行う2軸フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 2.446787923076599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models are increasingly explored for clinical prediction from electronic health records and medical images, where identifying unreliable predictions is important for safe deployment. Uncertainty estimation (UE) enables detecting such predictions, but its evaluation depends on a correctness criterion that determines whether each model output is correct. If this criterion disagrees with human judgement or distorts downstream UE performance, conclusions about model reliability can be misleading. We introduce a two-axis framework that evaluates correctness criteria by their agreement with human judgements and fidelity to human-referenced UE performance. We assess eight criteria across three clinical prediction tasks and three models using 450 predictions annotated by two reviewers. Across the audited tasks, canonical exact matching (EM) achieved the highest observed human agreement and lowest UE distortion, while the BERT-based matching (BEM) and LLM-judge also showed strong human agreement. Across four UE methods and 23,254 clinical predictions, criterion choice changed error-detection AUROC by up to 0.146 and reversed the relative ranking of UE methods. The LLM-judge also selectively accepted invalid or uncertain outputs, accepting 16 of 30 such human-identified errors. These results demonstrate that correctness assessment is an integral component of clinical UE evaluation and should be validated before UE methods are compared.
- Abstract（参考訳）: 視覚言語モデルは、電子的な健康記録や医療画像からの臨床予測のためにますます研究されており、安全デプロイには信頼性の低い予測を特定することが重要である。
不確かさ推定(UE)はそのような予測を検出できるが、その評価は各モデルの出力が正しいかどうかを決定する正しさ基準に依存する。
この基準が人間の判断に反したり、下流UEのパフォーマンスを歪ませたりするならば、モデルの信頼性に関する結論は誤解を招く可能性がある。
本稿では,人間の判断基準と人為的なUE性能との一致による正当性評価を行う2軸フレームワークを提案する。
我々は,3つの臨床予測課題の8つの基準と2つのレビュアーによる450の予測を用いた3つのモデルを評価する。
一方, BERT-based matching (BEM) と LLM-judge は強いヒトの一致を示した。
4つのUE法と23,254の臨床予測において, 基準選択はエラー検出AUROCを0.146まで変更し, UE法の相対ランクを逆転させた。
LLM-judgeはまた、無効または不確実な出力を選択的に受け入れ、そのような人間の識別誤りを30件のうち16件受け入れた。
これらの結果から, 精度評価は臨床UE評価の不可欠な要素であり, UE法と比較する前に検証すべきであることが示唆された。
関連論文リスト
- Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳（メタデータ） (2026-06-17T08:10:30Z) - Uncertainty Is Not a Safety Net for Clinical VQA, but Can It Anticipate Model Failure? [33.91781729231922]
臨床視覚質問応答(VQA)における視覚言語モデル(VLM)の8つの手法をベンチマークした。
UEの品質はUE法の本質的な特性ではなく,モデルの精度を正確に追跡し,モデル性能の弱点を正確に判定する。
その結果,UEは脆弱な予測を識別し,摂動に基づく評価を安全な臨床展開への道として動機付けるための診断ツールとして位置づけられた。
論文 参考訳（メタデータ） (2026-06-15T11:27:11Z) - RISED: A Pre-Deployment Safety Evaluation Framework for Clinical AI Decision-Support Systems [0.0]
本稿では,信頼性,指数性,感度,等価性,展開性に関する5次元事前デプロイ評価を提案する。
RISEDはオープンソースのPythonパッケージとしてリリースされ、既存の臨床AIレポート標準の量的検証を提供する。
論文 参考訳（メタデータ） (2026-05-13T02:17:13Z) - Towards Reliable Truth-Aligned Uncertainty Estimation in Large Language Models [54.51264434040939]
不確実性推定(UE)は、大規模言語モデル(LLM)の幻覚出力を検出することを目的とする。
ほとんどのUEメトリクスはモデル動作に由来するので、プロキシ障害としてこの現象を定式化します。
UE測定値の補正のためのポストホックキャリブレーション法であるTrath AnChoring (TAC)を提案する。
論文 参考訳（メタデータ） (2026-04-01T03:42:16Z) - Anterior's Approach to Fairness Evaluation of Automated Prior Authorization System [0.10195618602298682]
本稿では,承認結果ではなく,モデル誤り率に基づく事前承認モデルの公平性評価フレームワークを提案する。
7,166症例を対象に, 性別, 年齢, 人種・民族, 社会経済的地位の整合性を検討した。
論文 参考訳（メタデータ） (2026-03-15T22:05:24Z) - Towards Reliable Medical LLMs: Benchmarking and Enhancing Confidence Estimation of Large Language Models in Medical Consultation [97.36081721024728]
本稿では,現実的な医療相談におけるマルチターンインタラクションの信頼性を評価するための最初のベンチマークを提案する。
本ベンチマークでは,3種類の医療データを統合し,診断を行う。
本稿では,エビデンスを基盤とした言語自己評価フレームワークであるMedConfを紹介する。
論文 参考訳（メタデータ） (2026-01-22T04:51:39Z) - Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations [49.84786015324238]
信頼度推定(CE)は、大きな言語モデル(LLM)の回答がどれほど信頼性が高いかを示し、ユーザの信頼と意思決定に影響を与える可能性がある。
本稿では,CEの信頼性を3つの新しい側面で評価する総合評価フレームワークを提案する。
これには、急激な摂動に対する自信の堅牢性、意味論的に等価な答えに対する安定性、意味論的に異なる答えに対する感受性が含まれる。
論文 参考訳（メタデータ） (2026-01-12T23:16:50Z) - CCE: Confidence-Consistency Evaluation for Time Series Anomaly Detection [56.302586730134806]
本稿では,新しい評価指標である信頼性・一貫性評価(CCE)を紹介する。
CCEは同時に、予測の信頼性と不確実性を測定する。
RankEvalは、さまざまなメトリクスのランキング機能を比較するためのベンチマークです。
論文 参考訳（メタデータ） (2025-09-01T03:38:38Z) - Uncertainty Quantification on Clinical Trial Outcome Prediction [37.25114005044208]
本稿では,不確実性の定量化を臨床治験結果の予測に取り入れることを提案する。
私たちの主な目標は、ニュアンスドの違いを識別するモデルの能力を強化することです。
我々は目的を達成するために選択的な分類手法を採用した。
論文 参考訳（メタデータ） (2024-01-07T13:48:05Z) - Towards Reliable Medical Image Segmentation by Modeling Evidential Calibrated Uncertainty [57.023423137202485]
医用画像のセグメンテーションの信頼性に関する懸念が臨床医の間で続いている。
本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。
主観的論理理論を活用することで、医用画像分割の確率と不確実性を明示的にモデル化する。
論文 参考訳（メタデータ） (2023-01-01T05:02:46Z) - Revisiting the Gold Standard: Grounding Summarization Evaluation with
Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。
細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。
ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文 参考訳（メタデータ） (2022-12-15T17:26:05Z) - Uncertainty estimations methods for a deep learning model to aid in
clinical decision-making -- a clinician's perspective [0.0]
深層学習にインスパイアされた不確実性推定技術はいくつかあるが、医療データセットに実装されているものはほとんどない。
我々は,不確かさを推定するために,ドロップアウト変動推論(DO),テスト時間拡張(TTA),共形予測,単一決定論的手法を比較した。
臨床実習にモデルを組み込む前に,複数の推定手法を評価することが重要である。
論文 参考訳（メタデータ） (2022-10-02T17:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。