論文の概要: Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

• arxiv url: http://arxiv.org/abs/2605.16386v1
• Date: Mon, 11 May 2026 15:37:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 23:51:08.312423
• Title: Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring
• Title（参考訳）: マルチモーダル LLM レーダの検査 : 臨床整形における中心的緊張バイアス
• Abstract要約: マルチモーダル大言語モデル (LLM) は, 臨床環境において, 自動評価器として研究されている。 ロック描画テスト(CDT)画像の評価のための教師付きディープラーニングモデルに対して、3つのフロンティアLLMファミリーをベンチマークした。 NLP評価から臨床評価まで, LLM-as-a-judge バイアスの文献を拡張した。
• 参考スコア（独自算出の注目度）: 2.835587889687748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (LLMs) are increasingly explored as automated evaluators in clinical settings, yet their scoring behavior on ordinal clinical scales remains poorly understood. We benchmark three frontier LLM families against supervised deep learning models for scoring Clock Drawing Test (CDT) images on two public datasets using the Shulman rubric. While fully fine-tuned Vision Transformers achieve the best calibration (MAE 0.52, within-1 accuracy 91%), zero-shot LLMs remain competitive on tolerance-based agreement (GPT-5 MAE 0.67, within-1 accuracy 92%) despite higher absolute error. However, per-score analysis reveals that all three LLM families exhibit a pronounced central tendency effect (systematic endpoint compression): predictions are systematically compressed toward the middle of the scale, with over-prediction at the low end (score 0 to 1) and under-prediction at the high end (score 5 to 4). This effect disproportionately affects the clinically critical extremes where accurate scoring most impacts screening decisions for cognitive impairment. Targeted ablations show that neither few-shot exemplars spanning the full score range nor removing clinical terminology from the prompt eliminates the effect. Our findings extend the LLM-as-a-judge bias literature from NLP evaluation to clinical assessment, and highlight the need for calibration-aware evaluation and post-hoc calibration before deploying LLM-based raters in high-stakes screening workflows.
• Abstract（参考訳）: マルチモーダル大言語モデル (LLM) は, 臨床環境において自動評価器として研究されているが, 通常の臨床尺度でのスコアリング行動はいまだによく分かっていない。 我々は,Shulmanルーブリックを用いた2つの公開データセット上で,クロック描画テスト(CDT)画像を評価するための教師付きディープラーニングモデルに対して,3つのフロンティアLLMファミリーをベンチマークした。 完全微調整のビジョントランスフォーマーは最高のキャリブレーション(MAE 0.52、精度91%)を達成するが、ゼロショットLLMは高い絶対誤差にもかかわらず耐久性ベースの契約(GPT-5 MAE 0.67、精度92%)に競争力を維持する。 しかし、スコア毎の解析により、3つのLLMファミリーが顕著な中央傾向効果(システム的終端圧縮)を示すことが明らかとなり、予測はスケールの中央に体系的に圧縮され、ローエンド(スコア0〜1)で過剰予測、ハイエンド(スコア5〜4)で過大予測される。 この効果は、正確なスコアリングが認知障害のスクリーニング決定に最も影響する、臨床的に致命的な極端に不釣り合いに影響を及ぼす。 目標とする改善は、全スコア範囲にまたがる数発の試行錯誤や、プロンプトから臨床用語を除去しても効果は排除されないことを示している。 LLM-as-a-judge バイアスの文献をNLP評価から臨床評価まで拡張し,LLM-based Rater をハイテイクスクリーニングワークフローに導入する前に,校正意識評価とポストホック校正の必要性を強調した。

関連論文リスト

• Clinician-Level Agreement Without Clinical Caution: LLM Evaluator Limits in Medical AI Benchmarking [27.829988205900055]
  MedQADEは、ドイツにおける最初の標準的オープンレスポンス臨床ベンチマークである。 最高のパフォーマンス評価モデルであるGemini 3 Flashは、医師の天井と一致している。 この統計的アライメントにもかかわらず、自動評価装置は臨床メタ認知に近づいた。
  論文  参考訳（メタデータ） (2026-07-01T15:55:31Z)
• Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
  既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。 テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
  論文  参考訳（メタデータ） (2026-06-17T08:10:30Z)
• TRIAGE: Dialectical Reasoning for Explainable Risk Prediction on Irregularly Sampled Medical Time Series with LLMs [38.333764111610044]
  競合する臨床結果に対する弁証的推論を生成するために, LLM を訓練するフレームワーク TRIAGE を提案する。 3つのISMTSベンチマークで評価され、TRIAGEは平均AUPRCの改善を3.3%達成し、キャリブレーションエラーを81%削減した。
  論文  参考訳（メタデータ） (2026-06-08T04:53:44Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• Tipping the Balance: Impact of Class Imbalance Correction on the Performance of Clinical Risk Prediction Models [2.2534253247996214]
  クラス不均衡補正技術は、稀な結果を伴う設定におけるモデル性能を改善するために一般的に用いられる。 本研究は,リアルタイム臨床予測タスクの判別と校正に広く用いられているリサンプリング戦略が及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2026-02-27T12:29:16Z)
• PREBA: Surgical Duration Prediction via PCA-Weighted Retrieval-Augmented LLMs and Bayesian Averaging Aggregation [51.96735866702332]
  PreBAはPCA重み付き検索とベイズ平均アグリゲーションを統合した検索拡張フレームワークである。 例えば、PreBAはパフォーマンスを大幅に改善し、MAEを最大40%削減し、ゼロショット推論でR2を-0.13から0.62に引き上げる。
  論文  参考訳（メタデータ） (2026-02-27T07:19:23Z)
• Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering [94.37535002230504]
  本研究では,Semantically Decoupled Latent Steeringと呼ばれる学習自由な推論時間制御フレームワークを開発した。 提案手法は,大言語モデル (LLM) による意味分解による意味のない介入ベクトルを構築する。 本手法は歴史的幻覚の可能性を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2026-02-27T04:49:01Z)
• Adaptive Detector-Verifier Framework for Zero-Shot Polyp Detection in Open-World Settings [7.768426131383283]
  既存のアプローチは、コントロールされた検査条件と臨床実践の間の領域ギャップに苦慮している。 本稿では、視覚言語モデル(VLM)検証器を備えたYOLOv11検出器からなる新しい2段階検出器検証フレームワークであるAdaptiveDetectorを提案する。 この適応しきい値とコスト感受性強化学習の組み合わせは、臨床的に整合したオープンワールドポリープ検出を実現し、偽陰性は極めて少ない。
  論文  参考訳（メタデータ） (2025-12-13T23:33:05Z)
• Conformal Lesion Segmentation for 3D Medical Images [82.92159832699583]
  本稿では,データ駆動しきい値の校正をコンフォーマル化することで,テスト時間FNRが目標許容値以下であることを保証する,リスク制約付きフレームワークを提案する。 5つのバックボーンモデルにまたがる6つの3D-LSデータセット上でのCLSの統計的健全性と予測性能を検証し,臨床実践におけるリスク認識セグメンテーションの展開に関する実用的な知見を得た。
  論文  参考訳（メタデータ） (2025-10-19T08:21:00Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• CLIMB: A Benchmark of Clinical Bias in Large Language Models [39.82307008221118]
  大規模言語モデル(LLM)は、臨床的な意思決定にますます応用されている。 バイアスを示す可能性は、臨床の株式に重大なリスクをもたらす。 現在、LSMにおけるそのような臨床バイアスを体系的に評価するベンチマークが欠如している。
  論文  参考訳（メタデータ） (2024-07-07T03:41:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。