論文の概要: Leveraging Computerized Adaptive Testing for Cost-effective Evaluation of Large Language Models in Medical Benchmarking

• arxiv url: http://arxiv.org/abs/2603.23506v1
• Date: Sat, 28 Feb 2026 10:45:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:12.987461
• Title: Leveraging Computerized Adaptive Testing for Cost-effective Evaluation of Large Language Models in Medical Benchmarking
• Title（参考訳）: 医用ベンチマークにおける大規模言語モデルの費用対効果評価のためのコンピュータ適応テストの活用
• Authors: Tianpeng Zheng, Zhehan Jiang, Jiayi Liu, Shicong Feng,
• Abstract要約: 医療における大規模言語モデル(LLM)の急速な普及は、スケーラブルで心理的に健全な評価方法への緊急なニーズを生み出している。 項目応答理論(IRT)に基づくコンピュータ適応テスト(CAT)フレームワークの提案と検証を行う。 CAT由来の習熟度推定は, フルバンク推定とほぼ完全に相関していることを示す。
• 参考スコア（独自算出の注目度）: 1.517383866999239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid proliferation of large language models (LLMs) in healthcare creates an urgent need for scalable and psychometrically sound evaluation methods. Conventional static benchmarks are costly to administer repeatedly, vulnerable to data contamination, and lack calibrated measurement properties for fine-grained performance tracking. We propose and validate a computerized adaptive testing (CAT) framework grounded in item response theory (IRT) for efficient assessment of standardized medical knowledge in LLMs. The study comprises a two-phase design: a Monte Carlo simulation to identify optimal CAT configurations and an empirical evaluation of 38 LLMs using a human-calibrated medical item bank. Each model completed both the full item bank and an adaptive test that dynamically selected items based on real-time ability estimates and terminated upon reaching a predefined reliability threshold (standard error <= 0.3). Results show that CAT-derived proficiency estimates achieved a near-perfect correlation with full-bank estimates (r = 0.988) while using only 1.3 percent of the items. Evaluation time was reduced from several hours to minutes per model, with substantial reductions in token usage and computational cost, while preserving inter-model performance rankings. This work establishes a psychometric framework for rapid, low-cost benchmarking of foundational medical knowledge in LLMs. The proposed adaptive methodology is intended as a standardized pre-screening and continuous monitoring tool and is not a substitute for real-world clinical validation or safety-oriented prospective studies.
• Abstract（参考訳）: 医療における大規模言語モデル(LLM)の急速な普及は、スケーラブルで心理的に健全な評価方法への緊急なニーズを生み出している。 従来の静的ベンチマークは、繰り返し実行し、データ汚染に弱い、微粒なパフォーマンストラッキングのための校正された測定特性が欠如している。 LLMにおける標準化医療知識の効率的な評価のために,項目応答理論(IRT)に基づくコンピュータ適応テスト(CAT)フレームワークを提案し,検証する。 モンテカルロシミュレーションによる最適CAT構成の同定と,ヒト校正医療品バンクを用いた38 LLMの実証評価を行った。 各モデルは、フルアイテムバンクと、リアルタイム能力推定に基づいて動的に選択されたアイテムの両方を完了し、予め定義された信頼しきい値に達すると終了する適応テスト(標準エラー<=0.3)を完了した。 その結果、CAT由来の熟練度推定は、全バンク推定(r = 0.988)とほぼ完全に相関し、項目の1.3%しか使用していないことがわかった。 評価時間はモデル毎の数時間から数分に短縮され、トークンの使用量や計算コストは大幅に削減された。 この研究は、LLMにおける基礎医療知識の迅速かつ低コストなベンチマークのための心理測定の枠組みを確立する。 提案手法は、標準化された事前スクリーニング・継続的監視ツールとして意図されており、実際の臨床検証や安全性指向の予測研究の代用ではない。

関連論文リスト

• PREBA: Surgical Duration Prediction via PCA-Weighted Retrieval-Augmented LLMs and Bayesian Averaging Aggregation [51.96735866702332]
  PreBAはPCA重み付き検索とベイズ平均アグリゲーションを統合した検索拡張フレームワークである。 例えば、PreBAはパフォーマンスを大幅に改善し、MAEを最大40%削減し、ゼロショット推論でR2を-0.13から0.62に引き上げる。
  論文  参考訳（メタデータ） (2026-02-27T07:19:23Z)
• LiveMedBench: A Contamination-Free Medical Benchmark for LLMs with Automated Rubric Evaluation [22.211535340726073]
  LiveMedBenchは、オンライン医療コミュニティからリアルな臨床ケースを抽出する、継続的に更新されたベンチマークである。 LiveMedBenchは、38の専門医と複数の言語にまたがる2,756の現実世界のケースで構成され、16,702のユニークな評価基準と組み合わせている。 大規模な評価では、最高のパフォーマンスモデルでさえ39.2%しか達成せず、84%のモデルがカット後のケースで性能劣化を示す。
  論文  参考訳（メタデータ） (2026-02-10T23:38:25Z)
• A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
  大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。 ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。 本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:48:21Z)
• From Scores to Steps: Diagnosing and Improving LLM Performance in Evidence-Based Medical Calculations [45.414878840652115]
  大規模言語モデル(LLM)は医療ベンチマークで有望な性能を示した。 しかし、医学的な計算を行う能力は未熟であり、評価も不十分である。 本研究は,臨床信頼性を重視した医療計算評価を再考する。
  論文  参考訳（メタデータ） (2025-09-20T09:10:26Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
  我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• Improving Clinical Decision Support through Interpretable Machine Learning and Error Handling in Electronic Health Records [6.594072648536156]
  Trust-MAPSは、臨床領域の知識を高次元の混合整数プログラミングモデルに変換する。 信頼スコアは、臨床決定支援タスクの予測性能を高めるだけでなく、MLモデルに解釈可能性を与える臨床的に有意義な特徴として出現する。
  論文  参考訳（メタデータ） (2023-08-21T15:14:49Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。