論文の概要: From Small to Large: Assessing Medical Reasoning, Benchmark Contamination, and Model Size in Language Models
- arxiv url: http://arxiv.org/abs/2611.00460v1
- Date: Fri, 30 Oct 2026 23:23:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.406982
- Title: From Small to Large: Assessing Medical Reasoning, Benchmark Contamination, and Model Size in Language Models
- Title（参考訳）: 小規模から大規模へ:言語モデルにおける医学的推論、ベンチマーク汚染、モデルサイズを評価する
- Abstract要約: 大規模言語モデル(LLM)は、専門家のレベル以上で医学試験の質問に答える。
このようなスコアが臨床能力に影響を与えているのか、それとも質問の形式に影響を受けているのかは不明だ。
また,HIPAA対応の病院環境において,より局所的に展開可能な小型モデルが人為的性能を達成できたかどうかも明らかになっていない。
- 参考スコア（独自算出の注目度）: 2.5782420501870296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) now answer medical exam questions at or above expert level, but it is unclear whether such scores reflect clinical competence, or are instead affected by the format of the questions being asked (e.g., multiple-choice versus open-ended), prior exposure to the benchmarks, and the difficulty of the questions. These benchmarks are also public and widely used online, which may be resulting in LLM memorization. Models may perform better on questions that they have seen before. It is also not evident whether smaller models, which are more locally deployable in HIPAA-compliant hospital settings, have achieved human performance. In this study, we evaluate fourteen current models from six leading providers, one smaller and one larger model from each provider with two additional open-weight models, on 3,076 questions from four medical benchmarks (MedQA-USMLE, MedMCQA, PubMedQA, and MedBullets) under standard multiple choice, the same questions with the answer choices withheld, and reconstruction of a hidden question from its choices alone. In the standard multiple-choice setting, the strongest models exceed the human-expert baseline on MedQA-USMLE and PubMedQA, but the smaller models trail their larger models by 8.7 percentage points and only two of the six pass the human-expert bar on the licensing examination. Withholding the answer choices, however, makes every model struggle: mean accuracy falls from 82.3% to 50.9%, and the two largest drops belong to the medically specialised models. On memorization, the strongest models reconstruct one question in four from the answer choices alone, yet accuracy holds on the questions they cannot reconstruct. We further weigh accuracy against inference cost and test whether ensembling several models improves medical question answering.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、現在、専門家レベル以上の医療試験の質問に答えているが、そのようなスコアが臨床能力の反映なのか、それとも、質問される質問の形式(例えば、複数選択対オープンエンド)、ベンチマークへの事前の露出、質問の難しさに影響されているのかは不明である。
これらのベンチマークはオンラインでも公開されており、LLMの記憶に繋がる可能性がある。
モデルは、彼らが以前に見た質問に対してより良く機能する。
また,HIPAA対応の病院環境において,より局所的に展開可能な小型モデルが人為的性能を達成できたかどうかも明らかになっていない。
本研究では,6つの大手プロバイダの14の現行モデル,各プロバイダの1つの小型モデルと1つの大型モデル,さらに2つのオープンウェイトモデルを用いて,標準多重選択による4つの医療ベンチマーク(MedQA-USMLE, MedMCQA, PubMedQA, MedBullets)の3,076の質問,解答選択による同じ質問,およびその選択のみからの隠れた質問の再構築について評価した。
標準的な多重選択設定では、最強のモデルはMedQA-USMLEとPubMedQAの人間専門家ベースラインを超えるが、より小型のモデルはより大きなモデルを8.7ポイント追尾し、6つのうち2つだけがライセンス試験で人間専門家バーをパスしている。
平均精度は82.3%から50.9%に低下し、2つの大きな落差は医学専門のモデルに属する。
記憶化では、最強のモデルは答えの選択だけで4つに1つの質問を再構成するが、正確性は再構築できない質問に当てはまる。
さらに、推測コストに対して精度を測り、複数のモデルを組み立てることで医療質問応答が改善されるかどうかを検証した。
関連論文リスト
- RetiJev: Fast and Source-Grounded Ophthalmic Decision Models [49.18315352624845]
自己回帰型大規模言語モデル(LLM)は、事前に定義されたアクション間の決定にかなりのレイテンシと計算オーバーヘッドをもたらす。
RetiJev-Dataは,78,158個の臨床診断と診断質問からなる眼科原点検コーパスである。
RetiJev は 0.8B-9B 決定モデルのファミリーで, 自己回帰的復号化を伴わず, 直接解を求める。
論文 参考訳（メタデータ） (2026-10-22T08:59:47Z) - SurgiQ: A Large-Scale Multi-Domain Benchmark for Evaluating Surgical Understanding in Large Language Models [39.65665515356622]
今回,SurgiQについて紹介する。SurgiQは6つの外科領域にまたがる,13,055の4つの選択肢の多重選択質問に対する,テキストのみのソースグラウンドベンチマークである。
汎用モデル、特にQwen2.5は、ほとんどのバイオメディカルモデルより優れている。
論文 参考訳（メタデータ） (2026-06-06T09:45:45Z) - Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。
Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。
厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
論文 参考訳（メタデータ） (2025-08-29T08:58:39Z) - MedQARo: A Large-Scale Benchmark for Medical Question Answering in Romanian [50.767415194856135]
ルーマニア初の大規模医療QAベンチマークであるMedQARoを紹介する。
がん患者に関連する102,646のQAペアからなる高品質で大規模なデータセットを構築した。
論文 参考訳（メタデータ） (2025-08-22T13:48:37Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳（メタデータ） (2025-08-22T08:38:16Z) - An Empirical Evaluation of Large Language Models on Consumer Health Questions [0.30723404270319693]
本研究は,MedRedQAにおけるいくつかの大規模言語モデル(LLM)の性能評価である。
GPT-4o miniは5つのモデルの審査員のうち4人に応じて専門家の反応に最も適しており、Mistral-7Bは5つのモデルの審査員のうち3人から最も低いスコアを得た。
論文 参考訳（メタデータ） (2024-12-31T01:08:15Z) - Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。
医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。
以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-07-11T16:51:33Z) - Pattern Recognition or Medical Knowledge? The Problem with Multiple-Choice Questions in Medicine [3.471944921180245]
大規模言語モデル(LLM)は、医療領域において大きな可能性を示す。
これらの質問は、USMLEのような試験をモデルとしたMCQ(Multiple-choice Question)を用いて評価されることが多い。
私たちは、想像上のオルガンであるGlianorexを中心とした架空の医療ベンチマークを作成し、記憶された知識と推論能力の分離を可能にしました。
論文 参考訳（メタデータ） (2024-06-04T15:08:56Z) - Assessing The Potential Of Mid-Sized Language Models For Clinical QA [24.116649037975762]
GPT-4 や Med-PaLM のような大規模言語モデルは、臨床上のタスクにおいて顕著な性能を示した。
BioGPT-large、BioMedLM、LLaMA 2、Mistral 7Bのような中型モデルはこれらの欠点を避ける。
本研究は,臨床業務におけるオープンソース中規模モデルの初回評価を行う。
論文 参考訳（メタデータ） (2024-04-24T14:32:34Z) - Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks [17.40940406100025]
私たちは、70億から700億のパラメータからなる、医療AIシステムの新しいファミリーであるMeerkatを紹介します。
我々のシステムは6つの医療ベンチマークで顕著な精度を達成した。
Meerkat-70Bは38例中21例を正しく診断し、ヒトの13.8例を上回った。
論文 参考訳（メタデータ） (2024-03-30T14:09:00Z) - BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text [82.7001841679981]
BioMedLM は270億のパラメータ GPT スタイルの自己回帰モデルであり、PubMed の抽象概念と全記事に特化して訓練されている。
微調整すると、BioMedLMはより大規模なモデルと競合する強力な多重選択のバイオメディカルな質問応答結果を生成することができる。
BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。
論文 参考訳（メタデータ） (2024-03-27T10:18:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。