論文の概要: What Makes Medical Examination Items Difficult? Using Large Language Models to Explore Patterns Associated With Empirical Item Difficulty
- arxiv url: http://arxiv.org/abs/2610.39373v1
- Date: Thu, 29 Oct 2026 05:04:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.042232
- Title: What Makes Medical Examination Items Difficult? Using Large Language Models to Explore Patterns Associated With Empirical Item Difficulty
- Title（参考訳）: 医学検査を困難にしているのは何か? 大規模言語モデルを用いて経験的項目の難しさに関連するパターンを探索する
- Abstract要約: 本研究では,経験的難易度ラベルを用いて,難易度を誘導する大規模言語モデル(LLM)を導出する。
誘導された潤滑剤は、茎の長さ、オプション数、画像などの表面の特徴を主要な難易度源として扱ってはいなかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Research on medical item difficulty has largely focused on prediction rather than on identifying interpretable patterns associated with empirical difficulty. This study used empirical difficulty labels to guide large language models (LLMs) in inducing difficulty rubrics and examined how rubric guidance affected LLM difficulty judgments. Using training items and their empirical difficulty estimates from the United States Medical Licensing Examination (USMLE) and the Physician Assistant National Certifying Examination (PANCE), Claude Opus 5 induced separate rubrics for absolute and pairwise difficulty judgment. None of the induced rubrics treated surface features, such as stem length, option count, or images, as major sources of difficulty. Several patterns emerged across both examinations, including cue convergence, misleading cues, and option competition, although their specific forms differed. Retrieval of knowledge that could not be derived from the stem was particularly prominent in the PANCE rubrics, whereas the USMLE rubrics placed greater emphasis on integrating multiple clinical cues. We compared commercial and open-weight LLMs on held-out items under unguided and rubric-guided conditions. Rubric guidance changed how models used the difficulty scale but did not consistently improve performance. In absolute judgments, guidance encouraged broader use of the scale and generally improved coarse-grained agreement, without consistently improving rank ordering. In pairwise comparisons, its effects varied across models and examinations, and judgments became more sensitive to presentation order. These findings suggest that the value of label-guided rubric induction may lie more in generating interpretable, testable hypotheses from empirical difficulty data than in reliably improving difficulty judgments.
- Abstract（参考訳）: 医療品の難易度に関する研究は、経験的難易度に関連する解釈可能なパターンを特定することよりも、予測に焦点を当てている。
本研究では, 経験的難易度ラベルを用いて, 難易度モデル (LLM) を誘導し, 難易度判定にどう影響するかを検討した。
アメリカ医学ライセンス試験(USMLE)とPANCE(Physian Assistant National Certification Examination)からのトレーニング項目とその経験的難易度推定を用いて、クロード・オプス5は絶対的かつ対等な難易度判定のために別個のルーリックを誘導した。
誘導された潤滑剤は、茎の長さ、オプション数、画像などの表面の特徴を主要な難易度源として扱ってはいなかった。
いずれの試験にもいくつかのパターンが出現し、その形態は異なっていたが、キュー収束、誤解を招く手がかり、オプション競争などがあった。
茎から抽出できない知識の検索は、特にPANCEルーブリックで顕著であったが、USMLEルーブリックは複数の臨床的手がかりを統合することに重点を置いていた。
我々は,無ガイドおよびルーリック誘導条件下でのホールドアウト品に対する商用LLMとオープンウェイトLLMを比較した。
ルーブリックガイダンスは、モデルの難易度尺度の使用方法を変えたが、パフォーマンスを継続的に改善しなかった。
絶対的な判断では、指導は階級の秩序を一貫して改善することなく、規模を広く活用し、概して粗い粒度の合意を改善した。
一対比較では、その効果はモデルや試験によって異なり、判断は提示順序に対してより敏感になった。
これらの結果は,ラベル誘導ルーブリック誘導の値は,難易度判定を確実に改善するよりも,解釈可能な,検証可能な仮説を経験的難易度データから生成する傾向が示唆された。
関連論文リスト
- LLMs as Judges and Examinees for Medical Item Difficulty Prediction [0.0]
本研究では、オープンウェイトな大規模言語モデルがテスト項目と相互作用するときに現れる困難関連信号を用いて異なるアプローチをとる。
審査員として、モデルは絶対的な難易度とペアの難易度の比較を提供した。
シミュレーションにより、彼らは正当性、鍵選択確率、応答エントロピー、上位2つの選択肢間の確率マージンを含む応答に基づく信号を生成した。
論文 参考訳（メタデータ） (2026-10-28T07:46:54Z) - SWEAR: Section-Wise Efficient Audio Reasoning via Self-Rated Difficulty [48.67493850129358]
本稿では,教師付き微調整中の難易度を学習する難易度を考慮した推論フレームワークSWEARを提案する。
MMAU-test-mini と MMAR の実験により、SWEAR は生成トークンを大幅に削減しながら精度を向上することを示した。
論文 参考訳（メタデータ） (2026-10-09T06:36:43Z) - What Makes Something Hard(er)? Explaining Question Difficulty in Natural Language [50.924716679241975]
本稿では,自然言語仮説を自動生成し,検証するデータ駆動型手法を提案する。
3つのデータセットにまたがる実験結果から,本手法は解釈可能な仮説と予測可能な仮説を導出することが示された。
論文 参考訳（メタデータ） (2026-10-01T12:58:49Z) - Estimating Item Difficulty with Large Language Models as Experts [0.44101646956991475]
本研究は,3つの既成言語モデルを,応答データにアクセスできることなく,新たに作成された項目のラベル付けが困難であるとして評価した。
この調査では、判断形式(絶対対対ペア)、決定型(ハードな決定対トークン確率に基づく見積もり)、そして戦略の推進という3つの要因を横断する完全な因子的設計が用いられた。
LLMをベースとした評価では, 実験項目の難易度と中程度から強い正の相関が認められた。
論文 参考訳（メタデータ） (2026-05-18T15:42:13Z) - Leveraging whole slide difficulty in Multiple Instance Learning to improve prostate cancer grading [2.784896870211286]
専門医と非専門的な病理医の意見の相違から,WSD(Whole Slide Difficulty)の概念を紹介した。
本稿では,WSD,マルチタスクアプローチ,重み付き分類損失アプローチの2つの方法を提案する。
その結果、訓練中にWSDを統合することで、異なる機能エンコーダとMILメソッド間の分類性能が一貫して向上することがわかった。
論文 参考訳（メタデータ） (2026-03-10T17:49:29Z) - Anatomy-R1: Enhancing Anatomy Reasoning in Multimodal Large Language Models via Anatomical Similarity Curriculum and Group Diversity Augmentation [52.7583577508452]
MLLM(Multimodal Large Language Models)は自然画像推論において顕著な進歩を遂げている。
医用画像におけるその潜在性は、特に臨床解剖学的外科画像では未発見のままである。
これらの課題は、従来のSupervised Fine-Tuning戦略の有効性を制限する。
論文 参考訳（メタデータ） (2025-12-22T16:06:36Z) - Revisiting Generalization Across Difficulty Levels: It's Not So Easy [11.203451380580868]
本研究では,大規模言語モデルがタスクの難易度によってどのように一般化されるかを検討する。
簡単なデータでも難しいデータでも、あらゆる難易度で一貫した改善を達成できないことを示す。
論文 参考訳（メタデータ） (2025-11-26T18:59:57Z) - Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。
本稿では,構造化医療推論を利用した新しいアプローチを提案する。
我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
論文 参考訳（メタデータ） (2025-03-05T05:24:55Z) - Exploring the Potential of Large Language Models for Estimating the Reading Comprehension Question Difficulty [2.335292678914151]
本研究では,Large Language Models (LLMs) の有効性を検討した。
また,OpenAI の GPT-4o と o1 を用いて,学習支援・読解評価 (SARA) データセットを用いた理解的質問の読解の難しさを推定する。
その結果, モデルがIRTパラメータと有意に一致した難易度推定値を生成する一方で, 極端項目特性に対する感度に顕著な差があることが示唆された。
論文 参考訳（メタデータ） (2025-02-25T02:28:48Z) - Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments [108.55277188617035]
大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし、適用する能力は、まだ探索されていない。
標準化された語彙と知識グラフの包括的なリポジトリであるUMLS(Unified Medical Language System)から派生したデータセットであるMKJ(Messical Knowledge Judgment dataset)を紹介する。
バイナリ分類フレームワークを通じて、MKJは、簡潔なワンホップ文の妥当性を評価することによって、LCMが基本的な医学的事実を把握できることを評価する。
論文 参考訳（メタデータ） (2025-02-20T05:27:51Z) - Label Cleaning Multiple Instance Learning: Refining Coarse Annotations
on Single Whole-Slide Images [83.7047542725469]
病理検体の全スライディング画像(WSI)における癌領域のアノテーションは、臨床診断、生医学研究、機械学習アルゴリズムの開発において重要な役割を担っている。
本稿では,外部トレーニングデータを必要とせず,単一のWSI上で粗いアノテーションを洗練するためのLC-MIL (Label Cleaning Multiple Instance Learning) を提案する。
乳癌リンパ節転移,肝癌,大腸癌の検体を併用した異種 WSI 実験の結果,LC-MIL は粗いアノテーションを著しく改善し,単一スライドから学習しながらも,最先端の代替品よりも優れていた。
論文 参考訳（メタデータ） (2021-09-22T15:06:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。