論文の概要: LLMs as Judges and Examinees for Medical Item Difficulty Prediction

• arxiv url: http://arxiv.org/abs/2610.38402v1
• Date: Wed, 28 Oct 2026 07:46:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.969529
• Title: LLMs as Judges and Examinees for Medical Item Difficulty Prediction
• Title（参考訳）: 医療品の難易度予測のための審査・審査としてのLCM
• Abstract要約: 本研究では、オープンウェイトな大規模言語モデルがテスト項目と相互作用するときに現れる困難関連信号を用いて異なるアプローチをとる。 審査員として、モデルは絶対的な難易度とペアの難易度の比較を提供した。 シミュレーションにより、彼らは正当性、鍵選択確率、応答エントロピー、上位2つの選択肢間の確率マージンを含む応答に基づく信号を生成した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predicting medical item difficulty from item text alone remains challenging. Prior work has largely relied on linguistic features or text representations derived from general-purpose and domain-specific language models, but predictive performance has remained modest. This study takes a different approach by using difficulty-related signals that emerge when open-weight large language models (LLMs) interact with test items. Using USMLE and PANCE medical licensure examination items, we examined LLMs in two roles. As judges, the models provided absolute difficulty ratings and pairwise difficulty comparisons. As simulated examinees, they generated response-based signals including correctness, keyed-option probability, response entropy, and the probability margin between the top two options. We then combined the strongest judgment and response signals with baseline item features in downstream prediction models. Pairwise difficulty judgment was the most consistent individual LLM signal across both datasets, while simulated-examinee signals and absolute judgments provided complementary information in some feature combinations. The best configurations reached a Spearman correlation of $ρ$ = .447 on USMLE, exceeding the best system in the 2024 BEA shared task ($ρ$ = .25), and $ρ$ = .494 on PANCE. These results were comparable to direct absolute judgments from the proprietary frontier model Claude Opus 5 ($ρ$ = .443 and .488, respectively). Overall, judgment and response signals from open-weight LLMs captured difficulty-related information beyond text representations. Because these models can be deployed locally, the approach offers a practical option for predicting the difficulty of unreleased or high-security test items.
• Abstract（参考訳）: 項目テキストだけで医療品の難易度を予測することは依然として困難である。 これまでの研究は、汎用言語モデルやドメイン固有言語モデルから派生した言語的特徴やテキスト表現に大きく依存していたが、予測性能は緩やかに保たれている。 本研究では,オープンウェイト大規模言語モデル (LLM) がテスト項目と相互作用する場合に現れる困難関連信号を用いて,異なるアプローチをとる。 USMLE と PANCE の医療ライセンス試験項目を用いて LLM を2つの役割で検討した。 審査員として、モデルは絶対的な難易度とペアの難易度の比較を提供した。 シミュレーションにより、彼らは正当性、鍵選択確率、応答エントロピー、上位2つの選択肢間の確率マージンを含む応答に基づく信号を生成した。 次に、下流予測モデルにおける最強判定と応答信号と基準項目の特徴を組み合わせた。 ペアワイズ困難判定は、両方のデータセット間で最も一貫した個々のLSM信号であり、シミュレート・検査信号と絶対判定は、いくつかの特徴の組み合わせで相補的な情報を提供した。 最高の構成はUSMLEで$ρ$ = .447のスピアマン相関に達し、2024年のBEA共有タスク(ρ$ = .25)で最高のシステムを超え、PANCEで$ρ$ = .494となった。 これらの結果は、プロプライエタリフロンティアモデルのクロード・オプス5(それぞれ ρ$ = .443 と .488)の直接的な絶対判断に匹敵するものであった。 全体として、オープンウェイトLLMの判定と応答信号は、テキスト表現を超えた難易度関連情報をキャプチャした。 これらのモデルはローカルにデプロイできるため、未リリースまたは高セキュリティのテスト項目の難しさを予測するための実用的なオプションを提供する。

関連論文リスト

• Diagnosing and Correcting Bias in MLLM for Long Video Understanding [60.967743158928805]
  長いビデオの質問に対する答えは難しい。 メモリ制約により、マルチモーダル大言語モデルは非常に低いレートでフレームをサンプリングすることができ、その結果、重要証拠を省略するリスクが生じる。 我々は、学習不要なフレームワーク、対実的長ビデオ証拠認識推論(CLEAR)を提案する。
  論文  参考訳（メタデータ） (2026-10-26T19:44:17Z)
• LLMs Encode Relevance as a Layer-Wise Cross-Lingual Signal [8.33491432828288]
  命令調整言語モデルにおける残差ストリームアクティベーションから,クエリ文書の関連性が線形に除去可能であるかを検討する。 以上の結果から,q-d関係は深さ依存信号として符号化されていることが示唆された。 いくつかのモデルでは、バリデーション選択されたプローブが生成された判断にマッチするか、性能が良くなり、システムランキングがより保存される。
  論文  参考訳（メタデータ） (2026-07-17T01:54:45Z)
• Estimating Item Difficulty with Large Language Models as Experts [0.44101646956991475]
  本研究は,3つの既成言語モデルを,応答データにアクセスできることなく,新たに作成された項目のラベル付けが困難であるとして評価した。 この調査では、判断形式(絶対対対ペア)、決定型(ハードな決定対トークン確率に基づく見積もり)、そして戦略の推進という3つの要因を横断する完全な因子的設計が用いられた。 LLMをベースとした評価では, 実験項目の難易度と中程度から強い正の相関が認められた。
  論文  参考訳（メタデータ） (2026-05-18T15:42:13Z)
• Membership Inference Attacks against Large Audio Language Models [50.84901010528239]
  大規模音声言語モデル(LALM)のMIA評価について述べる。 テキスト,スペクトル,韻律的特徴に基づくマルチモーダルブラインドベースラインを用いて,一般的な音声データセットがほぼ完璧な列車/テスト分離性を示すことを示す。 以上の結果から, LALM検査の基準基準が確立された。
  論文  参考訳（メタデータ） (2026-03-30T12:45:28Z)
• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Take Out Your Calculators: Estimating the Real Difficulty of Question Items with LLM Student Simulations [36.23612429926861]
  実世界の学生を対象とした数学質問の難易度を評価するため,オープンソースの大規模言語モデル(LLM)の予測値について検討した。 我々は,4年生,8年生,12年生の「教室」をシミュレートし,LLMを様々な習熟度を持つロールプレイングの学生に促す。 我々は,4級,8級,12級の相関関係を0.75,0.76,0.82まで観測した。
  論文  参考訳（メタデータ） (2026-01-15T00:25:01Z)
• Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information [57.397381631496906]
  最適重み(OW)と逆サプライシング人気度(ISP)という2つの新しいアグリゲーションアルゴリズムを開発した。 我々の理論的分析は、これらの手法が軽微な仮定の下での多数決の本質的な制限を確実に緩和することを示している。 我々は,我々のアルゴリズムを人工データセット,UltraFeedbackやMMLUなどのLLMファインチューニングベンチマーク,実世界の医療環境ARMMAN上で実証的に検証した。
  論文  参考訳（メタデータ） (2025-10-01T22:21:50Z)
• Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms [0.0]
  フィールドテストによるアイテムの難易度の推定は、しばしばリソース集約的で時間を要する。 本研究は,大言語モデル(LLM)を用いて,K-5数学および読解評価項目の項目難易度を予測することの実現可能性について検討する。
  論文  参考訳（メタデータ） (2025-04-09T00:04:07Z)
• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Mind the instructions: a holistic evaluation of consistency and interactions in prompt-based learning [14.569770617709073]
  本稿では,どの設計選択が課題予測の不安定性や矛盾の原因となるかを詳細に分析する。 本稿では,入力分布とラベルの相関関係が,誘導モデルにのみ小さな問題となることを示す。 統計的に分析し、どの要因が最も影響力があり、インタラクティブで、安定したかを示す。
  論文  参考訳（メタデータ） (2023-10-20T13:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。