論文の概要: Estimating Exam Item Difficulty with LLMs: A Benchmark on Brazil's ENEM Corpus

• arxiv url: http://arxiv.org/abs/2602.06631v1
• Date: Fri, 06 Feb 2026 11:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.384501
• Title: Estimating Exam Item Difficulty with LLMs: A Benchmark on Brazil's ENEM Corpus
• Title（参考訳）: LLMによるエキシマ項目の予測:ブラジルのENEMコーパスのベンチマーク
• Authors: Thiago Brant, Julien Kühn, Jun Pang,
• Abstract要約: 大規模言語モデル(LLM)は、教育コンテンツを生成するためにますます多くデプロイされている。 我々は1031の質問に対して10のプロプライエタリかつオープンウェイトなLCMをIRTパラメータに対してベンチマークする。 最良のモデルでは、適度なランク相関が達成されているが、体系的に難易度を過小評価し、マルチモーダルアイテムで著しく劣化する。
• 参考スコア（独自算出の注目度）: 11.916129241436584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) are increasingly deployed to generate educational content, a critical safety question arises: can these models reliably estimate the difficulty of the questions they produce? Using Brazil's high-stakes ENEM exam as a testbed, we benchmark ten proprietary and open-weight LLMs against official Item Response Theory (IRT) parameters for 1,031 questions. We evaluate performance along three axes: absolute calibration, rank fidelity, and context sensitivity across learner backgrounds. Our results reveal a significant trade-off: while the best models achieve moderate rank correlation, they systematically underestimate difficulty and degrade significantly on multimodal items. Crucially, we find that models exhibit limited and inconsistent plasticity when prompted with student demographic cues, suggesting they are not yet ready for context-adaptive personalization. We conclude that LLMs function best as calibrated screeners rather than authoritative oracles, supporting an "evaluation-before-generation" pipeline for responsible assessment design.
• Abstract（参考訳）: 大きな言語モデル(LLM)が教育コンテンツを生成するためにますますデプロイされるにつれて、重要な安全性の問題が発生する。 ブラジルのENEM試験をテストベッドとして使用し、1031の質問に対して10のプロプライエタリでオープンな LLM を公式な項目応答理論(IRT)パラメータと比較した。 我々は, 絶対校正, ランク忠実度, 学習者の背景における文脈感度の3つの軸による性能評価を行った。 最良のモデルでは、適度なランク相関が達成されているが、体系的に難易度を過小評価し、マルチモーダルアイテムで著しく劣化する。 重要なことに、学生の人口統計の手がかりによって、モデルは限定的で一貫性のない可塑性を示しており、文脈適応型パーソナライゼーションの準備ができていないことを示唆している。 我々は,LLMがオーラクルではなくキャリブレーションされたスクリーニング器として機能し,評価設計の責任を負うために「評価前世代」パイプラインをサポートすることを結論付けた。

関連論文リスト

• Evaluating from Benign to Dynamic Adversarial: A Squid Game for Large Language Models [57.33350664910483]
  資源制約と非対称な情報設定を備えた動的・対角的評価環境であるSquid Gameを紹介する。 我々は,Squid Game 上で50以上の LLM を評価し,動的対向シナリオにおける一般 LLM の行動評価研究を最大規模で行った。
  論文  参考訳（メタデータ） (2025-11-12T06:06:29Z)
• LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models [51.55869466207234]
  静的ベンチマークにおけるLLM(Large Language Models)の既存の評価は、データの汚染やリーダーボードのオーバーフィッティングに弱い。 LLMの動的評価のためのフレームワークであるLLMEval-3を紹介する。 LLEval-3は、220kの卒業生レベルの質問からなるプロプライエタリなバンク上に構築されており、評価実行毎に未確認のテストセットを動的にサンプリングする。
  論文  参考訳（メタデータ） (2025-08-07T14:46:30Z)
• Meta-Evaluating Local LLMs: Rethinking Performance Metrics for Serious Games [3.725822359130832]
  大規模言語モデル (LLMs) は、真剣なゲームにおける評価指標としてますます研究されている。 本研究では,エネルギーコミュニティにおける意思決定をシミュレートするゲームであるtextitEn-join において,5つの小規模 LLM の信頼性について検討した。 その結果、各モデルの長所と短所を強調し、感度、特異性、全体的なパフォーマンスのトレードオフを明らかにした。
  論文  参考訳（メタデータ） (2025-04-13T10:46:13Z)
• Mind the Confidence Gap: Overconfidence, Calibration, and Distractor Effects in Large Language Models [0.6091702876917281]
  大規模言語モデル(LLM)は、自然言語処理において顕著な熟練度を示す。 予測された信頼と真の正しさの過度なミスサライメントは、重要な意思決定アプリケーションに重大なリスクをもたらす。 9つのLCMと3つの質問応答データセットにわたるLCMの校正に関する包括的分析を行った。
  論文  参考訳（メタデータ） (2025-02-16T07:46:09Z)
• Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
  本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。 分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-10T05:51:52Z)
• GAOKAO-Eval: Does high scores truly reflect strong capabilities in LLMs? [32.972545797220924]
  大規模言語モデル(LLM)は人為的なベンチマークを用いて一般的に評価される。 GAokaO-Evalは、ハイスコアが人間の手動能力を本当に反映していないことを明らかにした。
  論文  参考訳（メタデータ） (2024-12-13T11:38:10Z)
• Towards Understanding the Robustness of LLM-based Evaluations under Perturbations [9.944512689015998]
  大言語モデル(LLM)は、要約やダイアログベースのタスクにおいて、非標準化メトリクスの自動評価器として機能する。 人間の判断に比較して,LLMが品質評価指標としていかに優れているかを検討するために,複数のプロンプト戦略にまたがる実験を行った。
  論文  参考訳（メタデータ） (2024-12-12T13:31:58Z)
• The Vulnerability of Language Model Benchmarks: Do They Accurately Reflect True LLM Performance? [1.3810901729134184]
  大きな言語モデル(LLM)は、真の言語理解と適応性を示すのに失敗しながら、標準化されたテストで優れている。 NLP評価フレームワークの系統的解析により,評価スペクトルにまたがる広範囲にわたる脆弱性が明らかになった。 我々は、操作に抵抗し、データの汚染を最小限に抑え、ドメイン固有のタスクを評価する新しい評価方法の土台を築いた。
  論文  参考訳（メタデータ） (2024-12-02T20:49:21Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。