論文の概要: From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations

• arxiv url: http://arxiv.org/abs/2608.07523v1
• Date: Mon, 13 Jul 2026 05:48:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 01:32:04.544782
• Title: From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations
• Title（参考訳）: 評価モデルから評価支援へ:プログラミング試験におけるLCMに基づく困難校正のマルチエビデンス研究
• Abstract要約: 本研究は,ベンチマーク評価対象から,試験の難易度を解釈するための補助的証拠源まで,大規模言語モデルを再配置する。 10台のモデルが120人の学生と同期して8段階の最終試験を完了した。 単一の構造化されたレビュアーは、サードパーティのOpenAI互換エンドポイント上で監査可能なAPIコールを介して実行される。
• 参考スコア（独自算出の注目度）: 4.53175279738448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Difficulty differences across parallel-class programming examinations affect the fairness of course assessment. This study repositions large language models from benchmark evaluation targets to auxiliary evidence sources for interpreting exam difficulty, combining AI evidence with aggregated student performance, item exposure, online-judge process data, and teacher interpretation. First, ten models solved an eight-problem final exam synchronously with 120 students: AI pass rate correlated positively with student pass rate (Spearman rho = 0.866, exact p = 0.0119), and a solving-based composite difficulty index correlated negatively with it (rho = -0.905, exact p = 0.0046). A single structured reviewer was then run via auditable API calls on a third-party OpenAI-compatible endpoint whose model label (gpt-5.6-sol) cannot authenticate an official OpenAI upstream model; call metadata and raw responses are archived. Across 79 problems from 11 parallel-class final exams, AI overall difficulty correlated with problem-level pass rate at rho = -0.871 and with non-attempt rate at rho = 0.800; in a 26-problem longitudinal Data Structures and Algorithms B sample, the correlations were -0.829 and 0.883. A 106-problem introductory-course (CS101) sample marks the boundary: the problem-level correlation weakened to rho = -0.552, and the exam-level correlation across 16 exams was near zero, with cohort composition dominating exam-level outcomes. Exposure-discount (0-0.40) and duplicate-problem perturbation tests did not change these directions. AI evidence can thus serve as an external reference for problem validation, parallel-class fairness discussion, and longitudinal quality tracking, while the model-identity boundary, single-reviewer design, and review-output instability set explicit limits: AI difficulty scales must not be used for individual student evaluation or automatic grade adjustment.
• Abstract（参考訳）: 並列クラスプログラミング試験における難易度差は、コース評価の公平性に影響を与える。 本研究は, ベンチマーク評価対象から, 受験困難を解釈するための補助的証拠源, 総合的な学生成績, 項目露出, オンライン・ジャッジ処理データ, 教師の解釈まで, 大規模言語モデルを再構成する。 まず,生徒120名を対象に,AIパス率と学生パス率との正の相関(Spearman rho = 0.866, 正確なp = 0.0119)と,それと負の相関(rho = -0.905, 正確なp = 0.0046)を解いた。 モデルラベル(gpt-5.6-sol)が公式のOpenAIアップストリームモデルを認証できないような、サードパーティのOpenAI互換エンドポイント上で監査可能なAPIコールによって、単一の構造化されたレビュアーが実行され、メタデータと生のレスポンスがアーカイブされる。 総合的な難易度はrho = -0.871で,rho = 0.800で非回避率と相関し,26プロブレム長手データ構造とアルゴリズムBでは-0.829と0.883であった。 106-problem introductory-course (CS101) では, 問題レベルの相関がrho=-0.552に弱まり, 16試験間の試験レベルの相関がほぼゼロに近づき, コホート組成が試験レベルの結果を支配した。 露光量(0-0.40)と重複確率摂動試験はこれらの方向を変えなかった。 これにより、AIエビデンスは、問題検証、並列クラスフェアネスの議論、縦方向の品質トラッキングのための外部参照として機能し、モデルアイデンティティ境界、単一ビューア設計、レビューアウトプット不安定性は、明示的な制限を設定できる: AIの難易度尺度は、個々の学生の評価や自動グレード調整に使用してはならない。

関連論文リスト

• A Temporal Reasoning Benchmarking Framework for LRMs via Difficulty-controlled and Dynamic Test Generation [11.290047096794082]
  本稿では,時間的推論を制約満足度問題としてモデル化するテストフレームワークTRACEを紹介する。 TRACE は LRM の真の時間的推論能力をベンチマークするための堅牢で自動化されたプラットフォームを提供する。
  論文  参考訳（メタデータ） (2026-07-06T08:14:53Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• MCQ Difficulty Prediction via Modeling Learner Heterogeneity Using Data-Driven Cognitive Profiling [0.11458853556386796]
  本稿では,データ駆動型認知プロファイリングによる理論能力サンプリングを代替するペルソナ駆動型フレームワークを提案する。 潜在クラス分析(LCA)を用いて行動的ペルソナを同定し,各ペルソナに対する応答分布をシミュレートする大規模言語モデル(LLM)を条件とした。 発見されたペルソナは解釈可能であり、なぜアイテムが難しいのかを洞察し、診断アセスメント設計に潜在的に適用できる可能性がある。
  論文  参考訳（メタデータ） (2026-04-13T19:18:14Z)
• Omanic: Towards Step-wise Evaluation of Multi-hop Reasoning in Large Language Models [60.418191092851636]
  OmanicはオープンドメインのマルチホップQAリソースであり、推論プロセスを分析するための構造アノテーションとして分解されたサブクエストと中間回答を提供する。 10,296個の機械によるトレーニング例(Omanic Synth)と967個の専門家による注釈付き評価例(OmanicBench)を含む。
  論文  参考訳（メタデータ） (2026-03-17T15:23:37Z)
• Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression [68.69801176669843]
  本稿では,冗長なステップを誘発し,難易度を推定するオンラインポストトレーニングRL手法を提案する。 TRAAC(Think Right with Adaptive, Attentive Compression)は、絶対精度が平均8.4%向上する。 我々のモデルは数学データセットに基づいて訓練されているが、分布外データセットの精度と効率性を示す。
  論文  参考訳（メタデータ） (2025-10-02T02:00:20Z)
• Text-Based Approaches to Item Difficulty Modeling in Large-Scale Assessments: A Systematic Review [18.045716459188366]
  アイテムの難しさは、テストパフォーマンス、スコアの解釈可能性、そして、特に大規模な評価において、すべてのテストテイカーにとって重要な役割を担います。 アイテム困難モデリングへの伝統的なアプローチは、フィールドテストと古典的テスト理論(CTT)に基づくアイテム分析またはアイテム応答理論(IRT)キャリブレーションに依存している。 本稿では,2025年5月までの大規模評価設定において,自動項目難易度予測に関する37項目をレビューし,合成する。
  論文  参考訳（メタデータ） (2025-09-27T20:19:39Z)
• Putnam-AXIOM: A Functional and Static Benchmark for Measuring Higher Level Mathematical Reasoning in LLMs [19.592385109516268]
  大規模言語モデル(LLM)の現在のベンチマークは飽和状態に近づき、トレーニングセットの汚染によってますます損なわれている。 我々は、有名なウィリアム・ローウェル・パットナム数学コンペティションのベンチマークであるPatnam-AXIOMを紹介する。 変更プロトコルは、同じように困難で目に見えないインスタンスの無制限ストリームを生成します。
  論文  参考訳（メタデータ） (2025-08-05T17:57:50Z)
• Reliable and Efficient Amortized Model-based Evaluation [57.6469531082784]
  幅広いベンチマークの平均スコアは、実際に言語モデルを使用することをガイドするシグナルを提供する。 コストを下げるための一般的な試みは、ベンチマークのサブセットの平均スコアを計算することである。 このアプローチは、平均スコアがベンチマークサブセットの質問の難しさと合わさったため、信頼性の低いLM性能をしばしば引き起こす。 我々は、その内容から質問難度を予測するモデルを訓練し、信頼性のある測定をコストのごく一部で行えるようにした。
  論文  参考訳（メタデータ） (2025-03-17T16:15:02Z)
• Learning with Complementary Labels Revisited: The Selected-Completely-at-Random Setting Is More Practical [66.57396042747706]
  補完ラベル学習は、弱教師付き学習問題である。 均一分布仮定に依存しない一貫したアプローチを提案する。 相補的なラベル学習は、負のラベル付きバイナリ分類問題の集合として表現できる。
  論文  参考訳（メタデータ） (2023-11-27T02:59:17Z)
• Assessing Student Errors in Experimentation Using Artificial Intelligence and Large Language Models: A Comparative Study with Human Raters [9.899633398596672]
  学生の誤りを自動的に識別するLarge Language Models (LLMs) の可能性を検討する。 GPT-3.5とGPT-4をベースとしたAIシステムを開発・試験した。 以上の結果から,AIシステムとレーダ間の誤差検出における精度の差が示唆された。
  論文  参考訳（メタデータ） (2023-08-11T12:03:12Z)
• Correct-N-Contrast: A Contrastive Approach for Improving Robustness to Spurious Correlations [89.86495158918615]
  豪華な相関関係は、堅牢な機械学習にとって大きな課題となる。 経験的リスク最小化(ERM)で訓練されたモデルは、クラスラベルとスプリアス属性の相関に依存することを学習することができる。 CNC(Correct-N-Contrast, Correct-N-Contrast)を提案する。
  論文  参考訳（メタデータ） (2022-03-03T05:03:28Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。