論文の概要: LLM Performance on a Real, Double-Marked GCSE Benchmark
- arxiv url: http://arxiv.org/abs/2606.24973v1
- Date: Tue, 23 Jun 2026 11:46:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.076339
- Title: LLM Performance on a Real, Double-Marked GCSE Benchmark
- Title（参考訳）: 実複マークGCSEベンチマークにおけるLLM性能
- Authors: Malachy Fox, Kavi Samra, Paul Jung,
- Abstract要約: 我々はGCSEモック試験に32,534人の学生の回答をダブルマークしたデータセットを導入した。
既成の大規模言語モデルが試験員と密接に一致しているかどうかを, 両試験官が互いに一致しているかどうかを検証した。
対象者間のコンセンサスに圧倒的に一致し, 上位モデルでは, 受験者同士のコンセンサスよりも, 受験者と密に一致していることが判明した。
- 参考スコア（独自算出の注目度）: 0.35684665108045394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a dataset of 32,534 double-marked real student responses to GCSE mock exams (GCSEs are the UK's national exams, taken at age ~16), spanning 328 questions across five subjects and including handwritten work. We test whether off-the-shelf large language models agree with examiners as closely as the two examiners agree with each other. We find that models overwhelmingly agree well with the examiner consensus across subjects, with the top performing models agreeing more closely with examiners than examiners agree with each other. Models achieve high scores for subjective tasks like English essay marking, as well as handling complex and messy handwritten Maths paper scripts. Agreement is uniform near the examiner line, and not massively discriminated by model size, providing cost-effective automated marking solutions.
- Abstract（参考訳）: 我々は、GCSEモック試験(GCSEは英国の全国試験で、年齢は16歳)に対する32,534人の学生反応のデータセットを導入し、5科目で328の質問に回答し、手書きの作業も含んだ。
既成の大規模言語モデルが試験員と密接に一致しているかどうかを, 両試験官が互いに一致しているかどうかを検証した。
対象者間のコンセンサスに圧倒的に一致し, 上位モデルでは, 受験者同士のコンセンサスよりも, 受験者と密に一致していることが判明した。
モデルは、英語のエッセイマーキングのような主観的なタスクに対して高いスコアを獲得し、複雑で散らかった手書きのMathsペーパースクリプトを扱う。
合意は検査者の線の近くで均一であり、モデルのサイズによって大きく区別されず、費用対効果の高い自動マーキングソリューションを提供する。
関連論文リスト
- RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality [70.45240108873001]
FACTS Leaderboardは、実際に正確なテキストを生成する言語モデルの能力を総合的に評価するオンラインのリーダーボードスイートである。
このスイートは、4つの異なるサブリーダーボード上でのモデルのパフォーマンスを集約することで、事実性の総合的な尺度を提供する。
論文 参考訳（メタデータ） (2025-12-11T16:35:14Z) - Evaluating Large Language Models on the 2026 Korean CSAT Mathematics Exam: Measuring Mathematical Ability in a Zero-Data-Leakage Setting [5.313647446600863]
本研究は,2026年の韓国・カレッジ・スコラスティック能力テスト(CSAT)を用いた大規模言語モデル(LLM)の数学的推論能力について,体系的に評価した。
既存のベンチマークにおけるデータ漏洩問題に対処するため、試験公開から2時間以内に46の質問(22件、24件)をすべてデジタル化した。
論文 参考訳（メタデータ） (2025-11-23T23:09:33Z) - Automatic Legal Writing Evaluation of LLMs [10.74636407144071]
oab-benchは、最近の試験版から7つの分野にわたる105の質問からなるベンチマークである。
Claude-3.5 Sonnetは10点中平均スコア7.93点で21点の試験に合格した。
実験の結果,OpenAIのo1のようなフロンティアモデルでは,承認試験の評価において,人間のスコアと強い相関が得られた。
論文 参考訳（メタデータ） (2025-04-29T22:16:39Z) - Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents [61.41316121093604]
対話型質問応答(CQA)の文脈における大規模言語モデル(LLM)を評価するための新しいベンチマークであるInsCoQAを提案する。
InsCoQAは、百科事典スタイルの教育内容から派生したもので、複数の文書から手続き的ガイダンスを抽出し、解釈し、正確に要約する能力のモデルを評価する。
また,LLM支援型評価器であるInsEvalを提案する。
論文 参考訳（メタデータ） (2024-10-01T09:10:00Z) - Reading Subtext: Evaluating Large Language Models on Short Story Summarization with Writers [25.268709339109893]
我々は,最近のLarge Language Models (LLMs) について,短いストーリーを要約する難しい課題について評価する。
私たちは著者と直接協力して、ストーリーがオンラインで共有されていないことを保証しています(従ってモデルによって見つからないのです)。
GPT-4、Claude-2.1、LLama-2-70Bを比較し、全3モデルが50%以上の要約で忠実さの誤りを犯していることを発見した。
論文 参考訳（メタデータ） (2024-03-02T01:52:14Z) - Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。
本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
論文 参考訳（メタデータ） (2022-10-10T05:51:40Z) - Measuring Massive Multitask Language Understanding [79.6985576698597]
このテストでは、基礎数学、アメリカの歴史、コンピュータ科学、法学など57のタスクをカバーしている。
最も大きなGPT-3モデルでは、ランダムな確率を平均20ポイント近く改善する。
モデルにはパフォーマンスの面もあるが、いつ間違っているかはよく分かっていない。
論文 参考訳（メタデータ） (2020-09-07T17:59:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。