論文の概要: Measuring the Partial-Credit Gap: A Strict Benchmark on Vietnam's 2025 Convex Marking Scheme
- arxiv url: http://arxiv.org/abs/2608.18336v1
- Date: Tue, 18 Aug 2026 21:38:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.222156
- Title: Measuring the Partial-Credit Gap: A Strict Benchmark on Vietnam's 2025 Convex Marking Scheme
- Title（参考訳）: 部分的クレディットギャップの測定:ベトナムの2025年の凸マーキングスキームの厳密なベンチマーク
- Abstract要約: ベトナムの国立高校卒業試験では、候補者は質問ごとに真偽の声明を4つ評価している。
第2部は試験の10.00ポイントの4.00を占めており、報告精度はスコアを膨らませている。
8つのモデルにまたがって、公式のルーリックは、比例クレジットよりもパートIIの質問に対して0.020から0.159ポイント安い。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When evaluating language models on human exams, benchmarks typically score each response as right or wrong and report the overall accuracy. This approach assumes that partial knowledge is worth proportional credit, an assumption that fails when an examination uses a non-additive grading scheme. The 2025 reform of Vietnam's National High School Graduation Examination demonstrates the cost of this substitution. In Part II of the exam, candidates evaluate four true/false statements per question. The grading is convex: the number of correct statements earns 0, 0.10, 0.25, 0.50, or 1.00 points. Identifying three statements correctly pays 0.50 points, not the 0.75 points that standard accuracy metrics would award. Because Part II accounts for 4.00 of the exam's 10.00 points, reporting accuracy inflates the score by rewarding partial knowledge that the state explicitly penalizes. We introduce THPT-Ladder, a benchmark of 632 items from 21 official exams across 11 subjects, graded exactly as the ministry grades its students. The ministry publishes the marks of over a million candidates, allowing us to place models directly into the human cohort. Across eight models, the official rubric pays 0.020 to 0.159 points less per Part II question than proportional credit. This shortfall changes a model's apparent competence. For Qwen3.5-27B on the 2025 History exam, a 0.042-point shortfall drops its standing from the 90th to the 77th percentile among 481,293 candidates. A model's accuracy does not predict this penalty. At Claude Sonnet 5's accuracy level, different distributions of errors yield scores varying from 0.869 to 0.932 points per question. Official marks depend on how correct statements are grouped, meaning standard benchmarks report a competence the institution would not certify.
- Abstract（参考訳）: 人間の試験で言語モデルを評価する場合、ベンチマークは通常、各レスポンスを正しいか間違っているかとして評価し、全体的な正確さを報告します。
このアプローチは、部分的な知識が比例的な信用に値すると仮定する。
2025年のベトナム国立高校卒業試験の改革は、この代替費用を実証している。
試験の第2部では、候補者は1問につき4つの真偽のステートメントを評価する。
格付けは凸であり、正しい文の数は 0, 0.10, 0.25, 0.50, 1.00 点である。
3つの文を正しく識別することは0.50ポイントを支払うが、標準的な精度の指標が与える0.75ポイントではない。
第2部は試験の10.00ポイントの4.00を占めており、報告精度は州が明確に罰する部分的な知識に報いることでスコアを膨らませている。
THPT-Ladderは、11科目の21の試験から得られた632項目のベンチマークで、同省の学生の成績を正確に評価する。
同省は100万人以上の候補者のマークを公表し、モデルを直接人間のコホートに配置できるようにしました。
8つのモデルにまたがって、公式のルーリックは、比例クレジットよりもパートIIの質問に対して0.020から0.159ポイント安い。
この欠点は、モデルの明らかな能力を変える。
2025年の歴史試験のQwen3.5-27Bでは、0.042ポイントの不足は481,293人の候補者の中で90位から77位まで低下している。
モデルの精度はこのペナルティを予測しない。
クロード・ソネット5の精度レベルでは、誤差の分布は1問あたり0.869点から0.932点まで様々である。
公式のマークは、どの程度の正確なステートメントがグループ化されているかによって異なり、つまり標準ベンチマークでは、機関が認定しない能力が報告されている。
関連論文リスト
- Vision-Language Models for Criterion-Level Grading of Handwritten Examinations in Outcome-Based Education [0.3686530147760243]
本研究は手書き結果に基づく評価のための視覚言語モデルを評価する。
Qwen2.5-VL、InternVL3、Pixtral、Donutベースライン、カスケードアンサンブルにまたがる20の構成を比較した。
論文 参考訳（メタデータ） (2026-09-13T04:55:55Z) - Grading Needs a Rubric, Not Intelligence [0.0]
小さい言語モデルは、明示的なルーリックに対して格付けするときに、かなり高価なモデルと同じくらい確実に、オープンエンドの検査回答を格付けすることができる。
モデルファミリを2つのモデルファミリから6つのコスト効率モデル構成を3つの理由づけで評価した。
論文 参考訳（メタデータ） (2026-08-18T16:00:05Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - Towards Fully Automated Exam Grading: Fairness-Aware Recognition of Handwritten Answers with Foundation Models [0.0]
汎用視覚言語基盤モデル(VLM)は、ピクセルテンプレートにマッチするのではなく、ページを解釈する。
61の匿名試験(3141の回答位置)のベンチマークでは、最良のモデルは98.4%の精度に達する。
したがって、完全に自動化された公正な試験は、スケールで評価される。
論文 参考訳（メタデータ） (2026-06-09T22:12:43Z) - FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。
GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
論文 参考訳（メタデータ） (2026-05-27T18:59:18Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。
我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
論文 参考訳（メタデータ） (2025-10-16T12:23:13Z) - Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。
因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文 参考訳（メタデータ） (2025-09-24T13:06:35Z) - Putnam-AXIOM: A Functional and Static Benchmark for Measuring Higher Level Mathematical Reasoning in LLMs [19.592385109516268]
大規模言語モデル(LLM)の現在のベンチマークは飽和状態に近づき、トレーニングセットの汚染によってますます損なわれている。
我々は、有名なウィリアム・ローウェル・パットナム数学コンペティションのベンチマークであるPatnam-AXIOMを紹介する。
変更プロトコルは、同じように困難で目に見えないインスタンスの無制限ストリームを生成します。
論文 参考訳（メタデータ） (2025-08-05T17:57:50Z) - Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
言語モデル(LM)は、自然言語生成において有望な性能を示している。
与えられた入力に応答する際の不確実性を正確に定量化することは重要である。
我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
論文 参考訳（メタデータ） (2024-04-04T02:31:05Z) - Detecting Errors and Estimating Accuracy on Unlabeled Data with
Self-training Ensembles [38.23896575179384]
本稿では,この2つの課題に同時に対処する,原則的かつ実用的な枠組みを提案する。
1つのインスタンス化は、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
iWildCamでは、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
論文 参考訳（メタデータ） (2021-06-29T21:32:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。