論文の概要: Grading Needs a Rubric, Not Intelligence

• arxiv url: http://arxiv.org/abs/2608.17938v1
• Date: Tue, 18 Aug 2026 16:00:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.394531
• Title: Grading Needs a Rubric, Not Intelligence
• Title（参考訳）: グラディングはインテリジェンスではなく、ルーブリックを必要としている
• Abstract要約: 小さい言語モデルは、明示的なルーリックに対して格付けするときに、かなり高価なモデルと同じくらい確実に、オープンエンドの検査回答を格付けすることができる。 モデルファミリを2つのモデルファミリから6つのコスト効率モデル構成を3つの理由づけで評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small language models can grade open-ended examination answers as reliably as substantially more expensive models when they grade against an explicit rubric. We test this claim as the design principle behind any-to-bench: a frontier model reads source documents once, at ingestion, to extract each question and its rubric; lower-cost models then perform all repeated grading work. We evaluate six cost-efficient model configurations from two model families at three reasoning-effort levels. Each configuration answers 24 open-ended examination questions, and each also grades every answer sheet three times, yielding 3,456 per-question grades. Scores depend overwhelmingly on the answer being graded: answer identity explains 95.6% of score variance, whereas judge identity explains only 0.2%. Raising a writer's reasoning effort moves earned scores by as much as 0.143 of full marks, while raising a judge's reasoning effort moves assigned scores by at most 0.006. Six frontier-tier judges, added as a check, reproduce these scores and are no more reliable as a panel. Two ablations then decompose the rubric on the same questions and answers. Removing its criteria and levels while keeping the official answer changes nothing measurable. Removing the official answer as well collapses reliability (ICC 0.888 to 0.628), inflates scores, and makes judge reasoning effort matter again. The rubric is what decouples grading from judge intelligence, and within the rubric the official answer does nearly all the work. We find no evidence of length preference or same-family preference under rubric-anchored grading.
• Abstract（参考訳）: 小さい言語モデルは、明示的なルーリックに対して格付けするときに、かなり高価なモデルと同じくらい確実に、オープンエンドの検査回答を格付けすることができる。 フロンティアモデルでは、ソース文書を一度、摂取時に読み出して、各質問とそのルーリックを抽出します。 モデルファミリを2つのモデルファミリから6つのコスト効率モデル構成を3つの理由付けで評価した。 各構成は24のオープンエンド試験質問に回答し、各回答シートを3回グレードし、1問あたりのグレードは3,456である。 答えの正当性は95.6%のスコア分散を説明できるが、判定の正当性は0.2%しか説明できない。 作家の推論の努力を最大0.143点まで高める一方で、審査員の推論の努力を最大0.006点まで高める。 チェックとして追加された6つのフロンティア階層の審査員は、これらのスコアを再現し、パネルとしてもはや信頼性がない。 2つのアブレーションは同じ質問と回答でルーブリックを分解する。 公式回答を維持しながら基準とレベルを削除しても、何も測定できない。 公式回答の削除と信頼性の低下 (ICC 0.888 から 0.628 まで) はスコアを膨らませ、再び判断を下す努力が重要となる。 ルーブリックは、裁判官の知性から切り離されるもので、ルーブリックの中では、公式の答えは、ほぼすべての仕事をこなす。 古風なアンコールグレーディングでは,長さの選好や同族選好の証拠は見つからない。

関連論文リスト

• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• Why RAGs Hallucinate: Penalty-Aware Evaluation of Retrieval-Augmented Generation Systems with Knowledge-Gap Canaries [0.0]
  Volume-based accuracys rewards search-augmented generation (RAG) system for guessing。 デプロイされたRAG製品に対するペナルティ対応評価フレームワークを提案する。 回答の精度はシステム間で密集している(97.0-98.0%)のに対し、カナリア違反率はおよそ6倍(16.7%対98.1%)である。
  論文  参考訳（メタデータ） (2026-08-26T20:17:01Z)
• K-Bench: measuring model performance on real scientific agent requests [0.0]
  K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。 3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。 39,934点中47.6%が8点を下回った。
  論文  参考訳（メタデータ） (2026-08-21T20:06:08Z)
• Measuring the Partial-Credit Gap: A Strict Benchmark on Vietnam's 2025 Convex Marking Scheme [0.0]
  ベトナムの国立高校卒業試験では、候補者は質問ごとに真偽の声明を4つ評価している。 第2部は試験の10.00ポイントの4.00を占めており、報告精度はスコアを膨らませている。 8つのモデルにまたがって、公式のルーリックは、比例クレジットよりもパートIIの質問に対して0.020から0.159ポイント安い。
  論文  参考訳（メタデータ） (2026-08-18T21:38:02Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes [0.0]
  大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されている。 ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。 提案した原稿を読み取って5つの0-100品質ディメンションと重み付き総合スコアを出力するAIPRを検証する。
  論文  参考訳（メタデータ） (2026-06-14T16:13:15Z)
• Towards Fully Automated Exam Grading: Fairness-Aware Recognition of Handwritten Answers with Foundation Models [0.0]
  汎用視覚言語基盤モデル(VLM)は、ピクセルテンプレートにマッチするのではなく、ページを解釈する。 61の匿名試験(3141の回答位置)のベンチマークでは、最良のモデルは98.4%の精度に達する。 したがって、完全に自動化された公正な試験は、スケールで評価される。
  論文  参考訳（メタデータ） (2026-06-09T22:12:43Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Scalable and Personalized Oral Assessments Using Voice AI [0.14323566945483493]
  学生1人当たり15ドル(0.42ドル)で、学部AI/MLコースで36回の口腔検査を行ったシステムについて述べる。 LLMはルーブリックから動的に質問を生成するため、試験構造全体を事前に共有することができる。 マルチエージェントアーキテクチャは、各試験を構造化フェーズに分解し、3つのLLMファミリーのカウンシルが各転写をグレードする。
  論文  参考訳（メタデータ） (2026-03-18T19:09:06Z)
• BrainBench: Exposing the Commonsense Reasoning Gap in Large Language Models [4.264192013842096]
  大きな言語モデル(LLM)は、標準ベンチマークで印象的なスコアを得るが、人間が数秒で正しく答えられるような質問を日常的に失敗する。 BrainBenchは、慎重に設計された20のカテゴリにまたがる100のブレインティーザー質問のベンチマークです。
  論文  参考訳（メタデータ） (2026-03-16T02:50:43Z)
• GATES: Self-Distillation under Privileged Context with Consensus Gating [89.62339954332248]
  我々は、監督が信頼できない環境で自己蒸留を研究する。 非対称な文脈で回答する文書に焦点をあてる。 複数の文書ベース推論トレースをサンプリングすることにより、教師のコンセンサスからオンラインでの監督を導出する。
  論文  参考訳（メタデータ） (2026-02-24T05:56:20Z)
• Can Consumer Chatbots Reason? A Student-Led Field Experiment Embedded in an "AI-for-All" Undergraduate Course [0.7515394929245942]
  本稿では,ジョージ・メイソン大学のUNIV 182(AI4All)の中間プロジェクトとして,学生主導のフィールド実験を行った。 学生は、独自の推論タスクを設計し、現在使われている消費者チャットボット上で実行し、(i)回答の正しさと(ii)推論の有効性を評価した。 OpenAI GPT-5 と Claude 4.5 は最高平均解答精度 (86.2% と 83.8%) を獲得し、Grok 4 (82.5%) と Perplexity (73.1%) が続いた。
  論文  参考訳（メタデータ） (2025-12-28T22:51:25Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
  我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか? 我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。 これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
  論文  参考訳（メタデータ） (2025-04-29T12:39:07Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。