論文の概要: Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams

• arxiv url: http://arxiv.org/abs/2609.29333v1
• Date: Thu, 24 Sep 2026 10:07:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.833107
• Title: Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams
• Title（参考訳）: LLMの学級生が学んだ2つのコンピュータサイエンスのエグゼクティブ
• Abstract要約: 大きなコースでの長期試験は何百時間もかかり、資格のある学士は少ない。 落とし穴を示すために、私たちは、クローズドモデルとオープンウェイトモデルにまたがる171ドルの構成で、実用的なコンピュータビジョン試験を格付けしました。 2つの試験で3900ドル(約3万2000円)の特典をプールしたアダプタは、5つの小さなオープンモデルに、人間のグレードラーと同等以上のものを与えてくれます。
• 参考スコア（独自算出の注目度）: 11.24196216089969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One long-form exam in a large course costs hundreds of grader-hours, and qualified graders are scarce; LLM graders are a tempting alternative. To show its pitfalls we grade a practical Computer Vision exam ($570$ dual-graded students) under $171$ configurations spanning closed and open-weights models; the best reaches mean absolute error $1.64/35$, below the $2.61/35$ two human graders achieve against each other. The catch is the prompt: a short ''strict grader'' preamble drives $14$ of $17$ open-weights models out of the graded band ($\text{MAE} \ge 8$), three stopping grading altogether. The damage traces to the preamble's two credit-withholding sentences, not to tone or model scale; one of them, ''never give partial credit'', alone makes two of three probed models stop grading. The closed flagships of three vendors shift calibration under it but stay in the band. In $162$ further configurations on a second, independent Machine Learning exam from another course ($1{,}038$ dual-graded students), the preamble worsens ten models, moving three out of the band into collapse and one into refusal, yet improves seven whose neutral prompts over-mark: the vulnerability replicates, but its direction is exam-specific. Light LoRA fine-tuning repairs it: one adapter on the two exams' pooled $\sim 3{,}900$ graded examples brings five small open models to parity or better with a human grader in agreement with the grader pair, and sensitivity to the three harsh personas nearly vanishes ($\le 0.32$ MAE). We release the anonymised dataset, full ablation grid, and grading, fine-tuning and analysis pipelines.
• Abstract（参考訳）: 大型コースのロングフォーム試験は数百時間以上かかり、適格グレーダーは少なく、LLMグレーダーは魅力的な代替品である。 その落とし穴を示すために、我々は、クローズドモデルとオープンウェイトモデルにまたがる構成の171ドル(約1万7000円)以下の実践的コンピュータビジョン試験(570ドル)を、平均的な絶対誤差1.64/35ドル(約1万6000円)で評価した。 短い'strict grader'のプリアンブルは、グレード付きバンド(\text{MAE} \ge 8$)から14ドル(約1,400円)のオープンウェイトモデルを実行し、3つのグレードを完全に停止する。 損傷はプリアンブルの2つの信用保持文(音階や模型の音階)にさかのぼるが、そのうちの1つは「部分的な信用は与えない」であり、3つの調査されたモデルのうち2つは格付けをやめる。 3つのベンダーの閉じた旗艦はその下にキャリブレーションをシフトするが、バンドに留まる。 別のコース(1{,}038$デュアルグレードの学生)からの2番目の独立した機械学習試験のさらなる構成では、プレアンブルは10モデルが悪化し、バンドから3つが崩壊し、もう1つが拒絶され、中立的な7つのプロンプトがオーバーマークされる。 Light LoRA(ライト・ローラ)の微調整は、この2つの試験のプールに1つのアダプタを取り付けた、$\sim 3{,}900$グレードされた例は、5つの小さなオープンモデルを、グレードラーペアと一致して人間のグレードラーと同等以下に、そして3つの厳しい人物に対する感度がほぼ消滅する(\le 0.32$ MAE)。 匿名化されたデータセット、完全なアブレーショングリッド、グレーディング、微調整、分析パイプラインをリリースしています。

関連論文リスト

• Cheap Verifiers, Large Blind Spots: Measuring the Reliability Cost of Cost-Saving Cascades [0.0]
  推論カスケードは、ほとんどのクエリを安価なモデルで答え、検証として機能するフロンティアモデルにハードテールをエスカレートすることでコストを削減する。 検証者の拒否に対して安価な学生を微調整することで、エスカレーション率とコストは各ラウンドで低下する。 このループを実LLMで測定し,4つの知見を報告する。
  論文  参考訳（メタデータ） (2026-09-01T14:53:41Z)
• Learning to Follow In-Context Watermark Instructions via Self-Distillation [117.19153619258644]
  In-context Watermarking (ICW) は、モデルに統計的に検出可能な信号をその応答に埋め込むよう要求するクエリへの命令をプリペイドする。 我々は、3つの検証可能なICW命令ファミリのベンチマークである$mathsfICWBench$を導入し、それぞれが検出性と応答品質の両方にスコア付けする。 本研究では,より強いモデルからの蒸留を必要とせず,手動のアノテーションも必要とせず,既存のICW IF能力も必要としない自己完結型2段階訓練法を提案する。
  論文  参考訳（メタデータ） (2026-08-29T03:42:28Z)
• Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents [11.997694190254974]
  自己蒸留は、政策のロールアウトや特権教師を再利用することで、より密集的なシグナルを約束する。 しかし、トークンレベルの直接蒸留は、ツールの使用を静かに破壊できることを示す。 SGCD(Singing-Guided Credit Distillation)を導入する。
  論文  参考訳（メタデータ） (2026-06-10T19:53:20Z)
• What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
  現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。 我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。 3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
  論文  参考訳（メタデータ） (2026-05-12T01:57:53Z)
• LaTA: A Drop-in, FERPA-Compliant Local-LLM Autograder for Upper-Division STEM Coursework [0.0]
  我々は、$textitLaTA (textitLa Teaching Assistant)$という、コモディティネイティブハードウェア上で完全にオンプレミスで動作する、ドロップインでオープンソースのルーリックを提示する。 LaTAは4段階のパイプライン(最高、セグメント、グレード、レポート)を実装し、ローカルにホストされたオープンウェイトチェーンのLLMグレーダを使用している。 私たちは2026年冬にオレゴン州立大学のME 373(Mechanical Engineering Methods)にLaTAをデプロイし、毎週1つのMac Studioで約200人の学生に割り当てた。
  論文  参考訳（メタデータ） (2026-05-06T20:06:06Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models [56.055015597319674]
  検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力の向上に有効である 近年の自己回帰法は LLM の推論能力を解き放つためのラベルフリーな代替手段について検討している。 我々は、他の視点から補完的な監督を求めることにより、トレーニングの安定性を向上させる新しい自己監督型RLフレームワークであるtextitCo-rewardingを提案する。
  論文  参考訳（メタデータ） (2025-08-01T08:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。