論文の概要: SoK: Grading Open-Text Legal Answers, from Law School Exams to Trustworthy Rubric Judges

• arxiv url: http://arxiv.org/abs/2610.19992v2
• Date: Tue, 20 Oct 2026 15:07:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.206552
• Title: SoK: Grading Open-Text Legal Answers, from Law School Exams to Trustworthy Rubric Judges
• Title（参考訳）: SoK:オープンテキストの法的回答を、法科大学院の審査員から信頼できるルーブリック・ジャッジへ
• Abstract要約: 本稿では,オープンテキストの法的回答の体系化について述べる。 私たちは教育測定から8つのデシラタを導き出した。 次に、評価パラダイムを8つ比較します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Law students are examined through open-text answers: case solutions, essays and memos that apply the law to a set of facts. Such answers are expensive to grade, human graders disagree widely on them, and large language models (LLMs) now offer to grade them at scale, both in teaching and in the benchmarks that test legal AI. This paper systematizes how open-text legal answers can be evaluated. We derive eight desiderata from educational measurement and from the law that governs exams, among them reasons, credit for defensible alternative solutions, robustness to gaming and human oversight. We then compare eight evaluation paradigms against them, from unstructured human grading to LLM judges with instance-specific rubrics and pairwise comparison. Three findings stand out. A rubric written for the task is the strongest lever for agreement between an LLM judge and human graders, but studies measure that agreement against different references and rarely report how far the human graders agree with each other. The central validation gap lies where examination law is most demanding: defensible alternative solutions, follow-on errors, and the examiner's correction of model judgments. Rubric-centred grading is the most auditable family, because it makes the standard, its application and the final decision checkable. From this we derive the trustworthy rubric judge: an instance rubric that credits arguments and alternative paths, evidence checked in code, probes, repeated runs, calibration against independent human grades, logging, and an examiner who reads every script. Today the evidence supports such a judge for formative feedback and for benchmarks, and as an assistant to the examiner, not a replacement, where credit is at stake.
• Abstract（参考訳）: 法学生は、事件解決、エッセイ、一連の事実に法律を適用するメモなど、オープンテキストの回答によって調査される。 このような答えは、グレードに高価であり、人間のグレードラーは、それらについて広く意見が一致しておらず、大規模言語モデル(LLM)は、法的なAIをテストするベンチマークの教育とベンチマークの両方において、それらを大規模に評価する。 本稿では,オープンテキストの法的回答の体系化について述べる。 我々は、教育測定から8つのデシダラタを導き、また、試験を統治する法律から導出する。 次に、構造化されていない人間の格付けからLLM審査員のインスタンス固有の格付けとペアワイズ比較の8つの評価パラダイムを比較した。 3つの発見がある。 作業のために書かれたルーブリックは、LLM判事と人間のグレードラーの間の合意のための最強のレバーであるが、研究は、異なる基準に対する合意を測り、人間のグレードラーがどれくらいの距離で合意するかを報告することは滅多にない。 中心的な検証のギャップは、検証法が最も要求される場所、すなわち、防御可能な代替解、追従エラー、および検査者のモデル判断の補正である。 ルーブリックセントリックグレーディングは、標準、その応用、そして最終的な決定を検証できるため、最も監査可能なファミリーである。 議論と代替パスを信用するインスタンスルーリック、コードでチェックされたエビデンス、調査、繰り返し実行、独立した人間のグレードに対する校正、ロギング、すべてのスクリプトを読む検査者。 今日では、証拠は形式的なフィードバックとベンチマークの判断を支持しており、また、信用が危ぶまれている代替品ではなく、検査官の助手として機能している。

関連論文リスト

• Are LLMs Court-Ready? Evaluating Frontier Models on Indian Legal Reasoning [0.5308136763388956]
  私たちは、インドの公的な司法試験を透明な代理として利用しています。 私たちのベンチマークは、国家試験と国家試験の客観的な画面をまとめたものです。 我々はまた、最高裁判所のAdvocate-on-Record試験による長文の回答について、弁護士に格付けされた、ペアの書面による研究も含んでいる。
  論文  参考訳（メタデータ） (2025-10-19T10:04:29Z)
• LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
  textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。 このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。 この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
  論文  参考訳（メタデータ） (2025-05-19T08:48:12Z)
• Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges [6.609843448260634]
  LLM-as-a-judgeパラダイムは,大規模言語モデルを評価するアプローチとして急速に普及している。 本稿では,人間間の合意が高いクリーンなシナリオに焦点を当てる。 我々は、複雑性や長さを早めるための感度や、寛大さへの傾向など、審査モデルの脆弱性を識別する。
  論文  参考訳（メタデータ） (2024-06-18T13:49:54Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。