論文の概要: SoK: Grading Open-Text Legal Answers, from Law School Exams to Trustworthy Rubric Judges

• arxiv url: http://arxiv.org/abs/2610.19992v1
• Date: Wed, 14 Oct 2026 11:09:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.109646
• Title: SoK: Grading Open-Text Legal Answers, from Law School Exams to Trustworthy Rubric Judges
• Title（参考訳）: SoK:オープンテキストの法的回答を、法科大学院の審査員から信頼できるルーブリック・ジャッジへ
• Abstract要約: 法学生はオープンテキストの回答で審査される。 人間の学級生は彼らについて広く意見が一致しない。 大規模言語モデル(LLM)は、それらを大規模にグレードする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Law students are examined through open-text answers: case solutions, essays and memos that apply the law to a set of facts. Such answers are expensive to grade, human graders disagree widely on them, and large language models (LLMs) now offer to grade them at scale, both in teaching and in the benchmarks that test legal AI. This paper systematizes how open-text legal answers can be evaluated. We derive eight desiderata from educational measurement and from the law that governs exams, among them validity, reliability, reasons, credit for defensible alternative solutions, robustness to gaming and human oversight. We then compare eight evaluation paradigms against them, from unstructured human grading to LLM judges with instance-specific rubrics and pairwise comparison. Three findings stand out. A rubric written for the task is the strongest lever for agreement between an LLM judge and human graders, but the reported figures answer different questions and rarely come with the human agreement they must be read against. The central validation gap lies where examination law is most demanding: defensible alternative solutions, follow-on errors, and the examiner's correction of model judgments. And rubric-centred grading is the most auditable family, because it makes the standard, its application and the final decision checkable. From this we derive the trustworthy rubric judge: an instance rubric that credits arguments and alternative paths,evidence checked in code, probes, repeated runs, calibration against independent human grades,logging, and an examiner who reads every script. We state what each safeguard rests on, what remains to be tested, and the uses the evidence supports today.
• Abstract（参考訳）: 法学生は、事件解決、エッセイ、一連の事実に法律を適用するメモなど、オープンテキストの回答によって調査される。 このような答えは、グレードに高価であり、人間のグレードラーは、それらについて広く意見が一致しておらず、大規模言語モデル(LLM)は、法的なAIをテストするベンチマークの教育とベンチマークの両方において、それらを大規模に評価する。 本稿では,オープンテキストの法的回答の体系化について述べる。 教育測定から8つのデシダラタを導き、そのうちの1つは、妥当性、信頼性、理由、防御可能な代替ソリューションに対する信用、ゲームに対する堅牢性、および人間の監視を統制する法から導出する。 次に、構造化されていない人間の格付けからLLM審査員のインスタンス固有の格付けとペアワイズ比較の8つの評価パラダイムを比較した。 3つの発見がある。 このタスクのために書かれたルーリックは、LLMの裁判官と人間のグレードラーとの合意のための最強のレバーであるが、報告された数字は異なる質問に答えることができ、読まなければならない人間の合意を伴わないことは滅多にない。 中心的な検証のギャップは、検証法が最も要求される場所、すなわち、防御可能な代替解、追従エラー、および検査者のモデル判断の補正である。 そして、ルーブリック中心のグレーディングが最も監査可能なファミリーは、標準、その応用、そして最終的な決定を検証できるためである。 議論と代替パスを信用するインスタンスルーリック、コードでチェックされた証拠、調査、繰り返し実行、独立した人間のグレードに対する校正、ロギング、すべてのスクリプトを読む検査者。 私たちは、それぞれの安全守が何を守っているか、何がテストされるのか、そして今日の証拠が支持する使用について述べています。

関連論文リスト

• Are LLMs Court-Ready? Evaluating Frontier Models on Indian Legal Reasoning [0.5308136763388956]
  私たちは、インドの公的な司法試験を透明な代理として利用しています。 私たちのベンチマークは、国家試験と国家試験の客観的な画面をまとめたものです。 我々はまた、最高裁判所のAdvocate-on-Record試験による長文の回答について、弁護士に格付けされた、ペアの書面による研究も含んでいる。
  論文  参考訳（メタデータ） (2025-10-19T10:04:29Z)
• LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
  textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。 このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。 この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
  論文  参考訳（メタデータ） (2025-05-19T08:48:12Z)
• Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges [6.609843448260634]
  LLM-as-a-judgeパラダイムは,大規模言語モデルを評価するアプローチとして急速に普及している。 本稿では,人間間の合意が高いクリーンなシナリオに焦点を当てる。 我々は、複雑性や長さを早めるための感度や、寛大さへの傾向など、審査モデルの脆弱性を識別する。
  論文  参考訳（メタデータ） (2024-06-18T13:49:54Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。