論文の概要: LP-Eval: Rubric and Dataset for Measuring the Quality of Legal Proposition Generation
- arxiv url: http://arxiv.org/abs/2605.19815v1
- Date: Tue, 19 May 2026 13:10:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:09.360135
- Title: LP-Eval: Rubric and Dataset for Measuring the Quality of Legal Proposition Generation
- Title（参考訳）: LP-Eval:Rbric and Dataset for the Quality of Legal Proposition Generation
- Authors: Shanshan Xu, Johan Lindholm, Amogh Raina, Henrik Palmer Olsen, Daniel Hershcovich,
- Abstract要約: 本稿では,大言語モデル(LLM)を用いた欧州連合司法裁判所の決定による法的提案の自動生成と評価について検討する。
我々は、法的命題の品質を形式的妥当性と実体的次元に分解する3段階評価ルーブリックであるLP-Evalを紹介した。
以上の結果から,LLMは比較的良く形成され,高品質な命題を生成できることを示す一方,専門家による評価では,近年の事案よりも確立された事案から派生した命題の質が高いことが示唆された。
- 参考スコア（独自算出の注目度）: 9.599534367350227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Legal proposition generation is central to legal reasoning and doctrinal scholarship, yet remain under-examined in Legal NLP. This paper investigates the automatic generation and evaluation of legal propositions from decisions of the Court of Justice of the European Union using large language models (LLMs). We introduce LP-Eval, a three-step evaluation rubric co-designed with legal experts that decomposes legal proposition quality into formal validity and substantive dimensions. Using this rubric, we release a dataset of two experts' annotations for 100 LLM-generated legal propositions. Our results show that LLMs can generate predominantly well-formed and high-quality propositions, while expert evaluations reveal higher quality for propositions derived from well established cases than from recent ones. We further examine LLMs as evaluators and find that rubric-guided LLM judgments align more closely with expert assessments than direct overall scoring, but remain insensitive to finer-grained distinctions captured by human experts.
- Abstract（参考訳）: 法的な命題生成は法的な推論と教義的な奨学金の中心であるが、法的なNLPでは過小評価されている。
本稿では,大言語モデル(LLM)を用いた欧州連合司法裁判所の決定による法的提案の自動生成と評価について検討する。
我々は、法的命題の品質を形式的妥当性と実体的次元に分解する3段階評価ルーブリックであるLP-Evalを紹介した。
このルーリックを用いて、100 LLM生成法命題のための2つの専門家のアノテーションのデータセットをリリースする。
以上の結果から,LSMは比較的良く形成され,高品質な命題を生成できるが,専門家による評価では,近年の事案よりも確立された事案から派生した命題の質が向上していることが示された。
さらに, LLM を評価対象として検討し, ルーブリック誘導 LLM 判定は, 全体評価よりも専門家評価と密接に一致しているが, 人間の専門家が捉えた微粒化に敏感であることを見出した。
関連論文リスト
- Expert Evaluation of LLM's Open-Ended Legal Reasoning on the Japanese Bar Exam Writing Task [10.316445397110291]
大規模言語モデル(LLM)は、バー試験の複数選択要素を含む、法的なベンチマークで強いパフォーマンスを示している。
本研究は, LLMの開放的法的推論性能を評価するために設計された最初のデータセットである。
論文 参考訳（メタデータ） (2026-04-26T14:15:43Z) - LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。
LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。
LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
論文 参考訳（メタデータ） (2026-01-31T10:18:32Z) - PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。
PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。
人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
論文 参考訳（メタデータ） (2026-01-23T11:36:10Z) - LexGenius: An Expert-Level Benchmark for Large Language Models in Legal General Intelligence [74.05988707492058]
法務総合知能(ぎょうげんがく、英語: Legal General Intelligence, GI)とは、法的な理解、推論、意思決定を含む人工知能(AI)のこと。
既存のベンチマークは結果指向であり、大規模言語モデル(LLM)の法的なインテリジェンスを体系的に評価することができない。
我々は、LLMにおける法GIを評価するための専門家レベルの中国の法定ベンチマークであるLexGeniusを提案する。
論文 参考訳（メタデータ） (2025-12-04T08:48:02Z) - Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics [49.3262123849242]
LEGIT(LEGal Issue Trees)は,新しい大規模(24Kインスタンス)の専門家レベルの法的推論データセットである。
我々は、裁判判決を、当事者の議論と裁判所の結論の階層的な木に変換する。
論文 参考訳（メタデータ） (2025-11-30T18:32:43Z) - LeMAJ (Legal LLM-as-a-Judge): Bridging Legal Reasoning and LLM Evaluation [6.783926395409993]
本稿では,弁護士が法的回答をどのように評価するかを反映した,新たな基準フリー評価手法を提案する。
提案手法は,人間の専門家による評価とより密接に関連し,アノテーション間合意の改善に有効であることを示す。
論文 参考訳（メタデータ） (2025-10-08T17:10:47Z) - CLaw: Benchmarking Chinese Legal Knowledge in Large Language Models - A Fine-grained Corpus and Reasoning Analysis [13.067377421250557]
大規模言語モデル (LLM) は、法的テキストを分析し、関連する法令を引用するタスクが増えている。
本稿では,中国法学におけるLLMの厳密な評価と推論への応用を目的とした新しいベンチマークであるCLawを紹介する。
論文 参考訳（メタデータ） (2025-09-25T14:19:51Z) - Using Large Language Models for Legal Decision-Making in Austrian Value-Added Tax Law: An Experimental Study [0.0]
本稿では,オーストリアと欧州連合の付加価値税法(VAT)の枠組みにおいて,大規模言語モデル(LLM)の法的意思決定を支援する能力について実験的に評価する。
論文 参考訳（メタデータ） (2025-07-11T10:19:56Z) - LeCoDe: A Benchmark Dataset for Interactive Legal Consultation Dialogue Evaluation [68.26911563519162]
法的協議は、個人の権利を保護し、司法へのアクセスを確保するために不可欠である。
現在のシステムは、現実世界のコンサルティングの対話的かつ知識集約的な性質を扱うのに不足している。
LeCoDeは3,696件の法的相談対話と110,008件の対話を含む実世界のマルチターンベンチマークデータセットである。
論文 参考訳（メタデータ） (2025-05-26T08:24:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。