論文の概要: Korean Canonical Legal Benchmark: Toward Knowledge-Independent Evaluation of LLMs' Legal Reasoning Capabilities
- arxiv url: http://arxiv.org/abs/2512.24572v2
- Date: Sat, 03 Jan 2026 07:50:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 14:31:43.746598
- Title: Korean Canonical Legal Benchmark: Toward Knowledge-Independent Evaluation of LLMs' Legal Reasoning Capabilities
- Title（参考訳）: 韓国の標準法典ベンチマーク:LLMの法推論能力の知識に依存しない評価に向けて
- Authors: Hongseok Oh, Wonseok Hwang, Kyoung-Woon On,
- Abstract要約: Korea Canonical Legal Benchmark (KCL) は、言語モデルの法的推論能力を評価するために設計されたベンチマークである。
KCLは、2つのコンポーネントで構成されている: KCL-MCQA、283の質問の多重選択問題、1,103の先行問題、KCL-Essay、169の質問のオープンエンド生成問題、550の先行問題。
- 参考スコア（独自算出の注目度）: 9.053102436781568
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce the Korean Canonical Legal Benchmark (KCL), a benchmark designed to assess language models' legal reasoning capabilities independently of domain-specific knowledge. KCL provides question-level supporting precedents, enabling a more faithful disentanglement of reasoning ability from parameterized knowledge. KCL consists of two components: (1) KCL-MCQA, multiple-choice problems of 283 questions with 1,103 aligned precedents, and (2) KCL-Essay, open-ended generation problems of 169 questions with 550 aligned precedents and 2,739 instance-level rubrics for automated evaluation. Our systematic evaluation of 30+ models shows large remaining gaps, particularly in KCL-Essay, and that reasoning-specialized models consistently outperform their general-purpose counterparts. We release all resources, including the benchmark dataset and evaluation code, at https://github.com/lbox-kr/kcl.
- Abstract（参考訳）: ドメイン固有の知識とは無関係に,言語モデルの法的推論能力を評価するために設計されたベンチマークであるKCL(Korea Canonical Legal Benchmark)を紹介する。
KCLは質問レベルの先例を提供し、パラメータ化された知識から推論能力のより忠実な切り離しを可能にする。
KCLは,(1) KCL-MCQA,(2) KCL-Essay,(1) KCL-MCQA,(2) KCL-MCQA,(2) KCL-MCQA,(1) KCL-MCQA,(2) KCL-MCQA,(2) KCL-MCQA,(2) KCL-MCQA,(2) KCL-Essay,(2) KCL-MCQ,(2) KCL-MCQA,(2) KCL-MCQA,(2) KCL-MCQA,(2) KCL-MCQA,(2) KCL-MCQA,2,739の2つのコンポーネントから構成される。
特にKCL-Essayでは,30以上のモデルの体系的評価により,理論化されたモデルは汎用モデルよりも常に優れていた。
ベンチマークデータセットと評価コードを含むすべてのリソースをhttps://github.com/lbox-kr/kcl.orgでリリースします。
関連論文リスト
- Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - LegalEval-Q: A New Benchmark for The Quality Evaluation of LLM-Generated Legal Text [0.0]
我々は,明快さ,コヒーレンス,用語に基づく法文の質を評価する回帰モデルを構築した。
まず、モデルの品質レベルが14億のパラメータから外れ、限界的な改善は72億のパラメータで2.7%だけである。
論文 参考訳（メタデータ） (2025-05-30T17:30:18Z) - Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking [63.84117489519164]
知識グラフ質問 回答システムは、複雑なマルチホップ推論を評価するために高品質なベンチマークに依存している。
広く使われているにもかかわらず、WebQSPやCWQのような一般的なデータセットは、重要な品質問題に悩まされている。
我々はこれらの落とし穴を体系的に解決するLLM-in-the-loopフレームワークであるKGQAGenを紹介する。
本研究は,KGQA評価を推し進めるスケーラブルなフレームワークとして,より厳密なベンチマーク構築とKGQAGenの位置づけを提唱する。
論文 参考訳（メタデータ） (2025-05-29T14:44:52Z) - LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。
このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。
この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
論文 参考訳（メタデータ） (2025-05-19T08:48:12Z) - SCoRE: Benchmarking Long-Chain Reasoning in Commonsense Scenarios [33.72114830484246]
SCoRE(Scenario-based Commonsense Reasoning Evaluation)は、エンティティ、リレーション、論理ルールのシナリオスキーマからマルチホップ質問を合成するベンチマークである。
SCoREには100kのバイリンガル(中国語と英語の)複数選択質問が含まれており、推論チェーンは2-11ホップにまたがり、様々な難易度にグループ化されている。
論文 参考訳（メタデータ） (2025-03-08T13:40:10Z) - CodeCriticBench: A Holistic Code Critique Benchmark for Large Language Models [97.18215355266143]
本稿では,Large Language Models (LLMs) のコード批判ベンチマークであるCodeCriticBenchを紹介する。
具体的には、CodeCriticBenchには2つの主要なコードタスク(コード生成とコードQA)が含まれています。
さらに、評価プロトコルには、基本的な批評評価と、異なる特性に対する高度な批評評価が含まれる。
論文 参考訳（メタデータ） (2025-02-23T15:36:43Z) - How Should We Build A Benchmark? Revisiting 274 Code-Related Benchmarks For LLMs [60.25940747590386]
本稿では,コード関連ベンチマークの開発を包括的に管理するためのガイドラインとして,55の基準チェックリストからなるHow2Benchを提案する。
私たちは過去10年以内にリリースされた274のベンチマークをプロファイルし、問題を見つけました。
ベンチマークの70%近くはデータ品質保証の措置を取らず、10%以上がオープンソースでも、部分的にはオープンソースでもなかった。
論文 参考訳（メタデータ） (2025-01-18T09:51:57Z) - CFBench: A Comprehensive Constraints-Following Benchmark for LLMs [32.47057812403923]
CFBenchは大規模言語モデルのベンチマークに従う大規模な包括的制約である。
200以上の実生活シナリオと50以上のNLPタスクをカバーする1,000のキュレートされたサンプルがある。
CFBenchは実世界の命令から厳密に制約をコンパイルし、制約型のための革新的な体系的なフレームワークを構築する。
論文 参考訳（メタデータ） (2024-08-02T09:03:48Z) - ICLEval: Evaluating In-Context Learning Ability of Large Language Models [68.7494310749199]
In-Context Learning (ICL) は大規模言語モデル(LLM)の重要な能力であり、相互接続された入力の理解と推論を可能にする。
既存の評価フレームワークは主に言語能力と知識に重点を置いており、しばしばICL能力の評価を見落としている。
LLMのICL能力を評価するためにICLEvalベンチマークを導入する。
論文 参考訳（メタデータ） (2024-06-21T08:06:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。