論文の概要: Korean Canonical Legal Benchmark: Toward Knowledge-Independent Evaluation of LLMs' Legal Reasoning Capabilities

• arxiv url: http://arxiv.org/abs/2512.24572v2
• Date: Sat, 03 Jan 2026 07:50:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 14:31:43.746598
• Title: Korean Canonical Legal Benchmark: Toward Knowledge-Independent Evaluation of LLMs' Legal Reasoning Capabilities
• Title（参考訳）: 韓国の標準法典ベンチマーク:LLMの法推論能力の知識に依存しない評価に向けて
• Authors: Hongseok Oh, Wonseok Hwang, Kyoung-Woon On,
• Abstract要約: Korea Canonical Legal Benchmark (KCL) は、言語モデルの法的推論能力を評価するために設計されたベンチマークである。 KCLは、2つのコンポーネントで構成されている: KCL-MCQA、283の質問の多重選択問題、1,103の先行問題、KCL-Essay、169の質問のオープンエンド生成問題、550の先行問題。
• 参考スコア（独自算出の注目度）: 9.053102436781568
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce the Korean Canonical Legal Benchmark (KCL), a benchmark designed to assess language models' legal reasoning capabilities independently of domain-specific knowledge. KCL provides question-level supporting precedents, enabling a more faithful disentanglement of reasoning ability from parameterized knowledge. KCL consists of two components: (1) KCL-MCQA, multiple-choice problems of 283 questions with 1,103 aligned precedents, and (2) KCL-Essay, open-ended generation problems of 169 questions with 550 aligned precedents and 2,739 instance-level rubrics for automated evaluation. Our systematic evaluation of 30+ models shows large remaining gaps, particularly in KCL-Essay, and that reasoning-specialized models consistently outperform their general-purpose counterparts. We release all resources, including the benchmark dataset and evaluation code, at https://github.com/lbox-kr/kcl.
• Abstract（参考訳）: ドメイン固有の知識とは無関係に,言語モデルの法的推論能力を評価するために設計されたベンチマークであるKCL(Korea Canonical Legal Benchmark)を紹介する。 KCLは質問レベルの先例を提供し、パラメータ化された知識から推論能力のより忠実な切り離しを可能にする。 KCLは,(1) KCL-MCQA,(2) KCL-Essay,(1) KCL-MCQA,(2) KCL-MCQA,(2) KCL-MCQA,(1) KCL-MCQA,(2) KCL-MCQA,(2) KCL-MCQA,(2) KCL-MCQA,(2) KCL-Essay,(2) KCL-MCQ,(2) KCL-MCQA,(2) KCL-MCQA,(2) KCL-MCQA,(2) KCL-MCQA,(2) KCL-MCQA,2,739の2つのコンポーネントから構成される。 特にKCL-Essayでは,30以上のモデルの体系的評価により,理論化されたモデルは汎用モデルよりも常に優れていた。 ベンチマークデータセットと評価コードを含むすべてのリソースをhttps://github.com/lbox-kr/kcl.orgでリリースします。

関連論文リスト

• LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
  textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。 このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。 この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
  論文  参考訳（メタデータ） (2025-05-19T08:48:12Z)
• ICLEval: Evaluating In-Context Learning Ability of Large Language Models [68.7494310749199]
  In-Context Learning (ICL) は大規模言語モデル(LLM)の重要な能力であり、相互接続された入力の理解と推論を可能にする。 既存の評価フレームワークは主に言語能力と知識に重点を置いており、しばしばICL能力の評価を見落としている。 LLMのICL能力を評価するためにICLEvalベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-21T08:06:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。