論文の概要: ChJGBench: A Comprehensive Benchmark for Chinese Legal Judgment Generation with Diagnostic Evaluation
- arxiv url: http://arxiv.org/abs/2611.15639v1
- Date: Wed, 11 Nov 2026 15:52:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.186699
- Title: ChJGBench: A Comprehensive Benchmark for Chinese Legal Judgment Generation with Diagnostic Evaluation
- Title(参考訳): ChJGBench: 診断評価による中国の法的判断生成の総合ベンチマーク
- Abstract要約: ChJGBenchは、中国の判断の推論と非正のセクションを生成するためのベンチマークである。
3,462の現実世界の判断に基づいて構築されたChJGBenchは、ケースタイプの診断評価フレームワークを提供する。
- 参考スコア(独自算出の注目度): 62.15484691820516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid development of LLMs, increasing attention has been paid to whether they can reliably generate complete and legally valid judicial documents. This calls for a benchmark capable of evaluating whether models can accurately apply statutes and resolve outcome-critical issues, including claims, charges, penalties, and monetary obligations. However, existing benchmarks typically focus on isolated legal tasks or coarse-grained evaluation. We introduce ChJGBench, a benchmark for generating the reasoning and dispositive sections of Chinese judgments across civil, criminal, and administrative cases. Built from 3,462 real-world judgments, ChJGBench provides a case-type-aware diagnostic evaluation framework comprising 13 metric types and adopts a hybrid paradigm. Experiments reveal no uniform advantage for legal-domain models over general-purpose models, with model strengths varying across diagnostic dimensions. Performance is generally stronger on criminal cases, while civil and administrative cases continue to present substantial challenges.
- Abstract(参考訳): LLMの急速な発展に伴い、完全かつ法的に有効な司法文書を確実に作成できるかどうかに注目が集まっている。
これは、モデルが法律を正しく適用し、クレーム、請求、罰則、金銭的義務を含む結果クリティカルな問題を解決できるかどうかを評価することができるベンチマークを要求する。
しかし、既存のベンチマークは通常、孤立した法的タスクや粗い粒度の評価に焦点を当てている。
ChJGBenchは、民事・刑事・行政事件における中国の判断の理由付けと非定型的な部分を生成するためのベンチマークである。
3,462の現実世界の判断に基づいて構築されたChJGBenchは、13のメートル法型からなるケースタイプ認識診断評価フレームワークを提供し、ハイブリッドパラダイムを採用している。
実験では、汎用モデルよりも法ドメインモデルに統一的な優位性は示さず、モデルの強度は診断次元によって異なる。
一般的に刑事事件ではパフォーマンスが強く、民事事件や行政事件は重大な課題を呈し続けている。
関連論文リスト
- LexRubric: A Rubric-Guided Diagnostic Benchmark for Open-Ended Legal Tasks [42.88450102623113]
オープンな中国の法的タスクを評価するためのルーブリックベースのベンチマークであるLexRubricを紹介した。
これには、日々の法的要求と専門的な法的理由の両方を反映した、法的協議と司法試験からの649の事例が含まれる。
また、12,337人の専門家による原子鑑定基準を、統一された6次元フレームワークの下で構成している。
論文 参考訳(メタデータ) (2026-06-08T12:04:47Z) - TriBench-Ko: Evaluating LLM Risks in Judicial Workflows [10.833772229369226]
TriBench-Koは、大規模言語モデルのデプロイメントリスクを評価するために設計された韓国のベンチマークである。
要約、前例検索、法的問題抽出、証拠分析の4つのコアタスクをカバーしている。
複数のデプロイメントリスクカテゴリにわたるモデル動作を共同で評価する。
論文 参考訳(メタデータ) (2026-05-05T14:20:28Z) - Enhancing Judgment Document Generation via Agentic Legal Information Collection and Rubric-Guided Optimization [30.089203895815384]
既存のアプローチは、通常、標準のRetrieval-Augmented GenerationとSupervised Fine-Tuningに依存し、しばしば不十分な証拠のリコール、幻覚された法的な参照、そして欠陥のある法的理由に悩まされる。
本稿では,LLMに基づく判断文書生成を論理的に向上する統一的なフレームワークであるジャッジR1を提案する。
JuDGEベンチマークの実験では、ジャッジ-R1は法的な精度と生成品質の両方において最先端のベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2026-05-03T18:32:10Z) - AR-BENCH: Benchmarking Legal Reasoning with Judgment Error Detection, Classification and Correction [30.1142279338937]
法的判断は、事件状況の複雑さと法的概念の抽象的な性質による誤りを含むことがある。
現在の法的AI研究は、判断予測や法的文書生成のようなタスクに焦点を当てている。
本稿では,モデルの診断的推論と信頼性を法的に評価することを目的とした新しいタスクAPPELLATE REVIEWを紹介する。
論文 参考訳(メタデータ) (2026-01-30T09:22:32Z) - Beyond Case Law: Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA [8.4220629804904]
ルール中心の法的QAのための構造と安全性を意識したベンチマークであるSearchFireSafetyを紹介した。
このベンチマークは、モデルが階層的に断片化された証拠を回収し、法的な文脈が不十分な場合に安全に棄却できるかどうかを評価する。
論文 参考訳(メタデータ) (2026-01-24T06:48:09Z) - PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。
PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。
人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
論文 参考訳(メタデータ) (2026-01-23T11:36:10Z) - ClaimGen-CN: A Large-scale Chinese Dataset for Legal Claim Generation [56.79698529022327]
法的な主張は、事件における原告の要求を言及し、法的理由づけと事件解決を導くのに不可欠である。
本稿では,その事例の事実に基づく法的クレーム生成の問題について考察する。
われわれは,中国法定クレーム生成タスクの最初のデータセットであるClaymGen-CNを構築した。
論文 参考訳(メタデータ) (2025-08-24T07:19:25Z) - JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。
我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。
さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
論文 参考訳(メタデータ) (2024-10-31T18:43:12Z) - Equality before the Law: Legal Judgment Consistency Analysis for
Fairness [55.91612739713396]
本論文では,LInCo(Legal Inconsistency Coefficient)の判定不整合性評価指標を提案する。
法的な判断予測(LJP)モデルを用いて異なる集団の裁判官をシミュレートし、異なる集団で訓練されたLJPモデルによる判断結果の不一致を判断する。
私達はLInCoを実際の場合の不一致を探検するために使用し、次の観察に来ます:(1)地域およびジェンダーの不一致は法制度でありますが、ジェンダーの不一致は地方不一致より大いにより少しです。
論文 参考訳(メタデータ) (2021-03-25T14:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。