論文の概要: CaseGen: A Benchmark for Multi-Stage Legal Case Documents Generation
- arxiv url: http://arxiv.org/abs/2502.17943v1
- Date: Tue, 25 Feb 2025 08:03:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-26 18:41:01.449213
- Title: CaseGen: A Benchmark for Multi-Stage Legal Case Documents Generation
- Title（参考訳）: CaseGen: 多段階の訴訟文書生成のためのベンチマーク
- Authors: Haitao Li, Jiaying Ye, Yiran Hu, Jia Chen, Qingyao Ai, Yueyue Wu, Junjie Chen, Yifan Chen, Cheng Luo, Quan Zhou, Yiqun Liu,
- Abstract要約: 中国法域における多段階訴訟文書生成のベンチマークであるCaseGenを紹介する。
CaseGenは、法律の専門家によって注釈付けされた500の実ケースサンプルに基づいており、7つの重要なケースセクションをカバーしている。
防衛声明の起草、裁判事実の執筆、法的推論の作成、判決結果の生成の4つの重要なタスクをサポートする。
- 参考スコア（独自算出の注目度）: 22.98779736851499
- License:
- Abstract: Legal case documents play a critical role in judicial proceedings. As the number of cases continues to rise, the reliance on manual drafting of legal case documents is facing increasing pressure and challenges. The development of large language models (LLMs) offers a promising solution for automating document generation. However, existing benchmarks fail to fully capture the complexities involved in drafting legal case documents in real-world scenarios. To address this gap, we introduce CaseGen, the benchmark for multi-stage legal case documents generation in the Chinese legal domain. CaseGen is based on 500 real case samples annotated by legal experts and covers seven essential case sections. It supports four key tasks: drafting defense statements, writing trial facts, composing legal reasoning, and generating judgment results. To the best of our knowledge, CaseGen is the first benchmark designed to evaluate LLMs in the context of legal case document generation. To ensure an accurate and comprehensive evaluation, we design the LLM-as-a-judge evaluation framework and validate its effectiveness through human annotations. We evaluate several widely used general-domain LLMs and legal-specific LLMs, highlighting their limitations in case document generation and pinpointing areas for potential improvement. This work marks a step toward a more effective framework for automating legal case documents drafting, paving the way for the reliable application of AI in the legal field. The dataset and code are publicly available at https://github.com/CSHaitao/CaseGen.
- Abstract（参考訳）: 訴訟文書は、司法手続において重要な役割を果たす。
ケースの数は増え続けており、訴訟文書の手作業による起草への依存は、圧力と課題の増大に直面している。
大規模言語モデル(LLM)の開発は、文書生成を自動化するための有望なソリューションを提供する。
しかし、既存のベンチマークでは、実際のシナリオにおける訴訟文書の起草に関わる複雑さを完全に把握できない。
このギャップに対処するために、中国法域における多段階の訴訟文書生成のベンチマークであるCaseGenを紹介する。
CaseGenは、法律の専門家によって注釈付けされた500の実ケースサンプルに基づいており、7つの重要なケースセクションをカバーしている。
防衛声明の起草、裁判事実の執筆、法的推論の作成、判決結果の生成の4つの重要なタスクをサポートする。
私たちの知る限りでは、判例文書生成の文脈でLSMを評価するために設計された最初のベンチマークである。
LLM-as-a-judge 評価フレームワークを設計し,その妥当性を人間のアノテーションで検証する。
我々は、広く使われている汎用LLMと法定LLMを評価し、ケース文書生成における制限と潜在的な改善のためのピンポイント領域を強調した。
この作業は、訴訟文書の起草を自動化するためのより効果的なフレームワークへの一歩であり、法分野におけるAIの信頼性の高い適用の道を開くものだ。
データセットとコードはhttps://github.com/CSHaitao/CaseGenで公開されている。
関連論文リスト
- LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。
LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
論文 参考訳（メタデータ） (2024-12-23T04:02:46Z) - Learning Interpretable Legal Case Retrieval via Knowledge-Guided Case Reformulation [22.85652668826498]
本稿では,大言語モデル(LLM)に基づく法的な知識誘導型事例修正手法であるKELLERを紹介する。
犯罪や法律記事に関する専門的な法的知識を取り入れることで、大規模な言語モデルにより、原訴訟を犯罪の簡潔なサブファクトに正確に修正することができる。
論文 参考訳（メタデータ） (2024-06-28T08:59:45Z) - InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。
われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。
InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
論文 参考訳（メタデータ） (2024-06-21T06:19:03Z) - MUSER: A Multi-View Similar Case Retrieval Dataset [65.36779942237357]
類似事例検索(SCR)は、司法公正の促進に重要な役割を果たす代表的法的AIアプリケーションである。
既存のSCRデータセットは、ケース間の類似性を判断する際にのみ、事実記述セクションにフォーカスする。
本稿では,多視点類似度測定に基づく類似事例検索データセットMと,文レベル法定要素アノテーションを用いた包括的法定要素を提案する。
論文 参考訳（メタデータ） (2023-10-24T08:17:11Z) - Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model
Collaboration [52.57055162778548]
法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。
先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。
近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
論文 参考訳（メタデータ） (2023-10-13T16:47:20Z) - CaseEncoder: A Knowledge-enhanced Pre-trained Model for Legal Case
Encoding [15.685369142294693]
CaseEncoderは、データサンプリングと事前トレーニングフェーズの両方において、きめ細かい法的な知識を活用する法律文書エンコーダである。
CaseEncoderは、ゼロショットの判例検索において、既存の一般的な事前訓練モデルと法律固有の事前訓練モデルの両方を著しく上回っている。
論文 参考訳（メタデータ） (2023-05-09T12:40:19Z) - SAILER: Structure-aware Pre-trained Language Model for Legal Case
Retrieval [75.05173891207214]
判例検索は知的法体系において中心的な役割を果たす。
既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。
本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T10:47:01Z) - Legal Case Document Summarization: Extractive and Abstractive Methods
and their Evaluation [11.502115682980559]
訴訟判断文書の要約は、法律NLPにおいて難しい問題である。
法的事例文書に適用した場合の要約モデルの異なる族がどのように機能するかについては、あまり分析されていない。
論文 参考訳（メタデータ） (2022-10-14T05:43:08Z) - Incorporating Domain Knowledge for Extractive Summarization of Legal
Case Documents [7.6340456946456605]
法ケース文書の要約のための教師なし要約アルゴリズムDELSummを提案する。
提案アルゴリズムは,数千対の文書-要約ペアで訓練された教師付き要約モデルより優れている。
論文 参考訳（メタデータ） (2021-06-30T08:06:15Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳（メタデータ） (2021-05-09T09:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。