論文の概要: LexGenius: An Expert-Level Benchmark for Large Language Models in Legal General Intelligence
- arxiv url: http://arxiv.org/abs/2512.04578v1
- Date: Thu, 04 Dec 2025 08:48:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-05 21:11:46.077474
- Title: LexGenius: An Expert-Level Benchmark for Large Language Models in Legal General Intelligence
- Title（参考訳）: LexGenius: 法務一般インテリジェンスにおける大規模言語モデルのエキスパートレベルベンチマーク
- Authors: Wenjin Liu, Haoran Luo, Xin Feng, Xiang Ji, Lijuan Zhou, Rui Mao, Jiapu Wang, Shirui Pan, Erik Cambria,
- Abstract要約: 法務総合知能(ぎょうげんがく、英語: Legal General Intelligence, GI)とは、法的な理解、推論、意思決定を含む人工知能(AI)のこと。
既存のベンチマークは結果指向であり、大規模言語モデル(LLM)の法的なインテリジェンスを体系的に評価することができない。
我々は、LLMにおける法GIを評価するための専門家レベルの中国の法定ベンチマークであるLexGeniusを提案する。
- 参考スコア（独自算出の注目度）: 74.05988707492058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Legal general intelligence (GI) refers to artificial intelligence (AI) that encompasses legal understanding, reasoning, and decision-making, simulating the expertise of legal experts across domains. However, existing benchmarks are result-oriented and fail to systematically evaluate the legal intelligence of large language models (LLMs), hindering the development of legal GI. To address this, we propose LexGenius, an expert-level Chinese legal benchmark for evaluating legal GI in LLMs. It follows a Dimension-Task-Ability framework, covering seven dimensions, eleven tasks, and twenty abilities. We use the recent legal cases and exam questions to create multiple-choice questions with a combination of manual and LLM reviews to reduce data leakage risks, ensuring accuracy and reliability through multiple rounds of checks. We evaluate 12 state-of-the-art LLMs using LexGenius and conduct an in-depth analysis. We find significant disparities across legal intelligence abilities for LLMs, with even the best LLMs lagging behind human legal professionals. We believe LexGenius can assess the legal intelligence abilities of LLMs and enhance legal GI development. Our project is available at https://github.com/QwenQKing/LexGenius.
- Abstract（参考訳）: 法務総合知能(ぎょうげんがく、英語: Legal General Intelligence, GI)は、法的な理解、推論、意思決定を含む人工知能(AI)であり、ドメイン全体にわたる法律専門家の専門知識をシミュレートする。
しかし、既存のベンチマークは結果指向であり、大規模言語モデル(LLM)の法的なインテリジェンスを体系的に評価することができないため、法的なGIの開発を妨げている。
そこで我々は,LLMにおける法的GIを評価するための専門家レベルの中国の法定ベンチマークであるLexGeniusを提案する。
7つの次元、11のタスク、20の能力をカバーする、次元タスク能力フレームワークに従っている。
我々は、最近の訴訟と試験問題を用いて、手動とLLMのレビューを組み合わせることで、複数のチェックを通じてデータの漏洩リスクを低減し、精度と信頼性を確保する。
我々はLexGeniusを用いて12の最先端LCMを評価し,詳細な解析を行った。
LLMの法的な知能能力には大きな違いがあり、最高のLLMでさえ人間の法律専門家に遅れを取っている。
我々は、LexGeniusがLLMの法的な知能能力を評価し、法的なGI開発を促進することができると信じている。
私たちのプロジェクトはhttps://github.com/QwenQKing/LexGenius.comで公開されています。
関連論文リスト
- Large Language Models Meet Legal Artificial Intelligence: A Survey [9.530971874880427]
大規模言語モデル(LLM)は、法律人工知能(Legal AI)の開発を著しく進歩させた。
本稿では16の法的LLMシリーズと47のLLMに基づく法的タスクのフレームワークについてレビューする。
また、15のベンチマークと29のデータセットを収集し、異なる法的能力を評価します。
論文 参考訳（メタデータ） (2025-09-12T05:08:11Z) - LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。
このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。
この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
論文 参考訳（メタデータ） (2025-05-19T08:48:12Z) - LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。
LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
論文 参考訳（メタデータ） (2024-12-23T04:02:46Z) - LexEval: A Comprehensive Chinese Legal Benchmark for Evaluating Large Language Models [17.90483181611453]
大規模言語モデル (LLM) は自然言語処理タスクにおいて大きな進歩を遂げており、法的領域においてかなりの可能性を示している。
既存のLLMを法制度に適用し、その可能性や限界を慎重に評価することなく適用することは、法律実務において重大なリスクをもたらす可能性がある。
我々は、標準化された総合的な中国の法律ベンチマークLexEvalを紹介する。
論文 参考訳（メタデータ） (2024-09-30T13:44:00Z) - InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。
われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。
InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
論文 参考訳（メタデータ） (2024-06-21T06:19:03Z) - A Comprehensive Evaluation of Large Language Models on Legal Judgment
Prediction [60.70089334782383]
大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。
GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。
我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
論文 参考訳（メタデータ） (2023-10-18T07:38:04Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳（メタデータ） (2021-05-09T09:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。