論文の概要: CrossLex: A Source-Grounded Benchmark for Cross-Jurisdictional Legal Reasoning in Large Language Models
- arxiv url: http://arxiv.org/abs/2608.01292v1
- Date: Sun, 02 Aug 2026 15:03:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.151476
- Title: CrossLex: A Source-Grounded Benchmark for Cross-Jurisdictional Legal Reasoning in Large Language Models
- Title（参考訳）: CrossLex: 大規模言語モデルにおけるクロスプラットフォームな法的推論のためのベンチマーク
- Abstract要約: そこで我々は,クロスファクトな法的根拠に基づくベンチマークであるCrossLexを紹介した。
クロスレックスは、権威ある法的ソースから構築され、契約、消費者、刑事、家族、労働法にまたがる55の法的問題に整合し、司法に整合した質問を構築している。
相互判断的推論から基本的法的知識を遠ざけるために、CrossLexは、単一判断的推論(T1)、共同判断的比較(T2)、微粒な相互判断的評価(T3)の3つの相補的タスクを定義している。
- 参考スコア（独自算出の注目度）: 8.433017542591221
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Legal reasoning is inherently jurisdiction-dependent: the same facts can call for different legal rules and yield different conclusions across legal systems. Yet existing benchmarks rarely evaluate whether large language models (LLMs) can recognize such jurisdiction-specific variation, especially when identical fact patterns lead to divergent legal outcomes.We introduce CrossLex, a same-fact, legal-source-grounded benchmark for evaluating cross-jurisdictional legal reasoning in LLMs across three jurisdictions: China, California, and Germany. Built from authoritative legal sources, CrossLex aligns 55 legal issues spanning contract, consumer, criminal, family, and labor law, and constructs jurisdiction-aligned questions paired with answers and supporting citations. In total, CrossLex contains 6,149 instances organized into 385 fact groups, with all legal issues, answers, and cited authorities reviewed by legal professionals.To disentangle basic legal knowledge from cross-jurisdictional reasoning, CrossLex defines three complementary tasks: single-jurisdiction reasoning (T1), joint cross-jurisdictional comparison (T2), and fine-grained cross-jurisdictional evaluation (T3). We further propose Grounded Joint, a metric that jointly assesses answer correctness and legal-source grounding, and provide a unified evaluation for streamlined benchmarking. Extensive experiments on representative LLMs show that, although current models can often answer legal questions correctly, they struggle to provide accurate cross-jurisdictional legal citations.We hope that CrossLex will facilitate future research on source-grounded cross-jurisdictional legal reasoning.
- Abstract（参考訳）: 同じ事実は異なる法的規則を呼び出して、法体系全体で異なる結論を導くことができる。
しかし、大きな言語モデル(LLM)が、特に同一の事実パターンが異なる法的な結果をもたらす場合において、そのような管轄範囲固有のバリエーションを認識できるかどうかを評価することは滅多にない。
クロスレックスは、権威ある法的ソースから構築され、契約、消費者、刑事、家族、労働法にまたがる55の法的問題に対応し、回答と回答を合わせ、引用を支持する司法に整合した質問を構築している。
6,149件のCrossLexを385の事実グループに分類し、すべての法的問題、回答、および法的専門家が審査した当局を引用し、CrossLexは3つの相補的タスク、すなわち1つの相補的推論(T1)、連関的比較(T2)、きめ細かい相互判断的評価(T3)を定義している。
さらに,回答の正しさと法的な根拠付けを共同で評価する指標であるグラウンドド・ジョイントを提案し,合理化ベンチマークの統一評価を行う。
代表的LLMに関する大規模な実験は、現行のモデルはしばしば法的問題に正しく答えることができるが、正確な断定的法的引用の提供に苦慮していることを示し、CrossLexが今後、根拠に基づく断定的法的推論の研究を促進することを願っている。
関連論文リスト
- LexIssue: Benchmarking Legal Issue Identification in Chinese Civil Litigation [6.798861249866644]
我々は、自由形式の問題記述と構造化された法的カテゴリの両方を通して、法的問題を表す法的基盤を持つ階層的スキーマを導入する。
われわれは、430件の現実の中国民事訴訟と1,303件の専門家が記載した法的問題を含むベンチマークであるLexIssueを構築した。
実験結果から, 構築された法的問題知識ベースを用いた検索強化世代は, 論争のある法的問題を特定する際の性能を一貫して向上することが示された。
論文 参考訳（メタデータ） (2026-09-02T01:49:59Z) - TW-LegalBench: Measuring Taiwanese Legal Understanding [1.8953545128709688]
大規模言語モデル(LLM)は、様々なタスクにまたがる印象的な能力を示しているが、管轄に固有の法的理由に関するそれらのパフォーマンスは、未調査のままである。
本稿では,台湾の法体系の豊富な公式コーパスを利用して,台湾法におけるLLMの評価のギャップを埋めるTW-LegalBenchについて述べる。
論文 参考訳（メタデータ） (2026-06-17T05:25:21Z) - WisdomInterrogatory (LuWen): An Open-Source Legal Large Language Model Technical Report [55.27414605169639]
Wesdom Interrogatory (LuWen)は,バイチュン基礎モデルに基づいて構築された,オープンソースの中国語の法律モデルである。
予測と生成の両方にまたがる5つの代表的な法的課題についてLuWenを評価する。
論文 参考訳（メタデータ） (2026-04-08T06:59:07Z) - Where Experts Disagree, Models Fail: Detecting Implicit Legal Citations in French Court Decisions [3.8449738927037207]
我々は,第一審裁判所の決定において,フランス民法典の暗黙の引用に焦点をあてる。
専門家の不一致がモデル失敗を予測することを示す。
これらの制限にもかかわらず、タスクをトップkランキングとして再検討し、マルチモデルコンセンサスを活用することで、教師なしの環境でk = 200で76%の精度が得られる。
論文 参考訳（メタデータ） (2026-03-24T09:10:57Z) - LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。
LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。
LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
論文 参考訳（メタデータ） (2026-01-31T10:18:32Z) - PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。
PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。
人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
論文 参考訳（メタデータ） (2026-01-23T11:36:10Z) - Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics [49.3262123849242]
LEGIT(LEGal Issue Trees)は,新しい大規模(24Kインスタンス)の専門家レベルの法的推論データセットである。
我々は、裁判判決を、当事者の議論と裁判所の結論の階層的な木に変換する。
論文 参考訳（メタデータ） (2025-11-30T18:32:43Z) - Not ready for the bench: LLM legal interpretation is unstable and out of step with human judgments [2.8622281002418357]
近年の学問では、法的実践者が解釈ツールキットに大きな言語モデル(LLM)を追加することが提案されている。
この研究は、法学者や連邦判事が最近実施したLSM解釈に対する実証的な議論を提供する。
我々の英語調査は、モデルが安定した解釈判断を提供していないことを示している。
論文 参考訳（メタデータ） (2025-10-29T10:21:25Z) - CLaw: Benchmarking Chinese Legal Knowledge in Large Language Models - A Fine-grained Corpus and Reasoning Analysis [13.067377421250557]
大規模言語モデル (LLM) は、法的テキストを分析し、関連する法令を引用するタスクが増えている。
本稿では,中国法学におけるLLMの厳密な評価と推論への応用を目的とした新しいベンチマークであるCLawを紹介する。
論文 参考訳（メタデータ） (2025-09-25T14:19:51Z) - LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。
このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。
この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
論文 参考訳（メタデータ） (2025-05-19T08:48:12Z) - DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment [55.91429725404988]
判例検索のための識別モデルであるDELTAを紹介する。
我々は浅層デコーダを利用して情報ボトルネックを作り、表現能力の向上を目指しています。
本手法は, 判例検索において, 既存の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2024-03-27T10:40:14Z) - LegalBench: A Collaboratively Built Benchmark for Measuring Legal
Reasoning in Large Language Models [15.98468948605927]
LegalBenchは6種類の法的推論をカバーする162のタスクからなるベンチマークである。
本稿では、LegalBenchについて述べるとともに、20のオープンソースおよび商用LCMの実証的な評価を行い、LegalBenchがもたらす研究のタイプについて説明する。
論文 参考訳（メタデータ） (2023-08-20T22:08:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。