論文の概要: Multi-Legal-Bench: Evaluating LLMs on Legal Reasoning Across Jurisdictions, Languages, and Legal Traditions
- arxiv url: http://arxiv.org/abs/2605.29738v1
- Date: Thu, 28 May 2026 10:31:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.185385
- Title: Multi-Legal-Bench: Evaluating LLMs on Legal Reasoning Across Jurisdictions, Languages, and Legal Traditions
- Title（参考訳）: Multi-Legal-Bench: 判決・言語・法的伝統における法的推論におけるLLMの評価
- Abstract要約: Multi-Legal-Benchは、6か国で同一のタスクを評価する最初の横断的法定ベンチマークである。
ベンチマークでは、裁判所型分類、判決形式分類、ケースアウトカム予測、法的規範抽出、原因カテゴリー予測の5つのタスクを定義している。
ゼロショットと3ショットのプロンプトでAWS Bedrock経由で7つのフロンティアLSMを評価し、スケーリング分析のために4つのスモール/メジウムモデル(3-12B)を追加しました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Legal NLP benchmarks overwhelmingly evaluate a single language or aggregate tasks that differ fundamentally across jurisdictions, making cross-lingual comparison impossible. We introduce Multi-Legal-Bench, the first cross-jurisdictional legal benchmark that evaluates identical tasks across six countries (Ukraine, France, Netherlands, Poland, Czech Republic, Lithuania), four language families, and 134 million court decisions. The benchmark defines five tasks court-type classification, judgment form classification, case-outcome prediction, legal norm extraction, and cause category prediction mapped to structured metadata from national court registries, forming a deliberately sparse 5x6 task-jurisdiction matrix (20 of 30 cells filled). We evaluate 7 frontier LLMs under zero-shot and 3-shot prompting via AWS Bedrock, with 4 additional small/medium models (3-12B) for scaling analysis. Our results reveal that: (1) task-dependent few-shot effects discovered in Ukrainian replicate across all jurisdictions; (2) no single model dominates any language rankings shift with both task and jurisdiction; (3) cross-lingual few-shot transfer does not follow language proximity: UA->FR (Romance, -2.1 pp) transfers better than UA->PL (Slavic, -13.7 pp), with label-set alignment predicting transfer quality better than language family; and (4) tokenizer fertility, despite a 2.3x spread, does not significantly predict cross-lingual accuracy (r=-0.27, p=0.14), suggesting that model architecture and pretraining data dominate tokenizer efficiency. We release all data, prompts, and model predictions.
- Abstract（参考訳）: 法的なNLPベンチマークは、言語間比較を不可能にするため、管轄地域によって根本的に異なる単一言語または集約タスクを圧倒的に評価する。
このベンチマークは6カ国(ウクライナ、フランス、オランダ、ポーランド、チェコ、リトアニア)で同一のタスクを評価し、4つの言語家族と1億1400万の判決を下す。
このベンチマークは、5つのタスクコート型分類、判断形式分類、ケースアウトカム予測、法規範抽出、および国家裁判所登録簿から構造化メタデータにマッピングされた原因カテゴリー予測を定義し、5x6タスク分割行列(30セル中20セル)を意図的に分離する。
ゼロショットと3ショットのプロンプトでAWS Bedrock経由で7つのフロンティアLSMを評価し、スケーリング分析のために4つのスモール/メジウムモデル(3-12B)を追加しました。
その結果,(1)ウクライナのすべての領域で発見されたタスク依存の少数ショット効果,(2)タスクと管轄領域の両方で言語ランキングのシフトを支配しない,(3) 言語間の複数ショット転送は,UA->FR (Romance, -2.1 pp) よりも言語に近い,(3) UA->PL (Slavic, -13.7 pp) の転送は,ラベルセットのアライメントにより,言語ファミリーよりも優れた転写品質を予測できる,(4) トークン化の施肥性は,2.3倍の拡散にもかかわらず,言語間精度(r=-0.27, p=0.14)を著しく予測できない,といった結果が得られた。
すべてのデータ、プロンプト、モデル予測をリリースします。
関連論文リスト
- Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。
我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。
Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
論文 参考訳（メタデータ） (2026-07-21T16:15:05Z) - UA-Legal-Bench: A Benchmark for Evaluating Large Language Models on Ukrainian Legal Reasoning [0.0]
UA-Legal-Benchは、ウクライナの法的な推論に基づいて大きな言語モデルを評価するための5タスクのベンチマークである。
私たちは、ゼロショットと3ショットのプロンプトで5つのファミリーから11のLSMを評価し、158KのAPIコールでAWS Bedrock経由で実行します。
この結果より, 課題依存性の少ない小ショット効果は, 判定形態の分類を+38.6ppまで改善するが, 結果予測には混合効果があることがわかった。
論文 参考訳（メタデータ） (2026-05-27T23:12:20Z) - Tokenizer Fertility and Zero-Shot Performance of Foundation Models on Ukrainian Legal Text: A Comparative Study [0.0]
トケナイザーの出生率は、ウクライナの法文に基づく基礎モデルの1.6倍である。
Qwen 3モデルは同一入力上のLlamaファミリーモデルよりも60%多くトークンを消費する。
パフォーマンスは最大26ポイント低下する。
論文 参考訳（メタデータ） (2026-05-14T14:35:05Z) - LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification [0.0]
ブラジルの法律テキスト分類における言語モデル評価のための最初の公開ベンチマークであるLegalBench-BRを紹介する。
データセットは、サンタカタリーナ州裁判所(TJSC)による3,105の手続きからなる。
クラスバランステストセットでは、BERTimbau-LoRAは87.6%の精度と0.87のマクロF1を達成する(Claude 3.5 Haikuより+22pp、GPT-4o miniより+28pp)。
論文 参考訳（メタデータ） (2026-04-20T22:00:02Z) - Swiss-Bench SBP-002: A Frontier Model Comparison on Swiss Legal and Regulatory Tasks [0.0]
既存のベンチマークでは、適用されたスイスの規制タスクにおけるフロンティアモデルのパフォーマンスを評価していない。
スイス・ベンチ(Swiss-Bench)は、スイスの3つの規制ドメインにまたがる395のエキスパート工芸品のトリンガルベンチマークである。
私は、構造化された3次元スコアリングフレームワークを使用して、2026年3月からの10つのフロンティアモデルを評価します。
論文 参考訳（メタデータ） (2026-03-24T18:41:07Z) - Evaluating Modern Large Language Models on Low-Resource and Morphologically Rich Languages:A Cross-Lingual Benchmark Across Cantonese, Japanese, and Turkish [12.286855282078305]
GPT-4o, GPT-4, Claude3.5Sonnet, LLaMA3.1, MistralLarge2, LLaMA-2Chat13B, Mistral7B Instructを評価した。
我々のベンチマークは、オープンドメイン質問応答、文書要約、英語からXへの翻訳、文化的根拠のある対話の4つのタスクにまたがっている。
論文 参考訳（メタデータ） (2025-11-05T22:09:53Z) - A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。
85.7%は単一のプログラミング言語に重点を置いている。
94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。
80%以上は平均10件未満のテストケースを含む。
論文 参考訳（メタデータ） (2025-09-30T11:30:08Z) - Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。
我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
論文 参考訳（メタデータ） (2023-10-31T08:09:20Z) - OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource
Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。
大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。
実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
論文 参考訳（メタデータ） (2022-05-17T19:52:42Z) - A Survey on Legal Judgment Prediction: Datasets, Metrics, Models and
Challenges [73.34944216896837]
法定判断予測(LJP)は,事実記述に基づく判断結果の自動予測に自然言語処理(NLP)技術を適用している。
6言語で31のLJPデータセットを分析し、その構築過程を示し、LJPの分類方法を定義する。
異なる訴訟の8つの代表的データセットに対する最先端の結果を示し、オープンな課題について議論する。
論文 参考訳（メタデータ） (2022-04-11T04:06:28Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳（メタデータ） (2021-12-20T16:52:35Z) - AmericasNLI: Evaluating Zero-shot Natural Language Understanding of
Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。
は、アメリカ大陸の10の原住民の言語である。
XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。
XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
論文 参考訳（メタデータ） (2021-04-18T05:32:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。