論文の概要: AI for Statutory Simplification: A Comprehensive State Legal Corpus and Labor Benchmark

• arxiv url: http://arxiv.org/abs/2508.19365v1
• Date: Tue, 26 Aug 2025 18:53:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.400257
• Title: AI for Statutory Simplification: A Comprehensive State Legal Corpus and Labor Benchmark
• Title（参考訳）: AI for Statutory Simplification: 包括的な州法と労働ベンチマーク
• Authors: Emaan Hariri, Daniel E. Ho,
• Abstract要約: アメリカ合衆国のある州は、AIを使って州のコードの3分の1を削除したと主張している。 この領域でAI機能を評価するためのベンチマークデータセットであるLaborBenchを紹介します。
• 参考スコア（独自算出の注目度）: 5.268588811689132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the emerging use cases of AI in law is for code simplification: streamlining, distilling, and simplifying complex statutory or regulatory language. One U.S. state has claimed to eliminate one third of its state code using AI. Yet we lack systematic evaluations of the accuracy, reliability, and risks of such approaches. We introduce LaborBench, a question-and-answer benchmark dataset designed to evaluate AI capabilities in this domain. We leverage a unique data source to create LaborBench: a dataset updated annually by teams of lawyers at the U.S. Department of Labor, who compile differences in unemployment insurance laws across 50 states for over 101 dimensions in a six-month process, culminating in a 200-page publication of tables. Inspired by our collaboration with one U.S. state to explore using large language models (LLMs) to simplify codes in this domain, where complexity is particularly acute, we transform the DOL publication into LaborBench. This provides a unique benchmark for AI capacity to conduct, distill, and extract realistic statutory and regulatory information. To assess the performance of retrieval augmented generation (RAG) approaches, we also compile StateCodes, a novel and comprehensive state statute and regulatory corpus of 8.7 GB, enabling much more systematic research into state codes. We then benchmark the performance of information retrieval and state-of-the-art large LLMs on this data and show that while these models are helpful as preliminary research for code simplification, the overall accuracy is far below the touted promises for LLMs as end-to-end pipelines for regulatory simplification.
• Abstract（参考訳）: 法律におけるAIの新たなユースケースの1つは、コードの単純化である。 アメリカ合衆国のある州は、AIを使って州のコードの3分の1を削除したと主張している。 しかし、そのようなアプローチの正確性、信頼性、リスクの体系的な評価は欠如している。 この領域でAI能力を評価するために設計されたQ&AベンチマークデータセットであるLaborBenchを紹介する。 米国労働省の弁護士チームによって毎年更新され、50州にまたがる失業保険法の違いを6ヶ月のプロセスで101次元以上にわたってコンパイルし、200ページにわたる表の発行に終止符を打つ。 米国のある州と共同で大規模な言語モデル(LLM)を使用して、複雑さが特に深刻であるこの領域のコードを単純化する調査を行った結果、DOLの出版物はLaborBenchに変換されました。 これは、現実的な法令や規制情報を実行し、蒸留し、抽出するための、AI能力のためのユニークなベンチマークを提供する。 検索拡張生成(RAG)アプローチの性能を評価するため,新鮮かつ包括的な8.7GBのステートルールと規制コーパスであるStateCodesをコンパイルし,ステートコードに関するより体系的な研究を可能にする。 次に、このデータに基づいて、情報検索と最先端の大規模LLMの性能をベンチマークし、これらのモデルがコードの単純化のための予備研究として有用であるが、全体的な精度は規制の単純化のためのエンドツーエンドパイプラインとしてのLLMの約束よりもはるかに低いことを示している。

関連論文リスト

• Augmented Question-guided Retrieval (AQgR) of Indian Case Law with LLM, RAG, and Structured Summaries [0.0]
  本稿では,関連事例の検索を容易にするためにLarge Language Models (LLMs) を提案する。 提案手法は,Retrieval Augmented Generation (RAG) と,インドの事例法に最適化された構造化要約を組み合わせたものである。 本システムは,関連事例法をより効果的に識別するために,事実シナリオに基づく対象の法的質問を生成する。
  論文  参考訳（メタデータ） (2025-07-23T05:24:44Z)
• UQLegalAI@COLIEE2025: Advancing Legal Case Retrieval with Large Language Models and Graph Neural Networks [26.294747463024017]
  訴訟検索は、関連事例の効率的な識別を容易にすることによって、法的領域において重要な役割を担っている。 毎年COLIEE(Conference on Legal Information extract and Entailment)が開催され、評価のためのベンチマークデータセットが更新されている。 本稿では,COLIEE 2025のタスク1で2番目に高いチームである UQLegalAI が採用した CaseLink の詳細について述べる。
  論文  参考訳（メタデータ） (2025-05-27T05:32:50Z)
• LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
  LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。 LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
  論文  参考訳（メタデータ） (2024-12-23T04:02:46Z)
• Evaluating LLM-based Approaches to Legal Citation Prediction: Domain-specific Pre-training, Fine-tuning, or RAG? A Benchmark and an Australian Law Case Study [9.30538764385435]
  大規模言語モデル (LLM) は法的タスクに強い可能性を示しているが、法的な引用予測の問題は未解明のままである。 AusLaw Citation Benchmarkは,オーストラリアで55万の法的事例と18,677のユニークな引用からなる実世界のデータセットである。 次に、さまざまなソリューションに対して、システマティックなベンチマークを実施します。 その結果, 一般および法定LLMは独立解として十分ではなく, ほぼゼロに近い性能を示した。
  論文  参考訳（メタデータ） (2024-12-09T07:46:14Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Enhancing Legal Case Retrieval via Scaling High-quality Synthetic Query-Candidate Pairs [67.54302101989542]
  判例検索は、ある事実記述の参照として類似した事例を提供することを目的としている。 既存の作業は主に、長いクエリを使ったケース・ツー・ケースの検索に重点を置いている。 データスケールは、既存のデータハングリーニューラルネットワークのトレーニング要件を満たすには不十分である。
  論文  参考訳（メタデータ） (2024-10-09T06:26:39Z)
• LawLLM: Law Large Language Model for the US Legal System [43.13850456765944]
  我々は,米国法域に特化して設計されたマルチタスクモデルであるLawLLM(Law Large Language Model)を紹介する。 類似症例検索(SCR)、PCR(Precedent Case Recommendation)、LJP(Lawal Judgment Prediction)においてLawLLMが優れている そこで本研究では,各タスクに対して,生の法定データをトレーニング可能な形式に変換する,カスタマイズされたデータ前処理手法を提案する。
  論文  参考訳（メタデータ） (2024-07-27T21:51:30Z)
• Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model Collaboration [52.57055162778548]
  法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。 先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。 近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
  論文  参考訳（メタデータ） (2023-10-13T16:47:20Z)
• Finding the Law: Enhancing Statutory Article Retrieval via Graph Neural Networks [3.5880535198436156]
  本稿では,グラフニューラルネットワークを用いて法制構造を組み込んだグラフ拡張高密度法規検索(G-DSR)モデルを提案する。 実験の結果,本手法は,実世界のエキスパートアノテートされたSARデータセットにおいて,強力な検索ベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-01-30T12:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。