論文の概要: ContractScrub: A benchmark for final review of legal contracts

• arxiv url: http://arxiv.org/abs/2608.20204v1
• Date: Thu, 20 Aug 2026 16:01:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.630935
• Title: ContractScrub: A benchmark for final review of legal contracts
• Title（参考訳）: ContractScrub: 法的契約の最終レビューのためのベンチマーク
• Abstract要約: エラーと不整合に関するトランザクション契約の最終的なレビューは日常的であり、長いドキュメントに詳細な注意を要する作業に苦労する。 ContractScrubは、コントラクトのスクラブ機能を評価するために設計された最初のベンチマークである。 フロンティアモデルは驚くほど性能が悪く、1つのモデルのみが0.75マクロ平均リコールに達する。
• 参考スコア（独自算出の注目度）: 15.42913966165628
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Legal work, with its heavy reliance on processing large amounts of text, is often considered one of the domains most exposed to the use of LLMs. Contract ``scrubbing,'' the final review of transactional agreements for errors and inconsistencies, is a particularly suitable task for automation, because it is routine, painstaking work requiring detailed attention to long documents. Scrubbing also seems to align naturally with the general capabilities expected of frontier LLMs around long-context reasoning, consistency checking, and named entity recognition (NER). Despite the economic value and potential for automation, no formal evaluations of LLMs performing contract scrubbing have been conducted. We introduce ContractScrub, the first benchmark designed to evaluate contract scrubbing capabilities, comprising contracts hand-crafted by experienced lawyers over diverse error categories such as misuse of defined terms, incorrect references, and inconsistent language. Frontier models perform surprisingly poorly with only one model reaching 0.75 macro average recall despite strong performance on seemingly related general benchmarks, demonstrating the practical limits of current models and the importance of narrowly targeted, domain-specific benchmarks for measuring real-world impact.
• Abstract（参考訳）: 法的な作業は、大量のテキストの処理に大きく依存しているため、LLMの使用に最も依存した領域の1つとみなされることが多い。 エラーと不整合に関するトランザクション契約の最終的なレビューである‘scrubbing’は、特に自動化に適したタスクです。 Scrubbingはまた、長いコンテキスト推論、一貫性チェック、名前付きエンティティ認識(NER)を中心に、フロンティアのLLMが期待する一般的な機能と自然に一致しているように見える。 経済価値と自動化の可能性にもかかわらず、契約スクラブを行うLLMの正式な評価は行われていない。 本研究では,契約の精査能力を評価するために設計された最初のベンチマークであるContractScrubを紹介する。 1つのモデルのみが0.75マクロ平均リコールに達すると驚くほど性能が劣るが、一見すると一般的なベンチマークでは強い性能を示し、現在のモデルの実用的限界と、実際の影響を測定するための狭義のドメイン固有のベンチマークの重要性を実証している。

関連論文リスト

• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation [49.796717294455796]
  経済的なモチベーションのある逸脱を検出するための実践的な監査フレームワークIMMACULATEを提案する。 IMMACULATEは、検証可能な計算を用いて少数のリクエストを選択的に監査し、暗号オーバーヘッドを償却しながら強力な検出保証を達成する。
  論文  参考訳（メタデータ） (2026-02-26T07:21:02Z)
• PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
  本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。 PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。 人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
  論文  参考訳（メタデータ） (2026-01-23T11:36:10Z)
• Better Call CLAUSE: A Discrepancy Benchmark for Auditing LLMs Legal Reasoning Capabilities [15.35489310097019]
  CLAUSE は LLM の法的な推論の脆弱性を評価するために設計された第一種ベンチマークである。 我々の研究は、法的AIにおけるそのような推論失敗を特定し、修正する道筋を概説している。
  論文  参考訳（メタデータ） (2025-11-01T00:51:21Z)
• Do Large Language Models Respect Contracts? Evaluating and Enforcing Contract-Adherence in Code Generation [11.445615378917578]
  PACTは、プログラムアセスメントおよび契約順応評価フレームワークである。 契約違反に焦点を当てた包括的なテストスーツコーパスを提供する。 様々なプロンプト条件下でのコード生成の体系的解析を可能にする。
  論文  参考訳（メタデータ） (2025-10-14T01:12:37Z)
• LLMs as verification oracles for Solidity [1.3887048755037537]
  本稿では,この役割において,最先端の推論LLMである GPT-5 を初めて体系的に評価する。 我々は,大規模な検証タスクのデータセット上でその性能をベンチマークし,その出力を確立された形式的検証ツールと比較し,実世界の監査シナリオにおける実効性を評価する。 我々の研究は、AIの収束における新たなフロンティアと、セキュアなスマートコントラクト開発と監査のための形式的手法を示唆している。
  論文  参考訳（メタデータ） (2025-09-23T15:32:13Z)
• Generic Adversarial Smart Contract Detection with Semantics and Uncertainty-Aware LLM [18.01454017110476]
  FinDetは、汎用的な敵対的スマートコントラクト検出フレームワークである。 EVM-バイトコードの契約のみを入力として取り、高いバランスの取れた精度で敵の契約を識別する。 包括的評価の結果,FinDet の BAC は 0.9223 であり,TPR は 0.8950 であり,既存のベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-09-23T12:52:05Z)
• A Controllable Examination for Long-Context Language Models [62.845852724511964]
  本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。 その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。 我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
  論文  参考訳（メタデータ） (2025-06-03T14:23:06Z)
• PAKTON: A Multi-Agent Framework for Question Answering in Long Legal Agreements [12.634151250093483]
  我々は,プラグイン・アンド・プレイ機能を備えた,完全オープンソースでエンドツーエンドのマルチエージェント・フレームワークであるPAKTONを紹介した。 PAKTONは、協調エージェントと新しい検索拡張生成(RAG)コンポーネントによって、契約分析の複雑さを扱うように設計されている。 実験により、PAKTONは、予測精度、検索性能、説明可能性、完全性、根拠的正当性において、汎用モデルと事前訓練モデルの両方より優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-31T15:38:21Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。