論文の概要: Breaking Bureaucracy: Evaluating open-source LLMs for legal document review

• arxiv url: http://arxiv.org/abs/2610.06345v1
• Date: Mon, 05 Oct 2026 13:47:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 09:03:57.976823
• Title: Breaking Bureaucracy: Evaluating open-source LLMs for legal document review
• Title（参考訳）: 官僚制を破る - 法的文書レビューのためのオープンソースのLCMの評価
• Abstract要約: 本稿では,NLI(法定自然言語推論)に基づくオープンソースのLLMの評価を行う。 法的な特定プロセスは特定のドメインで行われ、しばしば機密データを扱う。 我々は、ContractNLIベンチマークと2つのNLI4Willsデータセットでモデルを評価する。
• 参考スコア（独自算出の注目度）: 8.890695280506751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we evaluate open-source generative LLMs on legal Natural Language Inference (NLI). Legal inspectorial processes take place in specific domains and often deal with confidential data. This creates a need for working with local models that do not require labeled training data. We evaluate our models on the ContractNLI benchmark and two NLI4Wills datasets. We successfully reproduce the baseline for the task (Span NLI BERT) and we evaluate multiple open-source LLMs on the same task. We analyze the invalid rate of the models, and their stability across temperature settings and domains. Among the generative models, Gemma-4 26B performs the best, reaching an accuracy of 81.2%, even outperforming the supervised model on one metric. On accuracy, it is not possible to beat the supervised model with zero-shot approaches. Qwen-3.6 35B performs well on both ContractNLI and additional datasets in the legal wills domain. Our findings indicate that zero-shot, open-source, generative LLMs are a viable alternative for real-world legal NLI when no supervised data is available. Our code is available at https://github.com/fbaratov/contractnli-llms.
• Abstract（参考訳）: 本稿では,NLI(法定自然言語推論)に基づくオープンソースのLLMの評価を行う。 法的な特定プロセスは特定のドメインで行われ、しばしば機密データを扱う。 これにより、ラベル付きトレーニングデータを必要としないローカルモデルを扱う必要が生じる。 我々は、ContractNLIベンチマークと2つのNLI4Willsデータセットでモデルを評価する。 我々は,タスクのベースライン(Span NLI BERT)の再現に成功した。 モデルの無効度と,その安定性を温度設定や領域によって分析する。 生成モデルの中では、Gemma-4 26Bが最も良く、81.2%の精度に達し、1つのメートル法で教師付きモデルよりも優れている。 精度では、ゼロショットアプローチで教師付きモデルを打ち負かすことはできない。 Qwen-3.6 35Bは、ContractNLIと法的な意志領域における追加データセットの両方でうまく機能する。 以上の結果から, ゼロショット, オープンソース, ジェネレーティブ LLM は, 教師付きデータがない場合に, 現実の合法的 NLI の代替となる可能性が示唆された。 私たちのコードはhttps://github.com/fbaratov/contractnli-llms.comで利用可能です。

関連論文リスト

• An Empirical Study of Many-to-Many Summarization with Large Language Models [82.10000188179168]
  大規模言語モデル(LLM)は強い多言語能力を示しており、実アプリケーションでM2MS(Multi-to-Many summarization)を実行する可能性を秘めている。 本研究は,LLMのM2MS能力に関する系統的研究である。
  論文  参考訳（メタデータ） (2025-05-19T11:18:54Z)
• MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents [62.02920842630234]
  GPT-4レベルの性能を持つが400倍の低コストでファクトチェックモデルを構築する方法を示す。 GPT-4を用いて合成トレーニングデータを構築することで,現実的かつ困難な事実エラーの事例を生成する。 評価のために, ファクトチェックとグラウンドグラウンド化に関する最近の研究から得られたデータセットを, 新たなベンチマーク LLM-AggreFact に統一する。
  論文  参考訳（メタデータ） (2024-04-16T17:59:10Z)
• Beyond Traditional Benchmarks: Analyzing Behaviors of Open LLMs on Data-to-Text Generation [0.0]
  データ・トゥ・テキスト(D2T)生成タスクにおけるオープン・大規模言語モデル(LLM)の挙動を解析する。 オープン LLM は,Quintd で収集した共通フォーマットのデータから,ゼロショット設定で,ゆるやかで一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2024-01-18T18:15:46Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Investigating Data Contamination in Modern Benchmarks for Large Language Models [27.479260572913724]
  近年の観測は、膨らませたベンチマークスコアとLLMの実際の性能の相違を裏付けている。 我々は,オープンソースのLLMとプロプライエタリなLLMの両方に適した2つの手法を提案し,データ汚染について検討した。 いくつかの商用LCMは、様々なテストセットに欠けているオプションを驚くほど推測できる。
  論文  参考訳（メタデータ） (2023-11-16T11:03:04Z)
• Prompt2Model: Generating Deployable Models from Natural Language Instructions [74.19816829003729]
  大規模言語モデル(LLM)により、システムビルダーはプロンプトによって有能なNLPシステムを作成することができる。 言い換えれば、LSMは従来の特殊目的のNLPモデルとは逆のステップである。 本稿では,LLMに提供されるプロンプトのように自然言語によるタスク記述を行う汎用手法であるPrompt2Modelを提案する。
  論文  参考訳（メタデータ） (2023-08-23T17:28:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。