論文の概要: LLMs for Law: Evaluating Legal-Specific LLMs on Contract Understanding

• arxiv url: http://arxiv.org/abs/2508.07849v1
• Date: Mon, 11 Aug 2025 11:08:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:29.056188
• Title: LLMs for Law: Evaluating Legal-Specific LLMs on Contract Understanding
• Title（参考訳）: LLMs for Law: 契約理解における法的なLLMの評価
• Authors: Amrita Singh, H. Suhan Karaca, Aditya Joshi, Hye-young Paik, Jiaojiao Jiang,
• Abstract要約: 法的な LLM は汎用モデルより一貫して優れている。 CaseLaw-BERTとContracts-BERTは、3つのタスクのうち2つの新しいSOTAを構築します。
• 参考スコア（独自算出の注目度）: 3.281175376780409
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite advances in legal NLP, no comprehensive evaluation covering multiple legal-specific LLMs currently exists for contract classification tasks in contract understanding. To address this gap, we present an evaluation of 10 legal-specific LLMs on three English language contract understanding tasks and compare them with 7 general-purpose LLMs. The results show that legal-specific LLMs consistently outperform general-purpose models, especially on tasks requiring nuanced legal understanding. Legal-BERT and Contracts-BERT establish new SOTAs on two of the three tasks, despite having 69% fewer parameters than the best-performing general-purpose LLM. We also identify CaseLaw-BERT and LexLM as strong additional baselines for contract understanding. Our results provide a holistic evaluation of legal-specific LLMs and will facilitate the development of more accurate contract understanding systems.
• Abstract（参考訳）: 法的なNLPの進歩にもかかわらず、契約理解における契約分類タスクには、複数の法的なLLMに関する包括的な評価は存在しない。 このギャップに対処するため,3つの英語契約理解タスクに対して10の法定LLMの評価を行い,それらを7つの汎用LLMと比較した。 以上の結果から,法的な LLM は汎用モデル,特に曖昧な法的理解を必要とするタスクにおいて,一貫して優れていたことが示唆された。 法-BERT と Contracts-BERT は、3つのタスクのうちの2つに新たな SOTA を定めている。 また、CaseLaw-BERT と LexLM を契約理解のための強力なベースラインとみなす。 本研究は, 法定LLMの総合評価を行い, より正確な契約理解システムの開発を支援するものである。

関連論文リスト

• Towards Robust Legal Reasoning: Harnessing Logical LLMs in Law [0.0]
  大規模言語モデル(LLM)は将来性を示すが、法的文脈におけるそれらの応用には高い精度、再現性、透明性が必要である。 本稿では,LLMの自然言語理解と論理に基づく推論を統合したニューロシンボリックアプローチを提案する。 法律文書ケーススタディとして,保険契約のカバレッジ関連クエリにニューロシンボリックAIを適用した。
  論文  参考訳（メタデータ） (2025-02-24T20:38:17Z)
• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• Benchmarking LLMs via Uncertainty Quantification [91.72588235407379]
  オープンソースのLarge Language Models(LLM)の普及は、包括的な評価方法の緊急の必要性を強調している。 我々は不確実性定量化を統合した LLM のための新しいベンチマーク手法を提案する。 以上の結果より, 精度の高いLSMでは, 精度が低下する可能性があり, II) より大規模なLSMでは, より小型のLSMに比べて不確実性が高いこと, III) 命令ファインタニングではLCMの不確実性が高くなる傾向が示唆された。
  論文  参考訳（メタデータ） (2024-01-23T14:29:17Z)
• BLT: Can Large Language Models Handle Basic Legal Text? [44.89873147675516]
  GPT-4とClaudeは、基本的な法的テキスト処理では性能が良くない。 ベンチマークの粗悪なパフォーマンスは、法的慣行の信頼性を疑うものだ。 トレーニングセットの微調整は、小さなモデルでもほぼ完璧なパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-11-16T09:09:22Z)
• A Comprehensive Evaluation of Large Language Models on Legal Judgment Prediction [60.70089334782383]
  大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。 GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。 我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
  論文  参考訳（メタデータ） (2023-10-18T07:38:04Z)
• LAiW: A Chinese Legal Large Language Models Benchmark [17.66376880475554]
  一般および法的ドメイン LLM は LegalAI の様々なタスクにおいて高いパフォーマンスを示している。 われわれは、法的な実践の論理に基づいて、中国の法的LLMベンチマークLAiWを最初に構築しました。
  論文  参考訳（メタデータ） (2023-10-09T11:19:55Z)
• LawBench: Benchmarking Legal Knowledge of Large Language Models [35.2812008533622]
  大規模言語モデル(LLM)は様々な面で強力な能力を示している。 法的知識がどの程度あるか、そして法的関連タスクを確実に実行できるかは不明だ。 ローベンチは、3つの認知レベルからLLMの法的な能力を正確に評価するために細心の注意を払って設計されている。
  論文  参考訳（メタデータ） (2023-09-28T09:35:59Z)
• Limits for Learning with Language Models [4.20859414811553]
  大規模言語モデル(LLM)がボレル階層の第一段階を超えて概念を学習できないことを示す。 LLMは、細部と深い言語的理解を必要とするタスクについて、正式な保証なしに運用を続ける。
  論文  参考訳（メタデータ） (2023-06-21T12:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。