論文の概要: LexSumm and LexT5: Benchmarking and Modeling Legal Summarization Tasks in English
- arxiv url: http://arxiv.org/abs/2410.09527v1
- Date: Sat, 12 Oct 2024 13:16:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 13:55:04.975281
- Title: LexSumm and LexT5: Benchmarking and Modeling Legal Summarization Tasks in English
- Title（参考訳）: LexSummとLexT5: 英語の法定要約タスクのベンチマークとモデリング
- Authors: T. Y. S. S. Santosh, Cornelius Weiss, Matthias Grabmair,
- Abstract要約: この研究は、英語の法的な要約タスクを評価するために設計されたベンチマークであるLexSummをキュレートする。
これは、米国、英国、EU、インドなどの様々な司法管轄区域から8つのイングランドの法的な要約データセットで構成されている。
我々は、法ドメイン内の既存のBERTスタイルエンコーダのみのモデルの制限に対処する、法的指向シーケンス・ツー・シーケンスモデルであるLexT5をリリースする。
- 参考スコア（独自算出の注目度）: 1.3723120574076126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the evolving NLP landscape, benchmarks serve as yardsticks for gauging progress. However, existing Legal NLP benchmarks only focus on predictive tasks, overlooking generative tasks. This work curates LexSumm, a benchmark designed for evaluating legal summarization tasks in English. It comprises eight English legal summarization datasets, from diverse jurisdictions, such as the US, UK, EU and India. Additionally, we release LexT5, legal oriented sequence-to-sequence model, addressing the limitation of the existing BERT-style encoder-only models in the legal domain. We assess its capabilities through zero-shot probing on LegalLAMA and fine-tuning on LexSumm. Our analysis reveals abstraction and faithfulness errors even in summaries generated by zero-shot LLMs, indicating opportunities for further improvements. LexSumm benchmark and LexT5 model are available at https://github.com/TUMLegalTech/LexSumm-LexT5.
- Abstract（参考訳）: 進化するNLPのランドスケープでは、ベンチマークはガーグ進行のためのヤードスティックとして機能する。
しかし、既存の法的なNLPベンチマークでは、予測タスクのみに焦点を当てており、生成タスクを見下ろしている。
この研究は、英語の法的な要約タスクを評価するために設計されたベンチマークであるLexSummをキュレートする。
これは、米国、英国、EU、インドなどの様々な司法管轄区域から8つのイングランドの法的な要約データセットで構成されている。
さらに、法ドメイン内の既存のBERTスタイルエンコーダのみのモデルの制限に対処するため、法指向シーケンス・ツー・シーケンスモデルであるLexT5をリリースする。
我々は、LegalLAMAのゼロショット探索とLexSummの微調整により、その能力を評価した。
分析の結果,ゼロショットLLMが生成した要約においても,抽象化と忠実度誤差が明らかとなり,さらなる改善の機会が示唆された。
LexSummベンチマークとLexT5モデルはhttps://github.com/TUMLegalTech/LexSumm-LexT5で公開されている。
関連論文リスト
- Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。
現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。
近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
論文 参考訳（メタデータ） (2024-10-26T00:39:44Z) - LexEval: A Comprehensive Chinese Legal Benchmark for Evaluating Large Language Models [17.90483181611453]
大規模言語モデル (LLM) は自然言語処理タスクにおいて大きな進歩を遂げており、法的領域においてかなりの可能性を示している。
既存のLLMを法制度に適用し、その可能性や限界を慎重に評価することなく適用することは、法律実務において重大なリスクをもたらす可能性がある。
我々は、標準化された総合的な中国の法律ベンチマークLexEvalを紹介する。
論文 参考訳（メタデータ） (2024-09-30T13:44:00Z) - InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。
われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。
InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
論文 参考訳（メタデータ） (2024-06-21T06:19:03Z) - BLT: Can Large Language Models Handle Basic Legal Text? [44.89873147675516]
GPT-4とClaudeは、基本的な法的テキスト処理では性能が良くない。
ベンチマークの粗悪なパフォーマンスは、法的慣行の信頼性を疑うものだ。
トレーニングセットの微調整は、小さなモデルでもほぼ完璧なパフォーマンスをもたらす。
論文 参考訳（メタデータ） (2023-11-16T09:09:22Z) - Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model
Collaboration [52.57055162778548]
法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。
先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。
近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
論文 参考訳（メタデータ） (2023-10-13T16:47:20Z) - SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore [159.21914121143885]
推論中にこのリスクパフォーマンストレードオフを管理する新しい言語モデルであるSILOを提案する。
SILOは(1)オープンライセンスコーパス(OLC)上でパラメトリックLMをトレーニングすることで構築されます。
データストアへのアクセスはドメインのパフォーマンスを大幅に改善し、PileでトレーニングされたLMでパフォーマンスギャップの90%を閉じる。
論文 参考訳（メタデータ） (2023-08-08T17:58:15Z) - One Law, Many Languages: Benchmarking Multilingual Legal Reasoning for Judicial Support [18.810320088441678]
この研究は、法域に対する新しいNLPベンチマークを導入している。
エンフロング文書(最大50Kトークン)の処理、エンフドメイン固有の知識(法的テキストに具体化されている)、エンフマルチリンガル理解(5つの言語をカバーしている)の5つの重要な側面においてLCMに挑戦する。
我々のベンチマークにはスイスの法体系からの多様なデータセットが含まれており、基礎となる非英語、本質的には多言語法体系を包括的に研究することができる。
論文 参考訳（メタデータ） (2023-06-15T16:19:15Z) - Legal Prompt Engineering for Multilingual Legal Judgement Prediction [2.539568419434224]
Legal Prompt Engineering (LPE) または Legal Prompting は、大規模言語モデル (LLM) を指導し、支援するプロセスである。
欧州人権裁判所(英語)及びスイス連邦最高裁判所(ドイツ語・フランス語・イタリア語)の事例文におけるゼロショットLPEの性能について検討する。
論文 参考訳（メタデータ） (2022-12-05T12:17:02Z) - Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。
KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。
本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
論文 参考訳（メタデータ） (2022-05-18T09:17:14Z) - LexGLUE: A Benchmark Dataset for Legal Language Understanding in English [15.026117429782996]
我々は,多種多様なNLUタスクのモデル性能を評価するためのデータセットの集合であるLexGLUEベンチマークを紹介する。
また、複数の汎用的および法的指向モデルの評価と分析を行い、後者が複数のタスクにまたがるパフォーマンス改善を一貫して提供することを示した。
論文 参考訳（メタデータ） (2021-10-03T10:50:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。