Fugu-MT 論文翻訳(概要): Applicability of Large Language Models and Generative Models for Legal Case Judgement Summarization

論文の概要: Applicability of Large Language Models and Generative Models for Legal Case Judgement Summarization

arxiv url: http://arxiv.org/abs/2407.12848v1
Date: Sat, 6 Jul 2024 04:49:40 GMT
ステータス: 処理完了
システム内更新日: 2024-07-22 08:28:07.060336
Title: Applicability of Large Language Models and Generative Models for Legal Case Judgement Summarization
Title（参考訳）: 判例判断要約のための大規模言語モデルと生成モデルの適用性
Authors: Aniket Deroy, Kripabandhu Ghosh, Saptarshi Ghosh,
Abstract要約: 近年,抽象的な要約モデルやLarge Language Model (LLM) などの生成モデルが広く普及している。本稿では,判例判断要約におけるそのようなモデルの適用性について検討する。
参考スコア（独自算出の注目度）: 5.0645491201288495
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Automatic summarization of legal case judgements, which are known to be long and complex, has traditionally been tried via extractive summarization models. In recent years, generative models including abstractive summarization models and Large language models (LLMs) have gained huge popularity. In this paper, we explore the applicability of such models for legal case judgement summarization. We applied various domain specific abstractive summarization models and general domain LLMs as well as extractive summarization models over two sets of legal case judgements from the United Kingdom (UK) Supreme Court and the Indian (IN) Supreme Court and evaluated the quality of the generated summaries. We also perform experiments on a third dataset of legal documents of a different type, Government reports from the United States (US). Results show that abstractive summarization models and LLMs generally perform better than the extractive methods as per traditional metrics for evaluating summary quality. However, detailed investigation shows the presence of inconsistencies and hallucinations in the outputs of the generative models, and we explore ways to reduce the hallucinations and inconsistencies in the summaries. Overall, the investigation suggests that further improvements are needed to enhance the reliability of abstractive models and LLMs for legal case judgement summarization. At present, a human-in-the-loop technique is more suitable for performing manual checks to identify inconsistencies in the generated summaries.
Abstract（参考訳）: 判例判断の自動要約は、長く複雑であることが知られているが、伝統的に抽出的な要約モデルによって試みられている。近年,抽象的な要約モデルやLarge Language Model (LLM) などの生成モデルが広く普及している。本稿では,判例判断要約におけるそのようなモデルの適用性について検討する。我々は,英国最高裁判所とインド最高裁判所の2つの判例判決に対して,ドメイン固有の抽象的要約モデルと一般ドメインLLMの抽出的要約モデルを適用し,生成した要約の質を評価した。また、米国政府(US)の報告によると、異なるタイプの法律文書の第3のデータセットの実験も行います。その結果,抽象的な要約モデルやLLMは,要約品質を評価するための従来の指標に比べて,抽出手法よりも優れていた。しかし、詳細な調査は、生成モデルの出力に矛盾と幻覚が存在することを示し、要約における幻覚と不一致を減らす方法を模索している。本研究は, 判例判断要約のための抽象モデルとLLMの信頼性を高めるために, さらなる改善が必要であることを示唆している。現在,提案手法は,生成した要約の不整合を識別する手動チェックを行うのに適している。

関連論文リスト

LexAbSumm: Aspect-based Summarization of Legal Decisions [1.3723120574076126]
LexAbSummは、欧州人権裁判所(European Court of Human Rights)の管轄下にある法的判例決定のアスペクトベースの要約のために設計されたデータセットである。我々は、LexAbSumm上の長いドキュメントに適した抽象的な要約モデルをいくつか評価し、アスペクト固有の要約を生成するためにこれらのモデルを条件付けすることの難しさを明らかにした。
論文参考訳（メタデータ） (2024-03-31T08:00:40Z)
AugSumm: towards generalizable speech summarization using synthetic labels from large language model [61.73741195292997]
抽象音声要約(SSUM)は、音声から人間に似た要約を生成することを目的としている。従来のSSUMモデルは、主に、人間による注釈付き決定論的要約(英語版)を用いて訓練され、評価されている。 AugSummは,人間のアノテータが拡張要約を生成するためのプロキシとして,大規模言語モデル(LLM)を利用する手法である。
論文参考訳（メタデータ） (2024-01-10T18:39:46Z)
Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
論文参考訳（メタデータ） (2023-11-14T03:38:55Z)
Modeling Legal Reasoning: LM Annotation at the Edge of Human Agreement [3.537369004801589]
我々は法学哲学に基づく法学推論の分類について研究する。我々は、ドメインの専門家チームによって注釈付けされた、アメリカ合衆国最高裁判所の歴史的意見の新しいデータセットを使用します。生成モデルは、人間のアノテーションに提示される命令と同等の命令が与えられた場合、性能が良くないことがわかった。
論文参考訳（メタデータ） (2023-10-27T19:27:59Z)
How Ready are Pre-trained Abstractive Models and LLMs for Legal Case Judgement Summarization? [4.721618284417204]
近年、抽象的な要約モデルが人気を集めている。法的なドメイン固有の事前訓練された抽象要約モデルが利用可能になった。汎用ドメイン事前訓練大型言語モデル(LLM)は高品質なテキストを生成することが知られている。
論文参考訳（メタデータ） (2023-06-02T03:16:19Z)
Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling [56.70682379371534]
提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
論文参考訳（メタデータ） (2022-10-22T07:16:19Z)
Legal Case Document Summarization: Extractive and Abstractive Methods and their Evaluation [11.502115682980559]
訴訟判断文書の要約は、法律NLPにおいて難しい問題である。法的事例文書に適用した場合の要約モデルの異なる族がどのように機能するかについては、あまり分析されていない。
論文参考訳（メタデータ） (2022-10-14T05:43:08Z)
Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
論文参考訳（メタデータ） (2020-05-03T18:23:06Z)
Few-Shot Learning for Opinion Summarization [117.70510762845338]
オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
論文参考訳（メタデータ） (2020-04-30T15:37:38Z)
Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文参考訳（メタデータ） (2020-04-21T16:54:57Z)
Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
論文参考訳（メタデータ） (2020-03-19T07:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。