論文の概要: How Ready are Pre-trained Abstractive Models and LLMs for Legal Case Judgement Summarization?

• arxiv url: http://arxiv.org/abs/2306.01248v2
• Date: Wed, 14 Jun 2023 07:25:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 00:08:41.508551
• Title: How Ready are Pre-trained Abstractive Models and LLMs for Legal Case Judgement Summarization?
• Title（参考訳）: 判例要約のための事前学習された抽象モデルとllmは、どの程度準備ができているか?
• Authors: Aniket Deroy, Kripabandhu Ghosh, Saptarshi Ghosh
• Abstract要約: 近年、抽象的な要約モデルが人気を集めている。 法的なドメイン固有の事前訓練された抽象要約モデルが利用可能になった。 汎用ドメイン事前訓練大型言語モデル(LLM)は高品質なテキストを生成することが知られている。
• 参考スコア（独自算出の注目度）: 4.721618284417204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic summarization of legal case judgements has traditionally been attempted by using extractive summarization methods. However, in recent years, abstractive summarization models are gaining popularity since they can generate more natural and coherent summaries. Legal domain-specific pre-trained abstractive summarization models are now available. Moreover, general-domain pre-trained Large Language Models (LLMs), such as ChatGPT, are known to generate high-quality text and have the capacity for text summarization. Hence it is natural to ask if these models are ready for off-the-shelf application to automatically generate abstractive summaries for case judgements. To explore this question, we apply several state-of-the-art domain-specific abstractive summarization models and general-domain LLMs on Indian court case judgements, and check the quality of the generated summaries. In addition to standard metrics for summary quality, we check for inconsistencies and hallucinations in the summaries. We see that abstractive summarization models generally achieve slightly higher scores than extractive models in terms of standard summary evaluation metrics such as ROUGE and BLEU. However, we often find inconsistent or hallucinated information in the generated abstractive summaries. Overall, our investigation indicates that the pre-trained abstractive summarization models and LLMs are not yet ready for fully automatic deployment for case judgement summarization; rather a human-in-the-loop approach including manual checks for inconsistencies is more suitable at present.
• Abstract（参考訳）: 判例判断の自動要約は伝統的に抽出的要約法を用いて試みられている。 しかし近年では,より自然で一貫性のある要約を生成できるため,抽象要約モデルが普及している。 法的なドメイン固有の事前学習された抽象要約モデルが利用可能である。 さらに、ChatGPTのような汎用ドメイン事前訓練された大規模言語モデル(LLM)は高品質なテキストを生成することで知られており、テキスト要約の能力を持っている。 したがって、これらのモデルが、ケース判断のための抽象的な要約を自動生成するオフザシェルフアプリケーションの準備が整っているかどうかを問うのは自然である。 そこで本研究では,インドの裁判所判決に対して,最先端のドメイン固有抽象要約モデルと一般ドメインLLMを適用し,生成した要約の質を確認する。 要約品質の標準指標に加えて、要約における矛盾や幻覚も確認する。 抽象的な要約モデルでは,ROUGEやBLEUなどの標準要約評価指標を用いて,抽出モデルよりも若干高いスコアが得られる。 しかし、生成した抽象要約には矛盾する情報や幻覚的な情報がしばしば見出される。 全体として,事前学習した抽象要約モデルとLLMは,ケース判断要約のための完全自動展開にはまだ準備が整っていないことが示唆されている。

関連論文リスト

• Applicability of Large Language Models and Generative Models for Legal Case Judgement Summarization [5.0645491201288495]
  近年,抽象的な要約モデルやLarge Language Model (LLM) などの生成モデルが広く普及している。 本稿では,判例判断要約におけるそのようなモデルの適用性について検討する。
  論文  参考訳（メタデータ） (2024-07-06T04:49:40Z)
• AugSumm: towards generalizable speech summarization using synthetic labels from large language model [61.73741195292997]
  抽象音声要約(SSUM)は、音声から人間に似た要約を生成することを目的としている。 従来のSSUMモデルは、主に、人間による注釈付き決定論的要約(英語版)を用いて訓練され、評価されている。 AugSummは,人間のアノテータが拡張要約を生成するためのプロキシとして,大規模言語モデル(LLM)を利用する手法である。
  論文  参考訳（メタデータ） (2024-01-10T18:39:46Z)
• Abstractive Text Summarization Using the BRIO Training Paradigm [2.102846336724103]
  本稿では,事前学習した言語モデルを微調整することで抽象要約を改善する手法を提案する。 VieSumと呼ばれるベトナム語のためのテキスト要約データセットを構築します。 我々は、CNNDMとVieSumデータセット上でBRIOパラダイムで訓練された抽象的な要約モデルを用いて実験を行う。
  論文  参考訳（メタデータ） (2023-05-23T05:09:53Z)
• Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling [56.70682379371534]
  提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。 我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
  論文  参考訳（メタデータ） (2022-10-22T07:16:19Z)
• Abstractive Query Focused Summarization with Query-Free Resources [60.468323530248945]
  本稿では,汎用的な要約リソースのみを利用して抽象的なqfsシステムを構築する問題を考える。 本稿では,要約とクエリのための新しい統一表現からなるMasked ROUGE回帰フレームワークであるMargeを提案する。 最小限の監視から学習したにもかかわらず,遠隔管理環境において最先端の結果が得られた。
  論文  参考訳（メタデータ） (2020-12-29T14:39:35Z)
• Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation [93.87095877617968]
  本稿では,抽象要約の現実的一貫性を保ちつつ,制約付き抽象要約(CAS)を提案する。 我々は、CASを満たすために、一般的に自己回帰生成モデルに適用される語彙制約付き復号法を採用する。 対話的要約において1つの手動制約のみを使用する場合、最大13.8ROUGE-2ゲインを観測する。
  論文  参考訳（メタデータ） (2020-10-24T00:27:44Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• Generating (Factual?) Narrative Summaries of RCTs: Experiments with Neural Multi-Document Summarization [22.611879349101596]
  系統的なレビューから,関連記事の要約を抽象的に要約するために,現代のニューラルモデルを評価する。 現代の要約システムは一貫して流動的で関連するシナプスを生み出すが、必ずしも現実的とは限らない。
  論文  参考訳（メタデータ） (2020-08-25T22:22:50Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。