Fugu-MT 論文翻訳(概要): MixSumm: Topic-based Data Augmentation using LLMs for Low-resource Extractive Text Summarization

論文の概要: MixSumm: Topic-based Data Augmentation using LLMs for Low-resource Extractive Text Summarization

arxiv url: http://arxiv.org/abs/2407.07341v1
Date: Wed, 10 Jul 2024 03:25:47 GMT
ステータス: 処理完了
システム内更新日: 2024-07-11 18:01:18.551770
Title: MixSumm: Topic-based Data Augmentation using LLMs for Low-resource Extractive Text Summarization
Title（参考訳）: MixSumm:低リソース抽出テキスト要約のためのLLMを用いたトピックベースのデータ拡張
Authors: Gaurav Sahu, Issam H. Laradji,
Abstract要約: 低リソース抽出テキスト要約のためのMixSummを提案する。具体的には、MixSummはオープンソースのLLMであるLLaMA-3-70bを推進し、複数のトピックから情報を混合するドキュメントを生成する。 ROUGEスコアとL-Eval(参照不要LLaMA-3に基づく評価法)を用いて,生成された要約の質を測定した。
参考スコア（独自算出の注目度）: 8.432813041805831
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-resource extractive text summarization is a vital but heavily underexplored area of research. Prior literature either focuses on abstractive text summarization or prompts a large language model (LLM) like GPT-3 directly to generate summaries. In this work, we propose MixSumm for low-resource extractive text summarization. Specifically, MixSumm prompts an open-source LLM, LLaMA-3-70b, to generate documents that mix information from multiple topics as opposed to generating documents without mixup, and then trains a summarization model on the generated dataset. We use ROUGE scores and L-Eval, a reference-free LLaMA-3-based evaluation method to measure the quality of generated summaries. We conduct extensive experiments on a challenging text summarization benchmark comprising the TweetSumm, WikiHow, and ArXiv/PubMed datasets and show that our LLM-based data augmentation framework outperforms recent prompt-based approaches for low-resource extractive summarization. Additionally, our results also demonstrate effective knowledge distillation from LLaMA-3-70b to a small BERT-based extractive summarizer.
Abstract（参考訳）: 低リソースの抽出テキスト要約は、重要な研究の分野であるが、過小評価されている分野である。以前の文献は抽象的なテキスト要約に焦点を当てるか、GPT-3のような大きな言語モデル(LLM)を直接的に生成するよう促す。本研究では,低リソース抽出テキスト要約のためのMixSummを提案する。具体的には、MixSummはオープンソースのLLMであるLLaMA-3-70bに、ミックスアップせずに文書を生成するのではなく、複数のトピックから情報を混合するドキュメントを生成し、生成したデータセット上で要約モデルをトレーニングする。 ROUGEスコアとL-Eval(参照不要LLaMA-3に基づく評価法)を用いて,生成された要約の質を測定した。我々は、TweetSumm、WikiHow、ArXiv/PubMedデータセットからなる挑戦的なテキスト要約ベンチマークについて広範な実験を行い、LLMベースのデータ拡張フレームワークが、最近の低リソース抽出要約におけるプロンプトベースのアプローチよりも優れていることを示す。また, LLaMA-3-70bから小BERT抽出要約器への効果的な知識蒸留も行った。

関連論文リスト

Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
論文参考訳（メタデータ） (2024-07-05T20:25:04Z)
LaMSUM: A Novel Framework for Extractive Summarization of User Generated Content using LLMs [6.770555526416268]
大規模言語モデル(LLM)は、要約を含む幅広いNLPタスクにおいて、印象的なパフォーマンスを示している。投票アルゴリズムを活用して,LLMから抽出要約を生成する新しいフレームワークLaMSUMを提案する。 Llama 3 と Mixtral と Gemini の3つのオープンソース LLM について評価した結果,LaMSUM は最先端の抽出要約法より優れていることがわかった。
論文参考訳（メタデータ） (2024-06-22T10:25:55Z)
TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。本手法は,様々なベンチマーク上での局所モデル性能を向上させる。また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
論文参考訳（メタデータ） (2024-03-15T14:36:38Z)
Source Identification in Abstractive Summarization [0.8883733362171033]
生成された要約文に必須情報を含む入力文を$textitsource文として定義し、ソース文を解析して抽象的な要約がどのように作られるかを研究する。我々は,複数の手法を比較し,タスクの強いベースラインを確立するために,自動ソース文検出を定式化する。実験結果から, パープレキシティに基づく手法は, 比較的抽象的条件下では良好に動作し, 類似性に基づく手法は比較的抽出的条件下では頑健であることがわかった。
論文参考訳（メタデータ） (2024-02-07T09:09:09Z)
Consistency Guided Knowledge Retrieval and Denoising in LLMs for Zero-shot Document-level Relation Triplet Extraction [43.50683283748675]
文書レベルの関係トリプルト抽出(DocRTE)は、文書から意味的関係を持つエンティティを同時に抽出することを目的とした情報システムの基本課題である。既存の手法は、かなりの量の完全なラベル付きデータに依存している。 ChatGPTやLLaMAのような最近の先進言語モデル(LLM)は、素晴らしい長文生成能力を示している。
論文参考訳（メタデータ） (2024-01-24T17:04:28Z)
LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
論文参考訳（メタデータ） (2023-11-15T19:52:11Z)
BooookScore: A systematic exploration of book-length summarization in the era of LLMs [53.42917858142565]
我々は,識別されたエラータイプを一切含まない要約文の割合を計測する自動測度BooookScoreを開発した。 GPT-4 や 2 のようなクローズドソース LLM は,オープンソースモデルよりも BooookScore の高いサマリーを生成することがわかった。
論文参考訳（メタデータ） (2023-10-01T20:46:44Z)
Summarization is (Almost) Dead [49.360752383801305]
我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
論文参考訳（メタデータ） (2023-09-18T08:13:01Z)
Generating EDU Extracts for Plan-Guided Summary Re-Ranking [77.7752504102925]
要約候補を生成して1つの要約を返す2段階のアプローチでは、標準的な単一ステップアプローチよりもROUGEスコアを改善することができる。これらの問題に対処する再ランク付け候補を生成するための新しい手法を設計する。広く使われている単一文書ニュース記事コーパスにおいて,以前に公表された手法よりも大きな関連性を示した。
論文参考訳（メタデータ） (2023-05-28T17:22:04Z)
Element-aware Summarization with Large Language Models: Expert-aligned Evaluation and Chain-of-Thought Method [35.181659789684545]
自動要約は、ソースドキュメントのキーアイデアを含む簡潔な要約を生成する。 CNN/DailyMailやBBC XSumからの引用は、主に幻覚と情報冗長性の点で騒々しい。本稿では,LCMを段階的に生成するためにSumCoT(Slide Chain-of-Thought)手法を提案する。実験結果から, ROUGE-L では, 最先端の微調整 PLM とゼロショット LLM を+4.33/+4.77 で上回った。
論文参考訳（メタデータ） (2023-05-22T18:54:35Z)
Topic Modeling Based Extractive Text Summarization [0.0]
本稿では,潜在トピックに基づいて内容をクラスタリングすることで,テキストを要約する新しい手法を提案する。我々は、テキスト要約へのアプローチにおいて、より使用量が少なく挑戦的なWikiHowデータセットを活用している。
論文参考訳（メタデータ） (2021-06-29T12:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。