論文の概要: MixSumm: Topic-based Data Augmentation using LLMs for Low-resource Extractive Text Summarization
- arxiv url: http://arxiv.org/abs/2407.07341v1
- Date: Wed, 10 Jul 2024 03:25:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 18:01:18.551770
- Title: MixSumm: Topic-based Data Augmentation using LLMs for Low-resource Extractive Text Summarization
- Title（参考訳）: MixSumm:低リソース抽出テキスト要約のためのLLMを用いたトピックベースのデータ拡張
- Authors: Gaurav Sahu, Issam H. Laradji,
- Abstract要約: 低リソース抽出テキスト要約のためのMixSummを提案する。
具体的には、MixSummはオープンソースのLLMであるLLaMA-3-70bを推進し、複数のトピックから情報を混合するドキュメントを生成する。
ROUGEスコアとL-Eval(参照不要LLaMA-3に基づく評価法)を用いて,生成された要約の質を測定した。
- 参考スコア（独自算出の注目度）: 8.432813041805831
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-resource extractive text summarization is a vital but heavily underexplored area of research. Prior literature either focuses on abstractive text summarization or prompts a large language model (LLM) like GPT-3 directly to generate summaries. In this work, we propose MixSumm for low-resource extractive text summarization. Specifically, MixSumm prompts an open-source LLM, LLaMA-3-70b, to generate documents that mix information from multiple topics as opposed to generating documents without mixup, and then trains a summarization model on the generated dataset. We use ROUGE scores and L-Eval, a reference-free LLaMA-3-based evaluation method to measure the quality of generated summaries. We conduct extensive experiments on a challenging text summarization benchmark comprising the TweetSumm, WikiHow, and ArXiv/PubMed datasets and show that our LLM-based data augmentation framework outperforms recent prompt-based approaches for low-resource extractive summarization. Additionally, our results also demonstrate effective knowledge distillation from LLaMA-3-70b to a small BERT-based extractive summarizer.
- Abstract（参考訳）: 低リソースの抽出テキスト要約は、重要な研究の分野であるが、過小評価されている分野である。
以前の文献は抽象的なテキスト要約に焦点を当てるか、GPT-3のような大きな言語モデル(LLM)を直接的に生成するよう促す。
本研究では,低リソース抽出テキスト要約のためのMixSummを提案する。
具体的には、MixSummはオープンソースのLLMであるLLaMA-3-70bに、ミックスアップせずに文書を生成するのではなく、複数のトピックから情報を混合するドキュメントを生成し、生成したデータセット上で要約モデルをトレーニングする。
ROUGEスコアとL-Eval(参照不要LLaMA-3に基づく評価法)を用いて,生成された要約の質を測定した。
我々は、TweetSumm、WikiHow、ArXiv/PubMedデータセットからなる挑戦的なテキスト要約ベンチマークについて広範な実験を行い、LLMベースのデータ拡張フレームワークが、最近の低リソース抽出要約におけるプロンプトベースのアプローチよりも優れていることを示す。
また, LLaMA-3-70bから小BERT抽出要約器への効果的な知識蒸留も行った。
関連論文リスト
- Redefining Simplicity: Benchmarking Large Language Models from Lexical to Document Simplification [21.727596753351072]
テキスト単純化(英: Text simplification, TS)とは、テキストの複雑さを減らし、本来の意味とキー情報を保持する過程である。
既存の研究は、大きな言語モデル(LLM)が、文の単純化に関する非LLMベースの手法よりも優れていることを示しているだけである。
論文 参考訳（メタデータ） (2025-02-12T10:38:22Z) - Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing [37.400757839157116]
大言語モデル(LLM)は、与えられた記事に対する抽象的な要約のゼロショット生成において最先端のパフォーマンスを達成した。
本稿では,LLMのロバスト性を測定するためのシンプルな戦略であるrelevance paraphrasingを提案する。
論文 参考訳（メタデータ） (2024-06-06T12:08:43Z) - Evaluating Large Language Models for Health-Related Text Classification Tasks with Public Social Media Data [3.9459077974367833]
大規模言語モデル(LLM)は、NLPタスクにおいて顕著な成功を収めた。
我々は、サポートベクトルマシン(SVM)に基づく教師付き古典機械学習モデルと、RoBERTa、BERTweet、SocBERTに基づく3つの教師付き事前訓練言語モデル(PLM)と、6つのテキスト分類タスクで2つのLLMベースの分類器(GPT3.5、GPT4)をベンチマークした。
LLM(GPT-4)を用いた軽量教師付き分類モデルの訓練には,比較的小さな人手によるデータ拡張(GPT-4)が有効であることを示す総合的な実験を行った。
論文 参考訳（メタデータ） (2024-03-27T22:05:10Z) - TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。
本手法は,様々なベンチマーク上での局所モデル性能を向上させる。
また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
論文 参考訳（メタデータ） (2024-03-15T14:36:38Z) - Found in the Middle: How Language Models Use Long Contexts Better via
Plug-and-Play Positional Encoding [78.36702055076456]
本稿では,マルチスケール位置決めについて紹介する。
(Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。
LLMはコンテキストの中央に位置する関連情報を扱う。
論文 参考訳（メタデータ） (2024-03-05T04:58:37Z) - Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。
本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
論文 参考訳（メタデータ） (2023-11-15T18:25:26Z) - BooookScore: A systematic exploration of book-length summarization in the era of LLMs [53.42917858142565]
我々は,識別されたエラータイプを一切含まない要約文の割合を計測する自動測度BooookScoreを開発した。
GPT-4 や 2 のようなクローズドソース LLM は,オープンソースモデルよりも BooookScore の高いサマリーを生成することがわかった。
論文 参考訳（メタデータ） (2023-10-01T20:46:44Z) - Summarization is (Almost) Dead [49.360752383801305]
我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。
本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
論文 参考訳（メタデータ） (2023-09-18T08:13:01Z) - On Learning to Summarize with Large Language Models as References [101.79795027550959]
大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。
より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
論文 参考訳（メタデータ） (2023-05-23T16:56:04Z) - Element-aware Summarization with Large Language Models: Expert-aligned
Evaluation and Chain-of-Thought Method [35.181659789684545]
自動要約は、ソースドキュメントのキーアイデアを含む簡潔な要約を生成する。
CNN/DailyMailやBBC XSumからの引用は、主に幻覚と情報冗長性の点で騒々しい。
本稿では,LCMを段階的に生成するためにSumCoT(Slide Chain-of-Thought)手法を提案する。
実験結果から, ROUGE-L では, 最先端の微調整 PLM とゼロショット LLM を+4.33/+4.77 で上回った。
論文 参考訳（メタデータ） (2023-05-22T18:54:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。