論文の概要: Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs

• arxiv url: http://arxiv.org/abs/2407.04855v1
• Date: Fri, 5 Jul 2024 20:25:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 22:16:57.738589
• Title: Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs
• Title（参考訳）: 抽出要約におけるコヒーレンス向上に向けて:LLMを用いたデータセットと実験
• Authors: Mihir Parmar, Hanieh Deilamsalehy, Franck Dernoncourt, Seunghyun Yoon, Ryan A. Rossi, Trung Bui,
• Abstract要約: 我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
• 参考スコア（独自算出の注目度）: 70.15262704746378
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Extractive summarization plays a pivotal role in natural language processing due to its wide-range applications in summarizing diverse content efficiently, while also being faithful to the original content. Despite significant advancement achieved in extractive summarization by Large Language Models (LLMs), these summaries frequently exhibit incoherence. An important aspect of the coherent summary is its readability for intended users. Although there have been many datasets and benchmarks proposed for creating coherent extractive summaries, none of them currently incorporate user intent to improve coherence in extractive summarization. Motivated by this, we propose a systematically created human-annotated dataset consisting of coherent summaries for five publicly available datasets and natural language user feedback, offering valuable insights into how to improve coherence in extractive summaries. We utilize this dataset for aligning LLMs through supervised fine-tuning with natural language human feedback to enhance the coherence of their generated summaries. Preliminary experiments with Falcon-40B and Llama-2-13B show significant performance improvements (~10% Rouge-L) in terms of producing coherent summaries. We further utilize human feedback to benchmark results over instruction-tuned models such as FLAN-T5 which resulted in several interesting findings. Data and source code are available at https://github.com/Mihir3009/Extract-AI.
• Abstract（参考訳）: 抽出的要約は、多様なコンテンツを効率的に要約する広範囲の応用により、自然言語処理において重要な役割を担っている。 大規模言語モデル (LLM) による抽出要約において, 顕著な進歩があったにもかかわらず, これらの要約は不整合性を示すことが多い。 コヒーレントな要約の重要な側面は、意図されたユーザに対する可読性である。 コヒーレントな抽出要約を作成するために多くのデータセットやベンチマークが提案されているが、そのどれも現在、抽出要約におけるコヒーレンスを改善するためにユーザー意図を取り入れていない。 そこで本研究では,5つの公開データセットのコヒーレント・サマリーと自然言語ユーザフィードバックからなる体系的に作成された人間アノテーションデータセットを提案し,抽出サマリーのコヒーレンスを改善する方法について貴重な知見を提供する。 我々は,このデータセットを自然言語の人間のフィードバックを教師付き微調整することで,LLMの整合性を高めるために利用した。 Falcon-40BとLlama-2-13Bによる予備実験では、コヒーレントなサマリーの生成において、大幅な性能向上(約10%ルージュ-L)が見られた。 さらに、FLAN-T5のような命令調整モデルに対して、人間のフィードバックを用いて結果をベンチマークし、いくつかの興味深い結果を得た。 データとソースコードはhttps://github.com/Mihir3009/Extract-AIで入手できる。

関連論文リスト

• Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing [37.400757839157116]
  大言語モデル(LLM)は、与えられた記事に対する抽象的な要約のゼロショット生成において最先端のパフォーマンスを達成した。 本稿では,LLMのロバスト性を測定するためのシンプルな戦略であるrelevance paraphrasingを提案する。
  論文  参考訳（メタデータ） (2024-06-06T12:08:43Z)
• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• Summarization is (Almost) Dead [49.360752383801305]
  我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。 本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
  論文  参考訳（メタデータ） (2023-09-18T08:13:01Z)
• Element-aware Summarization with Large Language Models: Expert-aligned Evaluation and Chain-of-Thought Method [35.181659789684545]
  自動要約は、ソースドキュメントのキーアイデアを含む簡潔な要約を生成する。 CNN/DailyMailやBBC XSumからの引用は、主に幻覚と情報冗長性の点で騒々しい。 本稿では,LCMを段階的に生成するためにSumCoT(Slide Chain-of-Thought)手法を提案する。 実験結果から, ROUGE-L では, 最先端の微調整 PLM とゼロショット LLM を+4.33/+4.77 で上回った。
  論文  参考訳（メタデータ） (2023-05-22T18:54:35Z)
• Extractive Summarization via ChatGPT for Faithful Summary Generation [12.966825834765814]
  本稿では,抽出要約におけるChatGPTの性能について,徹底的に評価する。 また,ChatGPTは既存の教師付きシステムと比較して,ROUGEスコアにおいて劣る抽出総和性能を示した。 ChatGPTを用いた抽出列生成パイプラインの適用は、要約忠実度の観点から抽象的ベースラインよりも大幅に性能が向上する。
  論文  参考訳（メタデータ） (2023-04-09T08:26:04Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。