論文の概要: Hybrid Long Document Summarization using C2F-FAR and ChatGPT: A Practical Study

• arxiv url: http://arxiv.org/abs/2306.01169v1
• Date: Thu, 1 Jun 2023 21:58:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 17:31:48.480349
• Title: Hybrid Long Document Summarization using C2F-FAR and ChatGPT: A Practical Study
• Title（参考訳）: C2F-FARとChatGPTを用いたハイブリッド長文要約 : 実践的研究
• Authors: Guang Lu, Sylvia B. Larcher, Tu Tran
• Abstract要約: ChatGPTは、大規模言語モデル(LLM)分野における最新のブレークスルーである。 本稿では,ビジネス記事や書籍などの長い文書のハイブリッド抽出と要約パイプラインを提案する。 以上の結果から,ChatGPTの使用は長文を要約するための非常に有望なアプローチであるが,まだ成熟していないことが示唆された。
• 参考スコア（独自算出の注目度）: 1.933681537640272
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Text summarization is a downstream natural language processing (NLP) task that challenges the understanding and generation capabilities of language models. Considerable progress has been made in automatically summarizing short texts, such as news articles, often leading to satisfactory results. However, summarizing long documents remains a major challenge. This is due to the complex contextual information in the text and the lack of open-source benchmarking datasets and evaluation frameworks that can be used to develop and test model performance. In this work, we use ChatGPT, the latest breakthrough in the field of large language models (LLMs), together with the extractive summarization model C2F-FAR (Coarse-to-Fine Facet-Aware Ranking) to propose a hybrid extraction and summarization pipeline for long documents such as business articles and books. We work with the world-renowned company getAbstract AG and leverage their expertise and experience in professional book summarization. A practical study has shown that machine-generated summaries can perform at least as well as human-written summaries when evaluated using current automated evaluation metrics. However, a closer examination of the texts generated by ChatGPT through human evaluations has shown that there are still critical issues in terms of text coherence, faithfulness, and style. Overall, our results show that the use of ChatGPT is a very promising but not yet mature approach for summarizing long documents and can at best serve as an inspiration for human editors. We anticipate that our work will inform NLP researchers about the extent to which ChatGPT's capabilities for summarizing long documents overlap with practitioners' needs. Further work is needed to test the proposed hybrid summarization pipeline, in particular involving GPT-4, and to propose a new evaluation framework tailored to the task of summarizing long documents.
• Abstract（参考訳）: テキスト要約は、言語モデルの理解と生成能力に挑戦する下流自然言語処理(NLP)タスクである。 ニュース記事のような短い文章を自動的に要約することでかなりの進歩があり、しばしば満足のいく結果に繋がる。 しかし、長い文書の要約は依然として大きな課題である。 これは、テキスト内の複雑なコンテキスト情報と、モデルパフォーマンスの開発とテストに使用できるオープンソースのベンチマークデータセットや評価フレームワークが欠如していることによるものだ。 本研究では,大規模言語モデル(LLM)分野における最新のブレークスルーであるChatGPTと,抽出要約モデルC2F-FAR(Coarse-to-Fine Facet-Aware Ranking)を併用して,ビジネス記事や書籍などの長期文書を対象としたハイブリッド抽出と要約パイプラインを提案する。 私たちは世界有数の企業である getAbstract AG と協力して,専門的な書籍要約の専門知識と経験を活用しています。 実践的な研究により,現在の自動評価指標を用いて評価すると,機械生成サマリーは少なくとも人書きサマリーと同等の性能を発揮することが示されている。 しかし,ChatGPTが人間による評価を通じて生成したテキストについてより精査した結果,テキストのコヒーレンス,忠実性,スタイルにはまだ重要な問題があることが判明した。 以上の結果から,ChatGPTの使用は長い文書を要約するための非常に有望なアプローチであり,人間の編集者のインスピレーションとなることが示唆された。 我々は,長い文書を要約するChatGPTの能力が,実践者のニーズとどのように重複しているかを,NLP研究者に知らせることを期待している。 提案したハイブリッド要約パイプライン(特にGPT-4を含む)のテストや,長い文書の要約作業に適した新たな評価フレームワークの提案には,さらなる作業が必要である。

関連論文リスト

• Leveraging Large Language Models for Comparative Literature Summarization with Reflective Incremental Mechanisms [44.99833362998488]
  ChatCiteは、比較文学要約を生成するために大きな言語モデル(LLM)を利用する新しい方法である。 注釈付き要約付き1000の研究論文からなるカスタムデータセットCompLit-LongContext上でChatCiteを評価する。
  論文  参考訳（メタデータ） (2024-12-03T04:09:36Z)
• Integrating Planning into Single-Turn Long-Form Text Generation [66.08871753377055]
  長文コンテンツを生成するための計画案を提案する。 私たちの主な新規性は、複数のプロンプトや計画のラウンドを必要としない単一の補助的なタスクにあります。 実験では,LLMを補助タスクで微調整し,高品質な文書を生成する,異なる領域からの2つのデータセットを実証した。
  論文  参考訳（メタデータ） (2024-10-08T17:02:40Z)
• Write Summary Step-by-Step: A Pilot Study of Stepwise Summarization [48.57273563299046]
  本稿では,新たな文書が提案されるたびに追加の要約を生成するステップワイド要約の課題を提案する。 追加された要約は、新たに追加されたコンテンツを要約するだけでなく、以前の要約と一貫性を持たなければならない。 SSGは,自動計測と人的評価の両面から,最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2024-06-08T05:37:26Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Investigating Consistency in Query-Based Meeting Summarization: A Comparative Study of Different Embedding Methods [0.0]
  テキスト要約は自然言語処理(NLP)分野における有名な応用の1つである。 与えられたコンテキストに基づいて重要な情報による要約を自動的に生成することを目的としている。 本稿では,Microsoft が提案した "QMSum: A New Benchmark for Query-based Multi-domain Meeting Summarization" に着想を得た。 また,提案するLocaterモデルを用いて,与えられたテキストとクエリに基づいて関連するスパンを抽出し,それをSummarizerモデルで要約する。
  論文  参考訳（メタデータ） (2024-02-10T08:25:30Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• ChatGPT vs State-of-the-Art Models: A Benchmarking Study in Keyphrase Generation Task [0.0]
  ChatGPTを含むトランスフォーマーベースの言語モデルは、様々な自然言語生成タスクにおいて例外的な性能を示した。 本研究は、ChatGPTのキーフレーズ生成性能と最先端モデルを比較し、この分野における2つの重要な課題に対する解決策としての可能性をテストする。
  論文  参考訳（メタデータ） (2023-04-27T13:25:43Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Lay Text Summarisation Using Natural Language Processing: A Narrative Literature Review [1.8899300124593648]
  本研究の目的は, テキスト要約の手法を記述し, 比較することである。 私たちは82の記事をスクリーニングし、同じデータセットを使用して2020年から2021年の間に8つの関連論文を公開しました。 ハイブリッドアプローチにおける抽出的および抽象的要約法の組み合わせが最も有効であることが判明した。
  論文  参考訳（メタデータ） (2023-03-24T18:30:50Z)
• Exploring the Limits of ChatGPT for Query or Aspect-based Text Summarization [28.104696513516117]
  GPT3やChatGPTのような大規模言語モデル(LLM)は、テキスト要約タスクにこれらのモデルを使用することに大きな関心を寄せている。 最近の研究では、zhang2023ベンチマーキング(zhang2023benchmarking)は、LLMの生成するニュースサマリーがすでに人間と同等であることを示している。 実験の結果,ChatGPTの性能はルージュスコアの点で従来の微調整手法に匹敵することがわかった。
  論文  参考訳（メタデータ） (2023-02-16T04:41:30Z)
• From Standard Summarization to New Tasks and Beyond: Summarization with Manifold Information [77.89755281215079]
  テキスト要約は、原文書の短く凝縮した版を作成することを目的とした研究分野である。 現実世界のアプリケーションでは、ほとんどのデータは平易なテキスト形式ではない。 本稿では,現実のアプリケーションにおけるこれらの新しい要約タスクとアプローチについて調査する。
  論文  参考訳（メタデータ） (2020-05-10T14:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。