論文の概要: Utilizing GPT to Enhance Text Summarization: A Strategy to Minimize Hallucinations
- arxiv url: http://arxiv.org/abs/2405.04039v1
- Date: Tue, 7 May 2024 06:23:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-05-08 15:18:57.080166
- Title: Utilizing GPT to Enhance Text Summarization: A Strategy to Minimize Hallucinations
- Title(参考訳): GPTによるテキスト要約の強化 : 幻覚を最小化するための戦略
- Authors: Hassan Shakil, Zeydy Ortiz, Grant C. Forbes,
- Abstract要約: 我々は,未精算サマリーの評価を行い,精錬後の精錬サマリーについても,従来型および新奇な指標を用いて評価する。
その結果,幻覚内容の減少が顕著に改善し,要約の事実的整合性が向上した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this research, we uses the DistilBERT model to generate extractive summary and the T5 model to generate abstractive summaries. Also, we generate hybrid summaries by combining both DistilBERT and T5 models. Central to our research is the implementation of GPT-based refining process to minimize the common problem of hallucinations that happens in AI-generated summaries. We evaluate unrefined summaries and, after refining, we also assess refined summaries using a range of traditional and novel metrics, demonstrating marked improvements in the accuracy and reliability of the summaries. Results highlight significant improvements in reducing hallucinatory content, thereby increasing the factual integrity of the summaries.
- Abstract(参考訳): 本研究では,DistilBERTモデルを用いて抽出要約を生成するとともに,T5モデルを用いて抽象要約を生成する。
また, DistilBERT モデルと T5 モデルを組み合わせてハイブリッド要約を生成する。
我々の研究の中心は、AI生成サマリーで起こる幻覚の一般的な問題を最小化するために、GPTベースの精錬プロセスの実装である。
我々は,未精錬サマリーの評価を行い,精錬後,精錬サマリーの精度と信頼性が顕著に向上したことを示すとともに,精錬サマリーの評価を行った。
その結果,幻覚内容の減少が顕著に改善し,要約の事実的整合性が向上した。
関連論文リスト
- Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。
Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
論文 参考訳(メタデータ) (2024-07-05T20:25:04Z) - Information-Theoretic Distillation for Reference-less Summarization [67.51150817011617]
本稿では,要約のための情報理論的目的に基づいて,強力な要約器を蒸留する新しい枠組みを提案する。
我々は,教師モデルとしてPythia-2.8Bから出発する。
我々は,ChatGPTと競合する5億8800万のパラメータしか持たないコンパクトだが強力な要約器に到達した。
論文 参考訳(メタデータ) (2024-03-20T17:42:08Z) - AugSumm: towards generalizable speech summarization using synthetic
labels from large language model [61.73741195292997]
抽象音声要約(SSUM)は、音声から人間に似た要約を生成することを目的としている。
従来のSSUMモデルは、主に、人間による注釈付き決定論的要約(英語版)を用いて訓練され、評価されている。
AugSummは,人間のアノテータが拡張要約を生成するためのプロキシとして,大規模言語モデル(LLM)を利用する手法である。
論文 参考訳(メタデータ) (2024-01-10T18:39:46Z) - Enhancing Abstractiveness of Summarization Models through Calibrated
Distillation [30.199051061633803]
DisCalは、情報を犠牲にすることなく抽象性のレベルを高める新しいアプローチである。
以上の結果から,DisCalは従来の抽象的な要約蒸留法よりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2023-10-20T18:43:49Z) - Summarization is (Almost) Dead [49.360752383801305]
我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。
本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
論文 参考訳(メタデータ) (2023-09-18T08:13:01Z) - SummIt: Iterative Text Summarization via ChatGPT [12.966825834765814]
本稿では,ChatGPTのような大規模言語モデルに基づく反復的なテキスト要約フレームワークSummItを提案する。
我々のフレームワークは、自己評価とフィードバックによって生成された要約を反復的に洗練することを可能にする。
また, 繰り返し改良の有効性を検証し, 過補正の潜在的な問題を特定するために, 人間の評価を行う。
論文 参考訳(メタデータ) (2023-05-24T07:40:06Z) - Enriching and Controlling Global Semantics for Text Summarization [11.037667460077813]
トランスフォーマーに基づくモデルは、流動的で情報的な要約を作成することで抽象的な要約タスクに有効であることが証明されている。
文書のグローバルな意味を捉えるために,正規化フローを付与したニューラルトピックモデルを導入し,それを要約モデルに統合する。
本手法は,5つの共通テキスト要約データセットにおいて,最先端の要約モデルより優れる。
論文 参考訳(メタデータ) (2021-09-22T09:31:50Z) - Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。
我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。
実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
論文 参考訳(メタデータ) (2020-10-06T02:51:02Z) - Generating (Factual?) Narrative Summaries of RCTs: Experiments with
Neural Multi-Document Summarization [22.611879349101596]
系統的なレビューから,関連記事の要約を抽象的に要約するために,現代のニューラルモデルを評価する。
現代の要約システムは一貫して流動的で関連するシナプスを生み出すが、必ずしも現実的とは限らない。
論文 参考訳(メタデータ) (2020-08-25T22:22:50Z) - Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。
次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
論文 参考訳(メタデータ) (2020-03-19T07:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。