論文の概要: LongDocFACTScore: Evaluating the Factuality of Long Document Abstractive Summarisation

• arxiv url: http://arxiv.org/abs/2309.12455v2
• Date: Tue, 28 May 2024 08:26:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 04:26:52.958939
• Title: LongDocFACTScore: Evaluating the Factuality of Long Document Abstractive Summarisation
• Title（参考訳）: LongDocFACTScore:ロングドキュメント抽象要約の現実性を評価する
• Authors: Jennifer A Bishop, Qianqian Xie, Sophia Ananiadou,
• Abstract要約: 長文要約の事実整合性を評価するための自動測度の有効性を評価する。 本稿では,文書要約データセットの評価に適した新しい評価フレームワークであるLongDocFACTScoreを提案する。
• 参考スコア（独自算出の注目度）: 28.438103177230477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Maintaining factual consistency is a critical issue in abstractive text summarisation, however, it cannot be assessed by traditional automatic metrics used for evaluating text summarisation, such as ROUGE scoring. Recent efforts have been devoted to developing improved metrics for measuring factual consistency using pre-trained language models, but these metrics have restrictive token limits, and are therefore not suitable for evaluating long document text summarisation. Moreover, there is limited research and resources available for evaluating whether existing automatic evaluation metrics are fit for purpose when applied in long document settings. In this work, we evaluate the efficacy of automatic metrics for assessing the factual consistency of long document text summarisation. We create a human-annotated data set for evaluating automatic factuality metrics, LongSciVerify, which contains fine-grained factual consistency annotations for long document summaries from the scientific domain. We also propose a new evaluation framework, LongDocFACTScore, which is suitable for evaluating long document summarisation. This framework allows metrics to be efficiently extended to any length document and outperforms existing state-of-the-art metrics in its ability to correlate with human measures of factuality when used to evaluate long document summarisation data sets. We make our code and LongSciVerify data set publicly available: https://github.com/jbshp/LongDocFACTScore.
• Abstract（参考訳）: 事実整合性を維持することは抽象的なテキスト要約において重要な問題であるが、ROUGEスコアなどのテキスト要約を評価するために使用される従来の自動メトリクスでは評価できない。 近年,事前訓練された言語モデルを用いて,事実整合性を測定するための指標の改良に力を入れているが,これらの指標には制限的なトークン制限があり,長文の要約評価には適していない。 さらに、長期文書設定に適用した場合、既存の自動評価指標が目的に適合するかどうかを評価するための研究や資源も限られている。 本研究では,長文要約の事実整合性を評価するための自動測度の有効性を評価する。 我々は、科学的領域からの長文要約のためのきめ細かい事実整合アノテーションを含む、自動事実性メトリクスを評価するための人間アノテーション付きデータセット、LongSciVerifyを作成します。 また,長文要約評価に適した新しい評価フレームワークであるLongDocFACTScoreを提案する。 このフレームワークは、メトリクスを任意の長さのドキュメントに効率的に拡張し、長いドキュメントの要約データセットを評価する際に、人間の事実の尺度と相関する能力において、既存の最先端のメトリクスより優れている。 コードとLongSciVerifyデータセットを公開しています。

関連論文リスト

• FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
  自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。 我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
  論文  参考訳（メタデータ） (2024-03-04T17:57:18Z)
• Unlocking Structure Measuring: Introducing PDD, an Automatic Metric for Positional Discourse Coherence [39.065349875944634]
  本稿では,2つの長文間の談話の相違を定量化する手法を提案する。 ヒトの嗜好やGPT-4のコヒーレンス評価とより密接に一致し,既存の評価方法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-15T18:23:39Z)
• Evaluating Code Summarization Techniques: A New Metric and an Empirical Characterization [16.127739014966487]
  生成した要約の質を計測する際の様々な種類の指標の相補性について検討する。 我々は,その側面を捉えるために,コントラスト学習に基づく新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-12-24T13:12:39Z)
• Evaluating and Improving Factuality in Multimodal Abstractive Summarization [91.46015013816083]
  そこで我々は,CLIPBERTScoreを提案する。 ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。 本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
  論文  参考訳（メタデータ） (2022-11-04T16:50:40Z)
• How Far are We from Robust Long Abstractive Summarization? [39.34743996451813]
  我々は、信頼できる要約を生成するために、長い文書抽象要約システム(モデルとメトリクス)を実装して評価する。 長期の文書評価指標について,人間の評価結果から,ROUGEは要約の関連性を評価する上で最善であることが明らかとなった。 我々は、より広い範囲の要約設定でメトリクスの開発に貢献できることを願って、注釈付き長いドキュメントデータセットをリリースします。
  論文  参考訳（メタデータ） (2022-10-30T03:19:50Z)
• On the Limitations of Reference-Free Evaluations of Generated Text [64.81682222169113]
  基準のないメトリクスは本質的にバイアスがあり、生成したテキストを評価する能力に制限があることを示す。 機械翻訳や要約といったタスクの進捗を計測するために使用するべきではない、と我々は主張する。
  論文  参考訳（メタデータ） (2022-10-22T22:12:06Z)
• SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
  本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。 文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。 この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
  論文  参考訳（メタデータ） (2022-08-01T17:58:05Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)
• Re-evaluating Evaluation in Text Summarization [77.4601291738445]
  トップスコアシステム出力を用いたテキスト要約の評価手法を再評価する。 古いデータセットにおける評価指標に関する結論は、現代データセットやシステムに必ずしも当てはまらない。
  論文  参考訳（メタデータ） (2020-10-14T13:58:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。