論文の概要: SNaC: Coherence Error Detection for Narrative Summarization
- arxiv url: http://arxiv.org/abs/2205.09641v1
- Date: Thu, 19 May 2022 16:01:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 14:07:24.783286
- Title: SNaC: Coherence Error Detection for Narrative Summarization
- Title（参考訳）: SNaC: ナラティブ要約のためのコヒーレンスエラー検出
- Authors: Tanya Goyal, Junyi Jessy Li, Greg Durrett
- Abstract要約: SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。
本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。
我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
- 参考スコア（独自算出の注目度）: 73.48220043216087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Progress in summarizing long texts is inhibited by the lack of appropriate
evaluation frameworks. When a long summary must be produced to appropriately
cover the facets of that text, that summary needs to present a coherent
narrative to be understandable by a reader, but current automatic and human
evaluation methods fail to identify gaps in coherence. In this work, we
introduce SNaC, a narrative coherence evaluation framework rooted in
fine-grained annotations for long summaries. We develop a taxonomy of coherence
errors in generated narrative summaries and collect span-level annotations for
6.6k sentences across 150 book and movie screenplay summaries. Our work
provides the first characterization of coherence errors generated by
state-of-the-art summarization models and a protocol for eliciting coherence
judgments from crowd annotators. Furthermore, we show that the collected
annotations allow us to train a strong classifier for automatically localizing
coherence errors in generated summaries as well as benchmarking past work in
coherence modeling. Finally, our SNaC framework can support future work in long
document summarization and coherence evaluation, including improved
summarization modeling and post-hoc summary correction.
- Abstract（参考訳）: 長文要約の進展は適切な評価フレームワークの欠如によって抑制される。
テキストの面を適切にカバーするために長い要約を作成しなければならない場合、その要約は読者が理解できる一貫性のある物語を提示する必要があるが、現在の自動的および人的評価法は一貫性のギャップを識別できない。
本研究では,長い要約の細かいアノテーションに根ざした物語コヒーレンス評価フレームワークであるSNaCを紹介する。
生成したナラティブ要約におけるコヒーレンスエラーの分類法を開発し,150冊の書籍および映画脚本要約において6,6k文のスパンレベルアノテーションを収集する。
我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すプロトコルを提供する。
さらに、収集したアノテーションにより、生成した要約中のコヒーレンスエラーを自動的にローカライズし、コヒーレンスモデリングにおける過去の作業をベンチマークする強力な分類器を訓練できることを示す。
最後に、SNaCフレームワークは、文書要約およびコヒーレンス評価における将来の作業を支援することができる。
関連論文リスト
- Lexical Repetitions Lead to Rote Learning: Unveiling the Impact of
Lexical Overlap in Train and Test Reference Summaries [131.80860903537172]
理想的な要約モデルは、roteによる参照トレーニング要約を覚えることなく、新しい要約価値のあるコンテンツに一般化すべきである。
本稿では,参照テストサマリーとトレーニングサマリーの語彙的類似性に基づいて,テストセットを分割し,詳細な評価プロトコルを提案する。
論文 参考訳（メタデータ） (2023-11-15T23:47:53Z) - CoheSentia: A Novel Benchmark of Incremental versus Holistic Assessment
of Coherence in Generated Texts [15.866519123942457]
自動生成テキストの人間知覚コヒーレンスに関する新しいベンチマークである sc CoheSentia を紹介する。
我々のベンチマークには、自動生成および人称注釈付き500の段落が含まれており、それぞれが両方の方法で注釈付けされている。
解析の結果,インクリメンタルモードにおけるアノテータ間の合意は,総合的な代替よりも高いことがわかった。
論文 参考訳（メタデータ） (2023-10-25T03:21:20Z) - SummIt: Iterative Text Summarization via ChatGPT [12.966825834765814]
本稿では,ChatGPTのような大規模言語モデルに基づく反復的なテキスト要約フレームワークSummItを提案する。
我々のフレームワークは、自己評価とフィードバックによって生成された要約を反復的に洗練することを可能にする。
また, 繰り返し改良の有効性を検証し, 過補正の潜在的な問題を特定するために, 人間の評価を行う。
論文 参考訳（メタデータ） (2023-05-24T07:40:06Z) - Interpretable Automatic Fine-grained Inconsistency Detection in Text
Summarization [56.94741578760294]
本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。
要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
論文 参考訳（メタデータ） (2023-05-23T22:11:47Z) - SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。
我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。
DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
論文 参考訳（メタデータ） (2023-01-25T09:33:11Z) - How to Find Strong Summary Coherence Measures? A Toolbox and a
Comparative Study for Summary Coherence Measure Evaluation [3.434197496862117]
球面上での要約コヒーレンスモデリングのための様々な手法を大規模に検討する。
システム内相関とバイアス行列という2つの新しい分析尺度を導入し,コヒーレンス尺度のバイアスを識別し,システムレベルの共同設立者に対して堅牢性を提供する。
現在利用可能な自動コヒーレンス対策はいずれも、すべての評価指標にわたるシステム要約に信頼性の高いコヒーレンススコアを割り当てることはできないが、大規模言語モデルは、異なる要約の長さにわたって一般化する必要があることを考慮すれば、有望な結果を示す。
論文 参考訳（メタデータ） (2022-09-14T09:42:19Z) - Dialogue Summarization with Supporting Utterance Flow Modeling and Fact
Regularization [58.965859508695225]
本稿では、2つの新しいモジュールを用いた対話要約のためのエンドツーエンドニューラルネットワークを提案する。
サポートされた発話フローモデリングは、前者の発話から後者へのフォーカスを円滑にシフトさせることで、コヒーレントな要約を生成するのに役立つ。
事実の正則化は、モデルトレーニング中に生成された要約は、基礎と真実の要約と実際に一致するように促します。
論文 参考訳（メタデータ） (2021-08-03T03:09:25Z) - Controllable Abstractive Dialogue Summarization with Sketch Supervision [56.59357883827276]
本モデルは,最大50.79のROUGE-Lスコアを持つ最大対話要約コーパスSAMSumの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-05-28T19:05:36Z) - Generating (Factual?) Narrative Summaries of RCTs: Experiments with
Neural Multi-Document Summarization [22.611879349101596]
系統的なレビューから,関連記事の要約を抽象的に要約するために,現代のニューラルモデルを評価する。
現代の要約システムは一貫して流動的で関連するシナプスを生み出すが、必ずしも現実的とは限らない。
論文 参考訳（メタデータ） (2020-08-25T22:22:50Z) - SueNes: A Weakly Supervised Approach to Evaluating Single-Document
Summarization via Negative Sampling [25.299937353444854]
本研究は,参照要約の存在を伴わない,弱教師付き要約評価手法に対する概念実証研究である。
既存の要約データセットの大量データは、文書と破損した参照要約とのペアリングによってトレーニングのために変換される。
論文 参考訳（メタデータ） (2020-05-13T15:40:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。