論文の概要: Understanding Factuality in Abstractive Summarization with FRANK: A
Benchmark for Factuality Metrics
- arxiv url: http://arxiv.org/abs/2104.13346v1
- Date: Tue, 27 Apr 2021 17:28:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-28 15:15:15.183759
- Title: Understanding Factuality in Abstractive Summarization with FRANK: A
Benchmark for Factuality Metrics
- Title（参考訳）: frankによる抽象要約における事実性理解--事実性指標のベンチマーク
- Authors: Artidoro Pagnoni, Vidhisha Balachandran, Yulia Tsvetkov
- Abstract要約: 現代の要約モデルは、高度に流れるが、実際には信頼できない出力を生成する。
一般的なベンチマークがないため、自動生成したサマリーの事実性を測定するためのメトリクスを比較することはできない。
我々は,事実誤りの類型を考案し,それを用いて,最先端の要約システムから生成された要約の人間のアノテーションを収集する。
- 参考スコア（独自算出の注目度）: 17.677637487977208
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern summarization models generate highly fluent but often factually
unreliable outputs. This motivated a surge of metrics attempting to measure the
factuality of automatically generated summaries. Due to the lack of common
benchmarks, these metrics cannot be compared. Moreover, all these methods treat
factuality as a binary concept and fail to provide deeper insights into the
kinds of inconsistencies made by different systems. To address these
limitations, we devise a typology of factual errors and use it to collect human
annotations of generated summaries from state-of-the-art summarization systems
for the CNN/DM and XSum datasets. Through these annotations, we identify the
proportion of different categories of factual errors in various summarization
models and benchmark factuality metrics, showing their correlation with human
judgment as well as their specific strengths and weaknesses.
- Abstract（参考訳）: 現代の要約モデルは、非常に流動的であるが、実際は信頼できない出力を生成する。
これにより、自動生成された要約の事実を測ろうとするメトリクスが急増した。
一般的なベンチマークがないため、これらのメトリクスを比較することはできない。
さらに、これらの手法はすべて事実を二元概念として扱い、異なるシステムによってなされる矛盾の種類について深い洞察を与えない。
これらの制約に対処するため,CNN/DMデータセットとXSumデータセットの要約システムから,実ミスのタイプを考案し,生成した要約の人間のアノテーションを収集する。
これらのアノテーションを用いて、様々な要約モデルとベンチマーク事実性指標の異なるカテゴリーの事実誤りの比率を同定し、人間の判断とそれらの特定の強みと弱みとの相関を示す。
関連論文リスト
- FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。
FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。
我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
論文 参考訳（メタデータ） (2024-03-04T17:57:18Z) - Interpretable Automatic Fine-grained Inconsistency Detection in Text
Summarization [56.94741578760294]
本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。
要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
論文 参考訳（メタデータ） (2023-05-23T22:11:47Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Correcting Diverse Factual Errors in Abstractive Summarization via
Post-Editing and Language Model Infilling [56.70682379371534]
提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。
我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
論文 参考訳（メタデータ） (2022-10-22T07:16:19Z) - Understanding Factual Errors in Summarization: Errors, Summarizers,
Datasets, Error Detectors [105.12462629663757]
本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。
本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
論文 参考訳（メタデータ） (2022-05-25T15:26:48Z) - Spurious Correlations in Reference-Free Evaluation of Text Generation [35.80256755393739]
本研究では,要約とダイアログ生成の基準フリー評価指標が,単語重複,パープレキシティ,長さなどの指標と急激な相関に依拠していることを示す。
評価指標を明示的に設計し,参照不要な評価の急激な特徴を避けることで,これらの誤差を軽減できることを実証する。
論文 参考訳（メタデータ） (2022-04-21T05:32:38Z) - TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。
我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。
さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
論文 参考訳（メタデータ） (2022-04-11T10:14:35Z) - CONFIT: Toward Faithful Dialogue Summarization with
Linguistically-Informed Contrastive Fine-tuning [5.389540975316299]
生成された要約における現実的な矛盾は、抽象的な対話要約の実践的応用を著しく制限する。
本稿では,エラーのタイプを強調し,事実性に対する二項的理解から遠ざかるために,アノテーションデータを用いた事実的エラーのタイプ分析を行う。
本稿では,ConFiTと呼ばれる新しいコントラスト微調整手法により,要約の事実整合性と全体的な品質を改善するためのトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2021-12-16T09:08:40Z) - Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。
我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。
実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
論文 参考訳（メタデータ） (2020-10-06T02:51:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。