Fugu-MT 論文翻訳(概要): Evaluation of Automatic Text Summarization using Synthetic Facts

論文の概要: Evaluation of Automatic Text Summarization using Synthetic Facts

arxiv url: http://arxiv.org/abs/2204.04869v1
Date: Mon, 11 Apr 2022 05:10:37 GMT
ステータス: 処理完了
システム内更新日: 2022-04-13 04:36:45.242310
Title: Evaluation of Automatic Text Summarization using Synthetic Facts
Title（参考訳）: 合成事実を用いたテキスト自動要約の評価
Authors: Jay Ahn (1), Foaad Khosmood (1) ((1) California Polytechnic State University, San Luis Obispo)
Abstract要約: 自動参照レステキスト要約評価システムを提案する。本評価システムは,テキスト要約モデルの網羅的品質を測定する最初のシステムである。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite some recent advances, automatic text summarization remains unreliable, elusive, and of limited practical use in applications. Two main problems with current summarization methods are well known: evaluation and factual consistency. To address these issues, we propose a new automatic reference-less text summarization evaluation system that can measure the quality of any text summarization model with a set of generated facts based on factual consistency, comprehensiveness, and compression rate. As far as we know, our evaluation system is the first system that measures the overarching quality of the text summarization models based on factuality, information coverage, and compression rate.
Abstract（参考訳）: 最近の進歩にもかかわらず、自動テキスト要約は信頼できず、分かりやすく、アプリケーションでの使用は限られている。現在の要約法の主な2つの問題は、評価と事実整合性である。そこで本研究では, テキスト要約モデルの品質を, 事実整合性, 包括性, 圧縮率に基づいて, 生成事実の集合を用いて測定できる, 新たな参照なしテキスト要約評価システムを提案する。我々の知る限り、本評価システムは、事実性、情報カバレッジ、圧縮率に基づいて、テキスト要約モデルの全体的な品質を測定する最初のシステムである。

関連論文リスト

Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback [57.816210168909286]
我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
論文参考訳（メタデータ） (2023-05-31T21:04:04Z)
TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
論文参考訳（メタデータ） (2022-04-11T10:14:35Z)
Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries [59.27273928454995]
要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
論文参考訳（メタデータ） (2021-09-19T19:05:00Z)
Factual Consistency Evaluation for Text Summarization via Counterfactual Estimation [42.63902468258758]
本稿では,テキスト要約における事実整合性を評価するための新しい指標を提案する。我々は3つの公開抽象テキスト要約データセットについて一連の実験を行った。
論文参考訳（メタデータ） (2021-08-30T11:48:41Z)
Improving Factual Consistency of Abstractive Summarization via Question Answering [25.725873545789046]
要約における事実整合性に対処するアプローチを提案する。まず,実体整合性を測定するための効率的な自動評価指標を提案する。次に,モデル学習時に提案するメトリックを最大化する新しい学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-05-10T19:07:21Z)
The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey [25.59111855107199]
Seq2Seqフレームワークによって開発されたニューラルエンコーダデコーダモデルは、より抽象的な要約を生成するという目標を達成するために提案されている。高いレベルでは、そのようなニューラルネットワークは、使用される単語やフレーズに制約を加えることなく、自由に要約を生成することができる。しかし、神経モデルの抽象化能力は二重刃の剣である。
論文参考訳（メタデータ） (2021-04-30T08:46:13Z)
GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文参考訳（メタデータ） (2020-10-24T08:30:20Z)
Re-evaluating Evaluation in Text Summarization [77.4601291738445]
トップスコアシステム出力を用いたテキスト要約の評価手法を再評価する。古いデータセットにおける評価指標に関する結論は、現代データセットやシステムに必ずしも当てはまらない。
論文参考訳（メタデータ） (2020-10-14T13:58:53Z)
Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
論文参考訳（メタデータ） (2020-10-06T02:51:02Z)
Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
論文参考訳（メタデータ） (2020-03-19T07:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。