論文の概要: Improving Truthfulness of Headline Generation
- arxiv url: http://arxiv.org/abs/2005.00882v2
- Date: Tue, 5 May 2020 02:02:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 12:44:55.644193
- Title: Improving Truthfulness of Headline Generation
- Title(参考訳): 見出し生成の真理性向上
- Authors: Kazuki Matsumaru, Sho Takase, Naoaki Okazaki
- Abstract要約: 最先端のエンコーダ・デコーダモデルでは,時には非現実的な見出しを生成することがある。
理由の1つは、モデルのトレーニングに使用される非現実的な監視データにあると推測する。
この研究は、データセットでかなりの数の非現実的なインスタンスを確認した後、非現実的なインスタンスを監督データから取り除くことで、問題を改善できるという仮説を立てた。
- 参考スコア(独自算出の注目度): 24.07832528012763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most studies on abstractive summarization report ROUGE scores between system
and reference summaries. However, we have a concern about the truthfulness of
generated summaries: whether all facts of a generated summary are mentioned in
the source text. This paper explores improving the truthfulness in headline
generation on two popular datasets. Analyzing headlines generated by the
state-of-the-art encoder-decoder model, we show that the model sometimes
generates untruthful headlines. We conjecture that one of the reasons lies in
untruthful supervision data used for training the model. In order to quantify
the truthfulness of article-headline pairs, we consider the textual entailment
of whether an article entails its headline. After confirming quite a few
untruthful instances in the datasets, this study hypothesizes that removing
untruthful instances from the supervision data may remedy the problem of the
untruthful behaviors of the model. Building a binary classifier that predicts
an entailment relation between an article and its headline, we filter out
untruthful instances from the supervision data. Experimental results
demonstrate that the headline generation model trained on filtered supervision
data shows no clear difference in ROUGE scores but remarkable improvements in
automatic and manual evaluations of the generated headlines.
- Abstract(参考訳): 抽象要約レポート ROUGE のシステムと参照要約のスコアについての研究がほとんどである。
しかし、生成された要約の真理性には懸念がある: 生成された要約のすべての事実がソーステキストで言及されているかどうか。
本稿では,2つの人気データセットを用いた見出し生成における真理性の向上について検討する。
最先端のエンコーダ・デコーダモデルによって生成された見出しを分析し、そのモデルが時に非真実な見出しを生成することを示す。
理由の1つは、モデルのトレーニングに使用される非現実的な監視データにあると推測する。
記事と見出しの対の真理を定量化するために,記事が見出しを包含するか否かのテクスト的包含を考える。
この研究は、データセットでかなりの数の非現実的なインスタンスを確認した後、非現実的なインスタンスを監督データから取り除くことで、モデルの非現実的な振る舞いの問題を改善できるという仮説を立てた。
記事とその見出しの細部関係を予測する二項分類器を構築し, 監督データから不合理な事例を抽出する。
実験結果から, フィルタ付き監視データを用いた見出し生成モデルでは, ROUGEスコアに明らかな違いはなく, 生成した見出しの自動評価および手動評価において顕著な改善が見られた。
関連論文リスト
- AMRFact: Enhancing Summarization Factuality Evaluation with AMR-driven
Training Data Generation [63.18211192998151]
本稿では,現実的に一貫性のない要約を生成する新しいフレームワークであるAMRFactを提案する。
提案手法は, 現実的に正しい要約をAMRグラフに解析し, 否定的な例を生成するために制御された事実矛盾を注入する。
提案手法は,AggreFact-SOTAデータセットにおいて,従来のシステムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - Benchmarking the Generation of Fact Checking Explanations [19.363672064425504]
我々は、正当化の生成(クレームが真か偽かのどちらかに分類される理由をテキストで説明する)に焦点を当て、新しいデータセットと高度なベースラインでベンチマークする。
その結果,生産要約の正当性はクレーム情報から得られることがわかった。
クロスデータセット実験は性能劣化に悩まされるが、2つのデータセットの組み合わせでトレーニングされたユニークなモデルは、スタイル情報を効率的に保持することができる。
論文 参考訳(メタデータ) (2023-08-29T10:40:46Z) - Correcting Diverse Factual Errors in Abstractive Summarization via
Post-Editing and Language Model Infilling [56.70682379371534]
提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。
我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
論文 参考訳(メタデータ) (2022-10-22T07:16:19Z) - Does Your Model Classify Entities Reasonably? Diagnosing and Mitigating
Spurious Correlations in Entity Typing [29.820473012776283]
既存のエンティティ型付けモデルは、素早い相関の問題に直面している。
既存のモデルバイアスには、参照コンテキストバイアス、語彙オーバーラップバイアス、名前付きエンティティバイアス、代名詞バイアス、依存性バイアス、一般化バイアスの6種類がある。
オリジナルのトレーニングセットをバイアスなしのトレーニングセットで強化することで、モデルは文を完全に理解せざるを得なくなる。
論文 参考訳(メタデータ) (2022-05-25T10:34:22Z) - MiRANews: Dataset and Benchmarks for Multi-Resource-Assisted News
Summarization [19.062996443574047]
我々は、新しいデータセットMiRANewsと既存の要約モデルをベンチマークする。
データ分析を通じて、責任を負うのはモデルだけではないことを示します。
Assisted summarization is reduce 55% of Hallucination than single-document summarization model trained on the main article only。
論文 参考訳(メタデータ) (2021-09-22T10:58:40Z) - Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。
クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。
将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
論文 参考訳(メタデータ) (2021-04-20T17:16:41Z) - Few-Shot Learning for Opinion Summarization [117.70510762845338]
オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。
本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。
提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
論文 参考訳(メタデータ) (2020-04-30T15:37:38Z) - Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。
テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文 参考訳(メタデータ) (2020-04-21T16:54:57Z) - Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。
次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
論文 参考訳(メタデータ) (2020-03-19T07:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。