論文の概要: Improving Truthfulness of Headline Generation
- arxiv url: http://arxiv.org/abs/2005.00882v2
- Date: Tue, 5 May 2020 02:02:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 12:44:55.644193
- Title: Improving Truthfulness of Headline Generation
- Title（参考訳）: 見出し生成の真理性向上
- Authors: Kazuki Matsumaru, Sho Takase, Naoaki Okazaki
- Abstract要約: 最先端のエンコーダ・デコーダモデルでは,時には非現実的な見出しを生成することがある。
理由の1つは、モデルのトレーニングに使用される非現実的な監視データにあると推測する。
この研究は、データセットでかなりの数の非現実的なインスタンスを確認した後、非現実的なインスタンスを監督データから取り除くことで、問題を改善できるという仮説を立てた。
- 参考スコア（独自算出の注目度）: 24.07832528012763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most studies on abstractive summarization report ROUGE scores between system
and reference summaries. However, we have a concern about the truthfulness of
generated summaries: whether all facts of a generated summary are mentioned in
the source text. This paper explores improving the truthfulness in headline
generation on two popular datasets. Analyzing headlines generated by the
state-of-the-art encoder-decoder model, we show that the model sometimes
generates untruthful headlines. We conjecture that one of the reasons lies in
untruthful supervision data used for training the model. In order to quantify
the truthfulness of article-headline pairs, we consider the textual entailment
of whether an article entails its headline. After confirming quite a few
untruthful instances in the datasets, this study hypothesizes that removing
untruthful instances from the supervision data may remedy the problem of the
untruthful behaviors of the model. Building a binary classifier that predicts
an entailment relation between an article and its headline, we filter out
untruthful instances from the supervision data. Experimental results
demonstrate that the headline generation model trained on filtered supervision
data shows no clear difference in ROUGE scores but remarkable improvements in
automatic and manual evaluations of the generated headlines.
- Abstract（参考訳）: 抽象要約レポート ROUGE のシステムと参照要約のスコアについての研究がほとんどである。
しかし、生成された要約の真理性には懸念がある: 生成された要約のすべての事実がソーステキストで言及されているかどうか。
本稿では,2つの人気データセットを用いた見出し生成における真理性の向上について検討する。
最先端のエンコーダ・デコーダモデルによって生成された見出しを分析し、そのモデルが時に非真実な見出しを生成することを示す。
理由の1つは、モデルのトレーニングに使用される非現実的な監視データにあると推測する。
記事と見出しの対の真理を定量化するために,記事が見出しを包含するか否かのテクスト的包含を考える。
この研究は、データセットでかなりの数の非現実的なインスタンスを確認した後、非現実的なインスタンスを監督データから取り除くことで、モデルの非現実的な振る舞いの問題を改善できるという仮説を立てた。
記事とその見出しの細部関係を予測する二項分類器を構築し, 監督データから不合理な事例を抽出する。
実験結果から, フィルタ付き監視データを用いた見出し生成モデルでは, ROUGEスコアに明らかな違いはなく, 生成した見出しの自動評価および手動評価において顕著な改善が見られた。
関連論文リスト
- AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。
提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
論文 参考訳（メタデータ） (2023-11-16T02:56:29Z) - Benchmarking the Generation of Fact Checking Explanations [19.363672064425504]
我々は、正当化の生成(クレームが真か偽かのどちらかに分類される理由をテキストで説明する)に焦点を当て、新しいデータセットと高度なベースラインでベンチマークする。
その結果,生産要約の正当性はクレーム情報から得られることがわかった。
クロスデータセット実験は性能劣化に悩まされるが、2つのデータセットの組み合わせでトレーニングされたユニークなモデルは、スタイル情報を効率的に保持することができる。
論文 参考訳（メタデータ） (2023-08-29T10:40:46Z) - Correcting Diverse Factual Errors in Abstractive Summarization via
Post-Editing and Language Model Infilling [56.70682379371534]
提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。
我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
論文 参考訳（メタデータ） (2022-10-22T07:16:19Z) - Does Your Model Classify Entities Reasonably? Diagnosing and Mitigating
Spurious Correlations in Entity Typing [29.820473012776283]
既存のエンティティ型付けモデルは、素早い相関の問題に直面している。
既存のモデルバイアスには、参照コンテキストバイアス、語彙オーバーラップバイアス、名前付きエンティティバイアス、代名詞バイアス、依存性バイアス、一般化バイアスの6種類がある。
オリジナルのトレーニングセットをバイアスなしのトレーニングセットで強化することで、モデルは文を完全に理解せざるを得なくなる。
論文 参考訳（メタデータ） (2022-05-25T10:34:22Z) - MiRANews: Dataset and Benchmarks for Multi-Resource-Assisted News
Summarization [19.062996443574047]
我々は、新しいデータセットMiRANewsと既存の要約モデルをベンチマークする。
データ分析を通じて、責任を負うのはモデルだけではないことを示します。
Assisted summarization is reduce 55% of Hallucination than single-document summarization model trained on the main article only。
論文 参考訳（メタデータ） (2021-09-22T10:58:40Z) - Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。
クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。
将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
論文 参考訳（メタデータ） (2021-04-20T17:16:41Z) - Annotating and Modeling Fine-grained Factuality in Summarization [36.88018450067003]
実際に使用する上での大きな障壁は、入力に忠実ではなく、事実的誤りを含む要約を出力する確率である。
要約の事実的誤りを識別するために,学習モデルのための合成データと人間ラベルデータの両方を探索する。
我々は,学習データ中の非実写トークンを識別することにより,より実写的なXSum要約モデルのトレーニングを可能にすることを示す。
論文 参考訳（メタデータ） (2021-04-09T11:20:44Z) - Few-Shot Learning for Opinion Summarization [117.70510762845338]
オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。
本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。
提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
論文 参考訳（メタデータ） (2020-04-30T15:37:38Z) - Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。
テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文 参考訳（メタデータ） (2020-04-21T16:54:57Z) - Enhancing Factual Consistency of Abstractive Summarization [57.67609672082137]
ファクトアウェアな要約モデル FASum を提案し,実情関係を抽出し,要約生成プロセスに統合する。
次に,既存のシステムから生成した要約から事実誤りを自動的に補正する事実補正モデルFCを設計する。
論文 参考訳（メタデータ） (2020-03-19T07:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。