論文の概要: Revisiting text decomposition methods for NLI-based factuality scoring
of summaries
- arxiv url: http://arxiv.org/abs/2211.16853v1
- Date: Wed, 30 Nov 2022 09:54:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 16:50:04.636950
- Title: Revisiting text decomposition methods for NLI-based factuality scoring
of summaries
- Title(参考訳): NLIに基づく要約の事実性スコアリングのためのテキスト分解法の再検討
- Authors: John Glover, Federico Fancellu, Vasudevan Jagannathan, Matthew R.
Gormley, Thomas Schaaf
- Abstract要約: 細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。
また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
- 参考スコア(独自算出の注目度): 9.044665059626958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scoring the factuality of a generated summary involves measuring the degree
to which a target text contains factual information using the input document as
support. Given the similarities in the problem formulation, previous work has
shown that Natural Language Inference models can be effectively repurposed to
perform this task. As these models are trained to score entailment at a
sentence level, several recent studies have shown that decomposing either the
input document or the summary into sentences helps with factuality scoring. But
is fine-grained decomposition always a winning strategy? In this paper we
systematically compare different granularities of decomposition -- from
document to sub-sentence level, and we show that the answer is no. Our results
show that incorporating additional context can yield improvement, but that this
does not necessarily apply to all datasets. We also show that small changes to
previously proposed entailment-based scoring methods can result in better
performance, highlighting the need for caution in model and methodology
selection for downstream tasks.
- Abstract(参考訳): 生成された要約の事実性を表わすには、入力文書を支援として使用する事実情報を含む対象テキストの程度を測定する。
問題定式化の類似性から、従来の研究は、自然言語推論モデルがこのタスクを実行するために効果的に再利用できることを示してきた。
これらのモデルが文レベルで含意をスコア付けするように訓練されているため、最近のいくつかの研究で、入力文書または要約を文に分解することが事実性スコア付けに役立つことが示されている。
しかし、きめ細かい分解は常に勝利戦略なのか?
本稿では,文書からサブ文レベルまで,分解の粒度を体系的に比較し,その答えがNoであることを示す。
以上の結果から,追加コンテキストを組み込むことで改善が期待できるが,すべてのデータセットに適用できるとは限らない。
また,提案手法の細かな変更により性能が向上し,下流タスクのモデル選択や方法論選択への注意が必要であることも示している。
関連論文リスト
- Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳(メタデータ) (2024-11-12T13:14:09Z) - Using Similarity to Evaluate Factual Consistency in Summaries [2.7595794227140056]
抽象要約器は流動的な要約を生成するが、生成したテキストの事実性は保証されない。
本稿では,ゼロショット事実性評価尺度であるSBERTScoreを提案する。
実験の結果,SBERTScoreでは,各手法の強度が異なることが示唆された。
論文 参考訳(メタデータ) (2024-09-23T15:02:38Z) - Summarization-based Data Augmentation for Document Classification [16.49709049899731]
文書分類のための簡易かつ効果的な要約型データ拡張であるSUMMaugを提案する。
まず、対象文書分類タスクの学習が容易な例を示す。
次に、生成された擬似例を用いてカリキュラム学習を行う。
論文 参考訳(メタデータ) (2023-12-01T11:34:37Z) - Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。
クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。
我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
論文 参考訳(メタデータ) (2023-05-26T08:44:02Z) - Falsesum: Generating Document-level NLI Examples for Recognizing Factual
Inconsistency in Summarization [63.21819285337555]
高品質なタスク指向の例でトレーニングデータを拡張した場合,NLIモデルがこのタスクに有効であることを示す。
我々は、制御可能なテキスト生成モデルを利用して、人間の注釈付き要約を摂動させるデータ生成パイプラインであるFalsesumを紹介した。
本研究では,Falsesumを付加したNLIデータセットでトレーニングしたモデルにより,4つのベンチマークを用いて,要約における事実整合性を検出することにより,最先端のパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2022-05-12T10:43:42Z) - The Factual Inconsistency Problem in Abstractive Text Summarization: A
Survey [25.59111855107199]
Seq2Seqフレームワークによって開発されたニューラルエンコーダデコーダモデルは、より抽象的な要約を生成するという目標を達成するために提案されている。
高いレベルでは、そのようなニューラルネットワークは、使用される単語やフレーズに制約を加えることなく、自由に要約を生成することができる。
しかし、神経モデルの抽象化能力は二重刃の剣である。
論文 参考訳(メタデータ) (2021-04-30T08:46:13Z) - Extractive Summarization as Text Matching [123.09816729675838]
本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。
抽出した要約タスクを意味テキストマッチング問題として定式化する。
我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
論文 参考訳(メタデータ) (2020-04-19T08:27:57Z) - A Divide-and-Conquer Approach to the Summarization of Long Documents [4.863209463405628]
本稿では,長い文書のニューラル・サマライゼーションのための分割・畳み込み手法を提案する。
本手法は文書の談話構造を利用して,文の類似性を利用して問題をより小さな要約問題に分割する。
本稿では,シーケンス・ツー・シーケンスのRNNやトランスフォーマーなど,様々な要約モデルと組み合わせることで,要約性能の向上が期待できることを示す。
論文 参考訳(メタデータ) (2020-04-13T20:38:49Z) - Pre-training for Abstractive Document Summarization by Reinstating
Source Text [105.77348528847337]
本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。
2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
論文 参考訳(メタデータ) (2020-04-04T05:06:26Z) - Learning to Select Bi-Aspect Information for Document-Scale Text Content
Manipulation [50.01708049531156]
我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。
詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。
出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
論文 参考訳(メタデータ) (2020-02-24T12:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。