論文の概要: Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning

• arxiv url: http://arxiv.org/abs/2010.01781v1
• Date: Mon, 5 Oct 2020 05:04:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 21:22:08.443340
• Title: Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning
• Title（参考訳）: コントラスト学習による教師なし参照フリー要約品質評価
• Authors: Hanlu Wu, Tengfei Ma, Lingfei Wu, Tariro Manyumwa and Shouling Ji
• Abstract要約: 教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。 具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。 ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 66.30909748400023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluation of a document summarization system has been a critical factor to impact the success of the summarization task. Previous approaches, such as ROUGE, mainly consider the informativeness of the assessed summary and require human-generated references for each test summary. In this work, we propose to evaluate the summary qualities without reference summaries by unsupervised contrastive learning. Specifically, we design a new metric which covers both linguistic qualities and semantic informativeness based on BERT. To learn the metric, for each summary, we construct different types of negative samples with respect to different aspects of the summary qualities, and train our model with a ranking loss. Experiments on Newsroom and CNN/Daily Mail demonstrate that our new evaluation method outperforms other metrics even without reference summaries. Furthermore, we show that our method is general and transferable across datasets.
• Abstract（参考訳）: 文書要約システムの評価は,要約タスクの成功に影響を及ぼす重要な要因となっている。 ROUGEのような従来のアプローチは、主に評価された要約の情報を考慮し、各テスト要約に対して人為的な参照を必要とする。 本研究では,教師なしコントラスト学習を用いて,参照要約を使わずに要約品質を評価することを提案する。 具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。 評価基準を学習するために、各要約において、要約品質の異なる側面に関して異なるタイプの負のサンプルを構築し、ランキング損失でモデルを訓練する。 newsroomとcnn/daily mailによる実験では,新しい評価手法が参照要約なしでも他の指標よりも優れていることが示されている。 さらに,本手法は汎用的で,データセット間で転送可能であることを示す。

関連論文リスト

• Improving Factuality of Abstractive Summarization via Contrastive Reward Learning [77.07192378869776]
  本稿では,報酬学習と実効性指標の最近の発展を取り入れた,シンプルだが効果的なコントラスト学習フレームワークを提案する。 実証的研究により,提案手法により,実測値のフィードバックから要約モデルを学習できることが実証された。
  論文  参考訳（メタデータ） (2023-07-10T12:01:18Z)
• Is Summary Useful or Not? An Extrinsic Human Evaluation of Text Summaries on Downstream Tasks [45.550554287918885]
  本稿では,外部手法によるテキスト要約の有用性の評価に焦点をあてる。 我々は,要約の人間的評価,すなわち質問応答,テキスト分類,テキスト類似性評価のための3つの異なる下流タスクを設計する。 要約はテキストの全体的判断に依存するタスクにおいて特に有用であるが、質問応答タスクでは効果が低い。
  論文  参考訳（メタデータ） (2023-05-24T11:34:39Z)
• A Training-free and Reference-free Summarization Evaluation Metric via Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
  トレーニング不要かつ参照不要な要約評価指標を提案する。 我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。 提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2021-06-26T05:11:27Z)
• Estimation of Summary-to-Text Inconsistency by Mismatched Embeddings [0.0]
  信頼性を重視した新たな無基準要約品質評価手法を提案します。 Mismatched Embeddings による概要テキスト不整合推定器 ESTIME は,要約レベルの SummEval データセットにおいて,他の一般的な評価指標よりも強い専門家スコアと相関する。
  論文  参考訳（メタデータ） (2021-04-12T01:58:21Z)
• How to Evaluate a Summarizer: Study Design and Statistical Analysis for Manual Linguistic Quality Evaluation [3.624563211765782]
  評価手法の最良の選択は、ある側面から別の側面まで様々であることを示す。 その結果,アノテータの総数は研究力に強い影響を及ぼす可能性が示唆された。 現在の統計解析手法では、I型エラー率を最大8倍にすることができる。
  論文  参考訳（メタデータ） (2021-01-27T10:14:15Z)
• Understanding the Extent to which Summarization Evaluation Metrics Measure the Information Quality of Summaries [74.28810048824519]
  ROUGEとBERTScoreのトークンアライメントを分析し、要約を比較する。 それらのスコアは、情報の重複を測定するものとしては解釈できない、と我々は主張する。
  論文  参考訳（メタデータ） (2020-10-23T15:55:15Z)
• SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
  総合的かつ一貫した方法で14の自動評価指標を再評価する。 上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。 我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
  論文  参考訳（メタデータ） (2020-07-24T16:25:19Z)
• SueNes: A Weakly Supervised Approach to Evaluating Single-Document Summarization via Negative Sampling [25.299937353444854]
  本研究は,参照要約の存在を伴わない,弱教師付き要約評価手法に対する概念実証研究である。 既存の要約データセットの大量データは、文書と破損した参照要約とのペアリングによってトレーニングのために変換される。
  論文  参考訳（メタデータ） (2020-05-13T15:40:13Z)
• Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
  ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。 テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
  論文  参考訳（メタデータ） (2020-04-21T16:54:57Z)
• Learning by Semantic Similarity Makes Abstractive Summarization Better [13.324006587838522]
  近年のLM, BART, およびベンチマークデータセットCNN/DMの参照要約を比較した。 興味深いことに、モデル生成サマリーは参照サマリーと比較して高いスコアを受け取る。
  論文  参考訳（メタデータ） (2020-02-18T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。