論文の概要: Towards Interpretable Summary Evaluation via Allocation of Contextual
Embeddings to Reference Text Topics
- arxiv url: http://arxiv.org/abs/2210.14174v1
- Date: Tue, 25 Oct 2022 17:09:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 14:49:50.990560
- Title: Towards Interpretable Summary Evaluation via Allocation of Contextual
Embeddings to Reference Text Topics
- Title（参考訳）: 参照テキストトピックへの文脈埋め込みの割り当てによる解釈可能な要約評価に向けて
- Authors: Ben Schaper, Christopher Lohse, Marcell Streile, Andrea Giovannini,
Richard Osuala
- Abstract要約: 多面的解釈可能な要約評価法(MISEM)は、要約の文脈トークンの埋め込みを、参照テキストで特定されたセマンティックトピックに割り当てることに基づいている。
MISEMはTAC'08データセット上の人間の判断と有望な.404ピアソン相関を達成している。
- 参考スコア（独自算出の注目度）: 1.5749416770494706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite extensive recent advances in summary generation models, evaluation of
auto-generated summaries still widely relies on single-score systems
insufficient for transparent assessment and in-depth qualitative analysis.
Towards bridging this gap, we propose the multifaceted interpretable summary
evaluation method (MISEM), which is based on allocation of a summary's
contextual token embeddings to semantic topics identified in the reference
text. We further contribute an interpretability toolbox for automated summary
evaluation and interactive visual analysis of summary scoring, topic
identification, and token-topic allocation. MISEM achieves a promising .404
Pearson correlation with human judgment on the TAC'08 dataset.
- Abstract（参考訳）: 近年の要約生成モデルの発展にもかかわらず、自動生成サマリーの評価は、透明性評価や詳細な定性分析に不十分なシングルスコアシステムに大きく依存している。
本稿では,このギャップを橋渡しするために,要約文の文脈的トークン埋め込みを参照テキストで識別した意味的トピックに割り当てた多面的解釈可能な要約評価手法(misem)を提案する。
さらに,要約自動評価のための解釈ツールボックスと,要約スコアリング,トピック識別,トークントピック割り当てのインタラクティブなビジュアル分析を行う。
MISEMは、TAC'08データセット上の人間の判断と有望な.404ピアソン相関を達成している。
関連論文リスト
- SummIt: Iterative Text Summarization via ChatGPT [12.966825834765814]
本稿では,ChatGPTのような大規模言語モデルに基づく反復的なテキスト要約フレームワークSummItを提案する。
我々のフレームワークは、自己評価とフィードバックによって生成された要約を反復的に洗練することを可能にする。
また, 繰り返し改良の有効性を検証し, 過補正の潜在的な問題を特定するために, 人間の評価を行う。
論文 参考訳（メタデータ） (2023-05-24T07:40:06Z) - A Training-free and Reference-free Summarization Evaluation Metric via
Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
トレーニング不要かつ参照不要な要約評価指標を提案する。
我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。
提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
論文 参考訳（メタデータ） (2021-06-26T05:11:27Z) - FFCI: A Framework for Interpretable Automatic Evaluation of
Summarization [43.375797352517765]
本稿では,精細な要約評価のためのフレームワークであるFFCIを提案する。
我々は、焦点、カバレッジ、相互一貫性のための新しいデータセットを構築した。
開発したメトリクスを2つのデータセットにわたる広範囲の要約モデルの評価に適用する。
論文 参考訳（メタデータ） (2020-11-27T10:57:18Z) - Understanding the Extent to which Summarization Evaluation Metrics
Measure the Information Quality of Summaries [74.28810048824519]
ROUGEとBERTScoreのトークンアライメントを分析し、要約を比較する。
それらのスコアは、情報の重複を測定するものとしては解釈できない、と我々は主張する。
論文 参考訳（メタデータ） (2020-10-23T15:55:15Z) - Re-evaluating Evaluation in Text Summarization [77.4601291738445]
トップスコアシステム出力を用いたテキスト要約の評価手法を再評価する。
古いデータセットにおける評価指標に関する結論は、現代データセットやシステムに必ずしも当てはまらない。
論文 参考訳（メタデータ） (2020-10-14T13:58:53Z) - Unsupervised Reference-Free Summary Quality Evaluation via Contrastive
Learning [66.30909748400023]
教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。
具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。
ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-10-05T05:04:14Z) - Towards Question-Answering as an Automatic Metric for Evaluating the
Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。
提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文 参考訳（メタデータ） (2020-10-01T15:33:09Z) - SueNes: A Weakly Supervised Approach to Evaluating Single-Document
Summarization via Negative Sampling [25.299937353444854]
本研究は,参照要約の存在を伴わない,弱教師付き要約評価手法に対する概念実証研究である。
既存の要約データセットの大量データは、文書と破損した参照要約とのペアリングによってトレーニングのために変換される。
論文 参考訳（メタデータ） (2020-05-13T15:40:13Z) - A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
本稿では,VisDialデータセットの改訂評価手法を提案する。
モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。
DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
論文 参考訳（メタデータ） (2020-04-20T13:26:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。