論文の概要: SueNes: A Weakly Supervised Approach to Evaluating Single-Document Summarization via Negative Sampling

• arxiv url: http://arxiv.org/abs/2005.06377v3
• Date: Thu, 5 May 2022 04:00:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 12:40:56.281962
• Title: SueNes: A Weakly Supervised Approach to Evaluating Single-Document Summarization via Negative Sampling
• Title（参考訳）: SueNes: 否定サンプリングによる単一ドキュメントの要約を評価するための弱修正アプローチ
• Authors: Forrest Sheng Bao, Hebi Li, Ge Luo, Minghui Qiu, Yinfei Yang, Youbiao He, Cen Chen
• Abstract要約: 本研究は,参照要約の存在を伴わない,弱教師付き要約評価手法に対する概念実証研究である。 既存の要約データセットの大量データは、文書と破損した参照要約とのペアリングによってトレーニングのために変換される。
• 参考スコア（独自算出の注目度）: 25.299937353444854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Canonical automatic summary evaluation metrics, such as ROUGE, focus on lexical similarity which cannot well capture semantics nor linguistic quality and require a reference summary which is costly to obtain. Recently, there have been a growing number of efforts to alleviate either or both of the two drawbacks. In this paper, we present a proof-of-concept study to a weakly supervised summary evaluation approach without the presence of reference summaries. Massive data in existing summarization datasets are transformed for training by pairing documents with corrupted reference summaries. In cross-domain tests, our strategy outperforms baselines with promising improvements, and show a great advantage in gauging linguistic qualities over all metrics.
• Abstract（参考訳）: ROUGEのような標準的自動要約評価指標は、意味論や言語的品質をうまく捉えられず、入手にコストがかかる参照要約を必要とする語彙的類似性に焦点を当てている。 近年,2つの欠点を緩和する取り組みが増えている。 本稿では,参照要約の有無を伴わずに,弱教師付き要約評価手法に対する概念実証実験を行う。 既存の要約データセットの大量データは、文書と破損した参照要約とのペアリングによってトレーニングのために変換される。 クロスドメインテストでは、我々の戦略は、有望な改善によってベースラインよりも優れており、すべてのメトリクスに対して言語的品質を計測する上で大きな優位性を示している。

関連論文リスト

• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• Lexical Repetitions Lead to Rote Learning: Unveiling the Impact of Lexical Overlap in Train and Test Reference Summaries [131.80860903537172]
  理想的な要約モデルは、roteによる参照トレーニング要約を覚えることなく、新しい要約価値のあるコンテンツに一般化すべきである。 本稿では,参照テストサマリーとトレーニングサマリーの語彙的類似性に基づいて,テストセットを分割し,詳細な評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T23:47:53Z)
• Towards Interpretable Summary Evaluation via Allocation of Contextual Embeddings to Reference Text Topics [1.5749416770494706]
  多面的解釈可能な要約評価法(MISEM)は、要約の文脈トークンの埋め込みを、参照テキストで特定されたセマンティックトピックに割り当てることに基づいている。 MISEMはTAC'08データセット上の人間の判断と有望な.404ピアソン相関を達成している。
  論文  参考訳（メタデータ） (2022-10-25T17:09:08Z)
• SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
  SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。 本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。 我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
  論文  参考訳（メタデータ） (2022-05-19T16:01:47Z)
• A Training-free and Reference-free Summarization Evaluation Metric via Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
  トレーニング不要かつ参照不要な要約評価指標を提案する。 我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。 提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2021-06-26T05:11:27Z)
• Contextualized Rewriting for Text Summarization [10.666547385992935]
  グループアライメントを伴うSeq2seq問題として書き換える。 その結果,本手法は非テキスト化書き換えシステムよりも大幅に優れていることがわかった。
  論文  参考訳（メタデータ） (2021-01-31T05:35:57Z)
• Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning [66.30909748400023]
  教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。 具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。 ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-05T05:04:14Z)
• SUPERT: Towards New Frontiers in Unsupervised Evaluation Metrics for Multi-Document Summarization [31.082618343998533]
  本稿では,その意味的類似度を疑似参照要約と比較することにより,要約の質を評価するSUPERTを提案する。 最先端の教師なし評価指標と比較すると、SUPERTは人間の評価と18～39%の相関がある。 我々は、ニューラルネットワークに基づく強化学習要約器を誘導する報酬としてSUPERTを使用し、最先端の教師なし要約器と比較して良好な性能を得る。
  論文  参考訳（メタデータ） (2020-05-07T19:54:24Z)
• Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
  ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。 テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
  論文  参考訳（メタデータ） (2020-04-21T16:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。