論文の概要: How well do you know your summarization datasets?

• arxiv url: http://arxiv.org/abs/2106.11388v1
• Date: Mon, 21 Jun 2021 19:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-24 06:33:02.332126
• Title: How well do you know your summarization datasets?
• Title（参考訳）: 要約データセットをどの程度知っていますか?
• Authors: Priyam Tejaswin, Dhruv Naik, Pengfei Liu
• Abstract要約: 3つの一般的な要約データセットから600のサンプルを分析した。 続いて、27の最先端の要約モデルと5つの一般的なメトリクスを徹底的に分析する。
• 参考スコア（独自算出の注目度）: 11.992125069326772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art summarization systems are trained and evaluated on massive datasets scraped from the web. Despite their prevalence, we know very little about the underlying characteristics (data noise, summarization complexity, etc.) of these datasets, and how these affect system performance and the reliability of automatic metrics like ROUGE. In this study, we manually analyze 600 samples from three popular summarization datasets. Our study is driven by a six-class typology which captures different noise types (missing facts, entities) and degrees of summarization difficulty (extractive, abstractive). We follow with a thorough analysis of 27 state-of-the-art summarization models and 5 popular metrics, and report our key insights: (1) Datasets have distinct data quality and complexity distributions, which can be traced back to their collection process. (2) The performance of models and reliability of metrics is dependent on sample complexity. (3) Faithful summaries often receive low scores because of the poor diversity of references. We release the code, annotated data and model outputs.
• Abstract（参考訳）: 最先端の要約システムは、Webから取り除かれた大量のデータセットに基づいて訓練され、評価される。 その傾向にもかかわらず、基盤となる特性(データノイズ、要約の複雑さなど)についてはほとんどわかっていません。 これらのデータセットがシステムパフォーマンスやROUGEのような自動メトリクスの信頼性にどのように影響するか。 本研究では,3つの一般的な要約データセットから600個のサンプルを手動で解析する。 本研究は,様々なノイズタイプ(事実や実体を欠く)と要約難度(抽出的,抽象的)をキャプチャする6クラス型タイポロジーによって駆動される。 私たちは27の最先端の要約モデルと5つの一般的なメトリクスを徹底的に分析し、主要な洞察を報告します。 2) モデルの性能とメトリクスの信頼性は, サンプルの複雑さに依存する。 3) 忠実な要約は,参照の多様性が乏しいため,スコアが低いことが多い。 コード、注釈付きデータ、モデル出力をリリースします。

関連論文リスト

• infoVerse: A Universal Framework for Dataset Characterization with Multidimensional Meta-information [68.76707843019886]
  infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。 infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。 実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2023-05-30T18:12:48Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Quantified Sleep: Machine learning techniques for observational n-of-1 studies [0.0]
  本稿では,睡眠品質の記述モデルを構築するために,観察量化自己分析に統計的学習手法を適用する。 睡眠の質は、高いノイズと多くの弱い要因により、qs研究において最も難しいモデリング対象の1つである。
  論文  参考訳（メタデータ） (2021-05-14T13:13:17Z)
• Annotating and Modeling Fine-grained Factuality in Summarization [36.88018450067003]
  実際に使用する上での大きな障壁は、入力に忠実ではなく、事実的誤りを含む要約を出力する確率である。 要約の事実的誤りを識別するために,学習モデルのための合成データと人間ラベルデータの両方を探索する。 我々は,学習データ中の非実写トークンを識別することにより,より実写的なXSum要約モデルのトレーニングを可能にすることを示す。
  論文  参考訳（メタデータ） (2021-04-09T11:20:44Z)
• Unsupervised Opinion Summarization with Content Planning [58.5308638148329]
  要約モデルにコンテンツプランニングを明示的に組み込むことで、より高い品質のアウトプットが得られることを示す。 また、より自然な合成データセットを作成し、実世界の文書と要約のペアに似ている。 当社のアプローチは,情報的,一貫性,流動的な要約を生成する上で,競争モデルよりも優れています。
  論文  参考訳（メタデータ） (2020-12-14T18:41:58Z)
• Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation [101.26235068460551]
  大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。 モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。 我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
  論文  参考訳（メタデータ） (2020-10-24T08:36:49Z)
• CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems [121.78477833009671]
  データセット間設定下での様々な要約モデルの性能について検討する。 異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
  論文  参考訳（メタデータ） (2020-10-11T02:19:15Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)
• Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
  ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。 テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
  論文  参考訳（メタデータ） (2020-04-21T16:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。