論文の概要: Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers

• arxiv url: http://arxiv.org/abs/2010.08242v1
• Date: Fri, 16 Oct 2020 08:44:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 20:55:42.485488
• Title: Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
• Title（参考訳）: 事前学習階層変換器による教師なし抽出要約
• Authors: Shusheng Xu, Xingxing Zhang, Yi Wu, Furu Wei and Ming Zhou
• Abstract要約: 教師なし抽出文書要約は、訓練中にラベル付き要約を用いることなく、文書から重要な文章を選択することを目的としている。 既存の手法は主にグラフベースで、文をノードとして、エッジの重みは文の類似性によって測定される。 教師なし抽出要約のための文のランク付けにはトランスフォーマーの注意が利用できることがわかった。
• 参考スコア（独自算出の注目度）: 107.12125265675483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised extractive document summarization aims to select important sentences from a document without using labeled summaries during training. Existing methods are mostly graph-based with sentences as nodes and edge weights measured by sentence similarities. In this work, we find that transformer attentions can be used to rank sentences for unsupervised extractive summarization. Specifically, we first pre-train a hierarchical transformer model using unlabeled documents only. Then we propose a method to rank sentences using sentence-level self-attentions and pre-training objectives. Experiments on CNN/DailyMail and New York Times datasets show our model achieves state-of-the-art performance on unsupervised summarization. We also find in experiments that our model is less dependent on sentence positions. When using a linear combination of our model and a recent unsupervised model explicitly modeling sentence positions, we obtain even better results.
• Abstract（参考訳）: 教師なし抽出文書要約(unsupervised extractive document summarization)は、訓練中にラベル付き要約を用いずに文書から重要な文を選択することを目的としている。 既存の手法は主にグラフベースで、文をノードとして、エッジ重量を文類似度で測定する。 本研究では,教師なし抽出要約のための文のランク付けにトランスフォーマーの注意を利用できることを示す。 具体的には,ラベルなし文書のみを用いて階層型トランスフォーマーモデルを事前学習した。 そこで本稿では,文レベルの自己意図と事前学習目標を用いた文のランク付け手法を提案する。 cnn/dailymail と new york times のデータセットを用いた実験により,教師なし要約による最先端のパフォーマンスが得られた。 また,本モデルでは文の位置に依存しない実験を行った。 我々のモデルと最近の教師なしモデルとの線形結合を用いて文の位置を明示的にモデル化する場合、さらによい結果が得られる。

関連論文リスト

• Bipartite Graph Pre-training for Unsupervised Extractive Summarization with Graph Convolutional Auto-Encoders [24.13261636386226]
  本研究は, 文章表現の正当性や特徴を最適化するプロセスから, 事前学習した埋め込みを活用することで, 重要な文のランク付けに役立てるものであることを論じる。 そこで本研究では,文埋め込みのためのグラフ事前学習オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2023-10-29T12:27:18Z)
• DiffuSum: Generation Enhanced Extractive Summarization with Diffusion [14.930704950433324]
  抽出要約は、ソース文書から直接文章を抽出することで要約を形成することを目的としている。 本稿では,抽出要約のための新しいパラダイムであるDiffuSumを提案する。 実験結果から, ROUGEスコアが44.83/22.56/40.56$のCNN/DailyMailにおけるDiffuSumの抽出結果が得られた。
  論文  参考訳（メタデータ） (2023-05-02T19:09:16Z)
• Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization [20.87460375478907]
  テキスト要約は、入力テキストの短い要約を生成することを目的としている。 本研究では,非自己回帰的教師なし要約手法を提案する。 実験により、NAUSは教師なし要約の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2022-05-28T21:09:23Z)
• Transductive Learning for Abstractive News Summarization [24.03781438153328]
  トランスダクティブラーニングの要約への最初の適用を提案する。 このアプローチはCNN/DMおよびNYTデータセットに最先端の結果をもたらすことを示しています。
  論文  参考訳（メタデータ） (2021-04-17T17:33:12Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction [31.648764677078837]
  自動要約は、その最も重要な情報を保存しながら、文章の短いバージョンを生成する。 我々はこれら2つの側面を言語モデリングと意味的類似度メトリクスからなる教師なし目的関数でモデル化する。 提案手法は,ROUGEスコアによる教師なし文要約のための新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2020-05-04T19:01:55Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)
• Semi-Supervised Models via Data Augmentationfor Classifying Interactive Affective Responses [85.04362095899656]
  本稿では、対話型感情応答を分類する半教師付きテキスト分類システムSMDA(Data Augmentation)を提案する。 ラベル付き文に対しては,ラベル分布の均一化と学習過程における教師付き損失の計算のためにデータ拡張を行った。 ラベルなし文に対しては,ラベルなし文に対する低エントロピー予測を擬似ラベルとして検討した。
  論文  参考訳（メタデータ） (2020-04-23T05:02:31Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。