論文の概要: ARMAN: Pre-training with Semantically Selecting and Reordering of Sentences for Persian Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2109.04098v1
• Date: Thu, 9 Sep 2021 08:35:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-10 14:19:10.708180
• Title: ARMAN: Pre-training with Semantically Selecting and Reordering of Sentences for Persian Abstractive Summarization
• Title（参考訳）: ARMAN:ペルシャ抽象要約のための文のセマンティック選択と並べ替えによる事前学習
• Authors: Alireza Salemi, Emad Kebriaei, Ghazal Neisi Minaei, Azadeh Shakery
• Abstract要約: 本稿では,トランスフォーマーをベースとしたエンコーダデコーダモデルARMANを提案する。 ARMANでは、修正されたセマンティックスコアに基づいて文書からの有能な文が選択され、擬似要約を形成する。 提案手法は,ROUGEとBERTScoreで計測された6つの要約タスクに対して,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 7.16879432974126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abstractive text summarization is one of the areas influenced by the emergence of pre-trained language models. Current pre-training works in abstractive summarization give more points to the summaries with more words in common with the main text and pay less attention to the semantic similarity between generated sentences and the original document. We propose ARMAN, a Transformer-based encoder-decoder model pre-trained with three novel objectives to address this issue. In ARMAN, salient sentences from a document are selected according to a modified semantic score to be masked and form a pseudo summary. To summarize more accurately and similar to human writing patterns, we applied modified sentence reordering. We evaluated our proposed models on six downstream Persian summarization tasks. Experimental results show that our proposed model achieves state-of-the-art performance on all six summarization tasks measured by ROUGE and BERTScore. Our models also outperform prior works in textual entailment, question paraphrasing, and multiple choice question answering. Finally, we established a human evaluation and show that using the semantic score significantly improves summarization results.
• Abstract（参考訳）: 抽象テキスト要約は、事前訓練された言語モデルの出現に影響された分野の1つである。 抽象要約における現在の事前学習は、主文と共通する単語の多い要約により多くのポイントを与え、生成文と原文間の意味的類似性にはあまり注意を払わない。 本稿では,トランスフォーマーをベースとしたエンコーダデコーダモデルARMANを提案する。 ARMANでは、修正されたセマンティックスコアに基づいて文書からの有能な文が選択され、擬似要約を形成する。 人間の文章パターンをより正確に要約するために,修正文の並べ替えを適用した。 我々は,ペルシャ下流の6つの要約タスクについて提案モデルを評価した。 実験結果から,ROUGE とBERTScore が計測した6つの要約タスクに対して,提案モデルの有効性が示された。 私たちのモデルは、テキストのエンテーメント、質問のパラフレーズ、複数の選択の質問応答において、先行研究よりも優れています。 最後に,人間による評価を行い,意味スコアを用いることで要約結果が大幅に向上することを示す。

関連論文リスト

• Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization [0.05852077003870416]
  この研究は、トランスフォーマーベースのBARTモデルを利用して人間のような要約を行う。 エンコーダ・デコーダモデルの訓練および微調整において,多種多様なサンプル記事を用いて検証を行った。 微調整モデルの性能をベースライン事前訓練モデルと比較する。 BBC Newsの記事に載った実証的な結果は、人間によって書かれた金の標準要約の方が17%も現実的に一貫性があることを示している。
  論文  参考訳（メタデータ） (2024-10-22T09:25:04Z)
• Rank Your Summaries: Enhancing Bengali Text Summarization via Ranking-based Approach [0.0]
  本稿では,単純かつ効果的なランキングベースアプローチを用いて,与えられたテキストの最も正確かつ情報的な要約を特定することを目的とする。 事前学習した4つの要約モデルを用いて要約を生成し、次いでテキストランキングアルゴリズムを適用して最も適した要約を識別する。 実験結果から, 事前学習したトランスモデルの強度を利用して, ベンガル文字要約の精度と有効性を大幅に向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-07-14T15:07:20Z)
• Speech Summarization using Restricted Self-Attention [79.89680891246827]
  音声要約に最適化された単一モデルを提案する。 提案モデルでは,ハウ-2コーパスの音声を直接要約する手法が提案されている。
  論文  参考訳（メタデータ） (2021-10-12T18:21:23Z)
• Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
  本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。 得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-08-07T19:01:40Z)
• Transductive Learning for Abstractive News Summarization [24.03781438153328]
  トランスダクティブラーニングの要約への最初の適用を提案する。 このアプローチはCNN/DMおよびNYTデータセットに最先端の結果をもたらすことを示しています。
  論文  参考訳（メタデータ） (2021-04-17T17:33:12Z)
• Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers [107.12125265675483]
  教師なし抽出文書要約は、訓練中にラベル付き要約を用いることなく、文書から重要な文章を選択することを目的としている。 既存の手法は主にグラフベースで、文をノードとして、エッジの重みは文の類似性によって測定される。 教師なし抽出要約のための文のランク付けにはトランスフォーマーの注意が利用できることがわかった。
  論文  参考訳（メタデータ） (2020-10-16T08:44:09Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。