論文の概要: Abstractive Summarization with Combination of Pre-trained Sequence-to-Sequence and Saliency Models

• arxiv url: http://arxiv.org/abs/2003.13028v1
• Date: Sun, 29 Mar 2020 14:00:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 13:30:30.619223
• Title: Abstractive Summarization with Combination of Pre-trained Sequence-to-Sequence and Saliency Models
• Title（参考訳）: 事前学習されたシーケンス列列とサルジェンシーモデルを組み合わせた抽象的要約
• Authors: Itsumi Saito, Kyosuke Nishida, Kosuke Nishida, Junji Tomita
• Abstract要約: 本稿では,テキストの重要部分と事前学習したSeq-to-seqモデルとの相性モデルの有効性について検討する。 組み合わせモデルは、CNN/DMとXSumの両方のデータセット上で、単純な微調整のSeq-to-seqモデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 11.420640383826656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained sequence-to-sequence (seq-to-seq) models have significantly improved the accuracy of several language generation tasks, including abstractive summarization. Although the fluency of abstractive summarization has been greatly improved by fine-tuning these models, it is not clear whether they can also identify the important parts of the source text to be included in the summary. In this study, we investigated the effectiveness of combining saliency models that identify the important parts of the source text with the pre-trained seq-to-seq models through extensive experiments. We also proposed a new combination model consisting of a saliency model that extracts a token sequence from a source text and a seq-to-seq model that takes the sequence as an additional input text. Experimental results showed that most of the combination models outperformed a simple fine-tuned seq-to-seq model on both the CNN/DM and XSum datasets even if the seq-to-seq model is pre-trained on large-scale corpora. Moreover, for the CNN/DM dataset, the proposed combination model exceeded the previous best-performed model by 1.33 points on ROUGE-L.
• Abstract（参考訳）: 事前訓練されたシーケンス・ツー・シークエンス(seq-to-seq)モデルは抽象的な要約を含む複数の言語生成タスクの精度を大幅に向上させた。 これらのモデルを微調整することで抽象要約の流束は大幅に改善されているが、要約に含まれるソーステキストの重要な部分も特定できるかどうかは不明である。 本研究では,テキストの重要部分と事前学習したSeq-to-seqモデルとを,広範囲な実験により同定するサリエンシモデルの有効性を検討した。 また,ソーステキストからトークンシーケンスを抽出するsaliencyモデルと,そのシーケンスを追加入力テキストとするseq-to-seqモデルを組み合わせた新しい組み合わせモデルを提案した。 実験結果から,CNN/DMとXSumの両方のデータセットにおいて,Seq-to-seqモデルが大規模コーパス上で事前学習されても,単純な微調整Seq-to-seqモデルよりも優れた結果が得られた。 さらに、CNN/DMデータセットの場合、提案した組み合わせモデルはROUGE-Lの1.33ポイント以上である。

関連論文リスト

• Seq2seq is All You Need for Coreference Resolution [26.551602768015986]
  トレーニング済みのseq2seq変換器を微調整し、コア参照アノテーションを符号化したタグ付きシーケンスに入力文書をマッピングする。 我々のモデルは、データセットの配列に関する文献の中で最高のコア参照システムより優れているか、あるいは密に一致します。
  論文  参考訳（メタデータ） (2023-10-20T19:17:22Z)
• Calibrating Likelihoods towards Consistency in Summarization Models [22.023863165579602]
  このような振る舞いの主な理由は、最大極大目標で訓練された要約モデルが、文脈が与えられた有理系列に高い確率を割り当てることである。 本研究では、自然言語推論(NLI)モデルにより測定された一貫性の測定値と整合性を高めるために、モデル生成シーケンスの可能性を校正することで、この問題を解決する。
  論文  参考訳（メタデータ） (2023-10-12T23:17:56Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• DiffuSeq: Sequence to Sequence Text Generation with Diffusion Models [15.913828295673705]
  DiffuSeqは、Seq2Seq(Seq2Seq)テキスト生成タスク用に設計された拡散モデルである。 DiffuSeqは6つの確立されたベースラインよりも同等あるいはそれ以上のパフォーマンスを実現していることを示す。 理論解析により、DiffuSeqと自己回帰/非自己回帰モデルとの関係が明らかになる。
  論文  参考訳（メタデータ） (2022-10-17T10:49:08Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Unlocking Compositional Generalization in Pre-trained Models Using Intermediate Representations [27.244943870086175]
  seq2seq(sequence-to-sequence)モデルは、分散構成の一般化に苦しむことが知られている。 事前訓練されたseq2seqモデルにおける中間表現が組成一般化に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-04-15T14:15:14Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。