論文の概要: Deep Reinforced Self-Attention Masks for Abstractive Summarization
(DR.SAS)
- arxiv url: http://arxiv.org/abs/2001.00009v1
- Date: Mon, 30 Dec 2019 01:32:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-17 02:33:24.449379
- Title: Deep Reinforced Self-Attention Masks for Abstractive Summarization
(DR.SAS)
- Title(参考訳): 抽象要約(DR.SAS)のための深部強化自己注意マスク
- Authors: Ankit Chadha and Mohamed Masoud
- Abstract要約: 本稿では,CNN/DMデータ集合に基づく抽象的な要約問題に対処する新しいアーキテクチャ手法を提案する。
要約品質を向上させるためにトランスフォーマーの微妙な注意を学習する限界を検証した。
我々のモデルは、ROUGEの報酬よりも最適化されているため、より抽出的かつ実効的だが、詳細はコヒーレントである傾向にある。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel architectural scheme to tackle the abstractive
summarization problem based on the CNN/DMdataset which fuses Reinforcement
Learning (RL) withUniLM, which is a pre-trained Deep Learning Model, to solve
various natural language tasks. We have tested the limits of learning
fine-grained attention in Transformers to improve the summarization quality.
UniLM applies attention to the entire token space in a global fashion. We
propose DR.SAS which applies the Actor-Critic (AC) algorithm to learn a dynamic
self-attention distribution over the tokens to reduce redundancy and generate
factual and coherent summaries to improve the quality of summarization. After
performing hyperparameter tuning, we achievedbetter ROUGE results compared to
the baseline. Our model tends to be more extractive/factual yet coherent in
detail because of optimization over ROUGE rewards. We present detailed error
analysis with examples of the strengths and limitations of our model. Our
codebase will be publicly available on our GitHub.
- Abstract(参考訳): 本稿では,事前学習されたディープラーニングモデルであるunilmと強化学習(rl)を融合させたcnn/dmdatasetに基づく抽象的要約問題に対処し,様々な自然言語課題を解決するための新しいアーキテクチャスキームを提案する。
要約品質を向上させるためにトランスフォーマーの微妙な注意を学習する限界を検証した。
UniLMは、グローバルな方法でトークン空間全体に注意を向けます。
本稿では,アクタ・クリティカル(AC)アルゴリズムを用いてトークン上の動的自己アテンション分布を学習し,冗長性を低減し,現実的かつ一貫性のある要約を生成し,要約の質を向上するDR.SASを提案する。
ハイパーパラメータチューニングを行った結果,ベースラインと比較してROUGEを達成できた。
我々のモデルは、ROUGEの報酬に対する最適化のため、より抽出的かつ実効的だが詳細は一貫性がある傾向にある。
本稿では,モデルの強みと限界を例に,詳細な誤差解析を行う。
コードベースはgithubで公開される予定だ。
関連論文リスト
- Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳(メタデータ) (2024-02-22T04:10:57Z) - AMRFact: Enhancing Summarization Factuality Evaluation with AMR-driven
Training Data Generation [63.18211192998151]
本稿では,現実的に一貫性のない要約を生成する新しいフレームワークであるAMRFactを提案する。
提案手法は, 現実的に正しい要約をAMRグラフに解析し, 否定的な例を生成するために制御された事実矛盾を注入する。
提案手法は,AggreFact-SOTAデータセットにおいて,従来のシステムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳(メタデータ) (2023-10-06T16:36:08Z) - Language as a Latent Sequence: deep latent variable models for
semi-supervised paraphrase generation [47.33223015862104]
本稿では,観測されたテキストから遅延シーケンス推論を行うVSARという新しい教師なしモデルを提案する。
また、テキストペアからの情報を活用するために、提案したVSARモデルと統合するために設計されたDDLと呼ばれる新しい教師付きモデルを導入する。
実験により, このモデルを組み合わせることで, 完全データに基づく最先端の教師付きベースラインに対して, 競争性能が向上することが示唆された。
論文 参考訳(メタデータ) (2023-01-05T19:35:30Z) - Inverse Reinforcement Learning for Text Summarization [52.765898203824975]
本稿では,抽象的な要約モデルを学習するための効果的なパラダイムとして,逆強化学習(IRL)を導入する。
異なる領域におけるデータセット間の実験結果は、MLEおよびRLベースラインに対する要約のための提案したIRLモデルの優位性を示す。
論文 参考訳(メタデータ) (2022-12-19T23:45:05Z) - Learning Non-Autoregressive Models from Search for Unsupervised Sentence
Summarization [20.87460375478907]
テキスト要約は、入力テキストの短い要約を生成することを目的としている。
本研究では,非自己回帰的教師なし要約手法を提案する。
実験により、NAUSは教師なし要約の最先端性能を達成することが示された。
論文 参考訳(メタデータ) (2022-05-28T21:09:23Z) - Virtual Data Augmentation: A Robust and General Framework for
Fine-tuning Pre-trained Models [51.46732511844122]
強力な事前訓練型言語モデル(PLM)は、小さな摂動や意図的な攻撃によって騙されることがある。
VDA(Virtual Data Augmentation)は,PLMを高度に微調整するための一般的なフレームワークである。
本手法は, PLMの堅牢性を向上し, 敵攻撃時の性能劣化を軽減する。
論文 参考訳(メタデータ) (2021-09-13T09:15:28Z) - Generative Adversarial Networks for Annotated Data Augmentation in Data
Sparse NLU [0.76146285961466]
データスパーシティは、自然言語理解におけるモデル開発に関連する重要な課題の1つです。
GAN (Sequence Generative Adversarial Network) を用いたトレーニングデータ拡張によるNLUモデルの性能向上について報告する。
本実験により, 逐次生成逆数ネットワークを用いて生成した合成データにより, 複数の指標間で大きな性能向上が得られた。
論文 参考訳(メタデータ) (2020-12-09T20:38:17Z) - Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。
我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。
実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
論文 参考訳(メタデータ) (2020-10-06T02:51:02Z) - Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven
Cloze Reward [42.925345819778656]
本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。
本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。
その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
論文 参考訳(メタデータ) (2020-05-03T18:23:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。