論文の概要: Generative Pre-training for Paraphrase Generation by Representing and
Predicting Spans in Exemplars
- arxiv url: http://arxiv.org/abs/2011.14344v1
- Date: Sun, 29 Nov 2020 11:36:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-07 09:05:11.226095
- Title: Generative Pre-training for Paraphrase Generation by Representing and
Predicting Spans in Exemplars
- Title（参考訳）: スペンスの表現と予測によるパラフレーズ生成のための生成事前学習
- Authors: Tien-Cuong Bui, Van-Duc Le, Hai-Thien To and Sang Kyun Cha
- Abstract要約: 本稿では, GPT-2モデルから拡張した言い換え文に対する新しいアプローチを提案する。
本研究では,POSタグを用いたテンプレートマスキング手法を開発し,無関係な単語をマスクアウトする。
提案手法は,特に意味保存面において,競争基準よりも優れている。
- 参考スコア（独自算出の注目度）: 0.8411385346896411
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Paraphrase generation is a long-standing problem and serves an essential role
in many natural language processing problems. Despite some encouraging results,
recent methods either confront the problem of favoring generic utterance or
need to retrain the model from scratch for each new dataset. This paper
presents a novel approach to paraphrasing sentences, extended from the GPT-2
model. We develop a template masking technique, named first-order masking, to
masked out irrelevant words in exemplars utilizing POS taggers. So that, the
paraphrasing task is changed to predicting spans in masked templates. Our
proposed approach outperforms competitive baselines, especially in the semantic
preservation aspect. To prevent the model from being biased towards a given
template, we introduce a technique, referred to as second-order masking, which
utilizes Bernoulli distribution to control the visibility of the
first-order-masked template's tokens. Moreover, this technique allows the model
to provide various paraphrased sentences in testing by adjusting the
second-order-masking level. For scale-up objectives, we compare the performance
of two alternatives template-selection methods, which shows that they were
equivalent in preserving semantic information.
- Abstract（参考訳）: パラフレーズ生成は長年の問題であり、多くの自然言語処理問題において重要な役割を果たす。
奨励的な結果にもかかわらず、最近の手法では、ジェネリックな発話を好むという問題に直面したり、新しいデータセットごとにモデルをスクラッチから再トレーニングする必要がある。
本稿では, GPT-2モデルから拡張した言い換え文に対する新しいアプローチを提案する。
本研究では,POSタグを用いたテンプレートマスキング手法を開発し,無関係な単語をマスクアウトする。
そのため、パラフレーズタスクは、マスク付きテンプレートでスパンを予測するように変更される。
提案手法は,特に意味保存の面で,競争ベースラインを上回っている。
モデルが与えられたテンプレートに偏りを生じないように,Bernolli分布を用いた2次マスキングと呼ばれる手法を導入し,その1次マスキングテンプレートのトークンの可視性を制御する。
さらに,この手法により,2次マスキングレベルを調整することで,様々なパラフレーズ文をテストで提供することができる。
本稿では,2種類のテンプレート選択手法の性能を比較し,意味情報の保存に等価であることを示す。
関連論文リスト
- Translate First Reorder Later: Leveraging Monotonicity in Semantic
Parsing [4.396860522241306]
TPolは2段階のアプローチであり、入力文を単調に翻訳し、正しい出力を得るために再注文する。
2つの一般的なセマンティックパーシングデータセットでアプローチをテストする。
論文 参考訳（メタデータ） (2022-10-10T17:50:42Z) - Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing [110.4684789199555]
シナリオベースのセマンティックパーシングを導入し、最初に発話の「scenario」を曖昧にする必要がある元のタスクの変種を紹介します。
この定式化により、タスクの粗くきめ細かな側面を分離することが可能となり、それぞれがオフザシェルフニューラルネットワークモジュールで解決される。
私たちのモデルはモジュール化され、差別化可能で、解釈可能で、シナリオから余分な監督を得られるようになります。
論文 参考訳（メタデータ） (2022-02-02T08:00:21Z) - Paraphrase Generation as Unsupervised Machine Translation [30.99150547499427]
タスクを教師なし機械翻訳(UMT)として扱うことで、新しいパラフレーズ生成パラダイムを提案する。
提案したパラダイムは,まず大きなラベルのないコーパスを複数のクラスタに分割し,これらのクラスタのペアを用いて複数のUTTモデルを訓練する。
すると、これらのUTTモデルによって生成されたパラフレーズペアに基づいて、統一的なサロゲートモデルが最後のSeq2Seqモデルとして機能してパラフレーズを生成するように訓練することができる。
論文 参考訳（メタデータ） (2021-09-07T09:08:58Z) - Mask-Align: Self-Supervised Neural Word Alignment [47.016975106231875]
Mask-Alignは、単語アライメントタスク用に特別に設計された自己監督モデルです。
我々のモデルでは,各トークンを並列にマスクし,予測し,教師付き損失を伴わずに高品質なアライメントを抽出する。
論文 参考訳（メタデータ） (2020-12-13T21:44:29Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Neural Mask Generator: Learning to Generate Adaptive Word Maskings for
Language Model Adaptation [63.195935452646815]
本稿では,自己教師付き事前学習のためのテキストのドメイン適応マスキングとタスク適応マスキングを自動生成する手法を提案する。
本稿では,マスキング政策を学習する新しい強化学習フレームワークを提案する。
我々はいくつかの質問応答とテキスト分類データセットに基づいてニューラルマスク生成器(NMG)を検証する。
論文 参考訳（メタデータ） (2020-10-06T13:27:01Z) - Masking as an Efficient Alternative to Finetuning for Pretrained
Language Models [49.64561153284428]
我々は、微調整によって修正する代わりに、事前訓練された重量に対する選択的な二乗マスクを学習する。
内在的評価では、マスキング言語モデルによって計算された表現が、下流タスクの解決に必要な情報を符号化していることを示す。
論文 参考訳（メタデータ） (2020-04-26T15:03:47Z) - UniLMv2: Pseudo-Masked Language Models for Unified Language Model
Pre-Training [152.63467944568094]
本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。
実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
論文 参考訳（メタデータ） (2020-02-28T15:28:49Z) - Semi-Autoregressive Training Improves Mask-Predict Decoding [119.8412758943192]
本研究では,マスク予測の半自己回帰動作を模倣した条件付きマスキング言語モデルSMARTを提案する。
SMARTでトレーニングされたモデルは、マスク予測デコードを使用すると高品質な変換を生成し、完全な自己回帰モデルで残りの性能ギャップを効果的に閉じる。
論文 参考訳（メタデータ） (2020-01-23T19:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。