論文の概要: Unsupervised Paraphrasing via Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2007.02244v1
• Date: Sun, 5 Jul 2020 05:54:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 07:47:11.327875
• Title: Unsupervised Paraphrasing via Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習による教師なしパラフレージング
• Authors: A. B. Siddique, Samet Oymak, Vagelis Hristidis
• Abstract要約: Progressive Unsupervised Paraphrasing (PUP) は、深層強化学習(DRL)に基づく教師なしのパラフレーズ生成法である。 PUPは変分オートエンコーダを使用して、DRLモデルをウォームスタートするシードパラフレーズを生成する。 そこでPUPは, 意味的妥当性, 言語流布度, 表現多様性の指標を組み合わせた, 新たな報酬関数によって導かれるシードパラフレーズを段階的に調整する。
• 参考スコア（独自算出の注目度）: 33.00732998036464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Paraphrasing is expressing the meaning of an input sentence in different wording while maintaining fluency (i.e., grammatical and syntactical correctness). Most existing work on paraphrasing use supervised models that are limited to specific domains (e.g., image captions). Such models can neither be straightforwardly transferred to other domains nor generalize well, and creating labeled training data for new domains is expensive and laborious. The need for paraphrasing across different domains and the scarcity of labeled training data in many such domains call for exploring unsupervised paraphrase generation methods. We propose Progressive Unsupervised Paraphrasing (PUP): a novel unsupervised paraphrase generation method based on deep reinforcement learning (DRL). PUP uses a variational autoencoder (trained using a non-parallel corpus) to generate a seed paraphrase that warm-starts the DRL model. Then, PUP progressively tunes the seed paraphrase guided by our novel reward function which combines semantic adequacy, language fluency, and expression diversity measures to quantify the quality of the generated paraphrases in each iteration without needing parallel sentences. Our extensive experimental evaluation shows that PUP outperforms unsupervised state-of-the-art paraphrasing techniques in terms of both automatic metrics and user studies on four real datasets. We also show that PUP outperforms domain-adapted supervised algorithms on several datasets. Our evaluation also shows that PUP achieves a great trade-off between semantic similarity and diversity of expression.
• Abstract（参考訳）: パラフレージング(パラフレージング、英: Paraphrasing)とは、異なる単語で入力文の意味を表現し、流用性(文法的、構文的正しさ)を維持すること。 言い換える作業の多くは、特定のドメインに限定された教師付きモデル(画像キャプションなど)を使用している。 このようなモデルは、直接他のドメインに転送することも、うまく一般化することもできず、新しいドメインのラベル付きトレーニングデータを作成することは高価で手間がかかる。 異なるドメインにまたがる言い回しの必要性や、多くのドメインでラベル付きトレーニングデータの不足は、教師なしの言い回し生成手法を探求することを求めている。 本稿では,深層強化学習(drl)に基づく新しい教師なしパラフレーズ生成法であるprogressive unsupervised paraphrasing (pup)を提案する。 PUPは変分オートエンコーダ(非並列コーパスを使用して訓練)を使用して、DRLモデルを温める種パラフレーズを生成する。 そこでPUPは, 文の並列化を必要とせず, 生成したパラフレーズの品質を定量化するために, 意味的妥当性, 言語流布度, 表現の多様性を組み合わせ, 新たな報酬関数によって導かれるシードパラフレーズを段階的に調整する。 PUPは,4つの実データセットにおける自動計測とユーザスタディの両方の観点から,教師なしのパラフレージング技術より優れていることを示す。 また、PUPは複数のデータセット上でドメイン適応型教師付きアルゴリズムよりも優れていることを示す。 また,PUPが意味的類似性と表現の多様性との間に大きなトレードオフをもたらすことを示す。

関連論文リスト

• Unsupervised Domain Adaptation for Sparse Retrieval by Filling Vocabulary and Word Frequency Gaps [12.573927420408365]
  事前訓練された言語モデルを用いたIRモデルはBM25のような語彙的アプローチよりも大幅に優れていた。 本稿では,語彙と単語周波数のギャップを埋めることによる教師なし領域適応手法を提案する。 提案手法は,現在最先端の領域適応法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-08T03:58:26Z)
• Unsupervised Syntactically Controlled Paraphrase Generation with Abstract Meaning Representations [59.10748929158525]
  抽象表現(AMR)は、教師なし構文制御されたパラフレーズ生成の性能を大幅に向上させることができる。 提案モデルであるAMRPGは,AMRグラフを符号化し,入力文を2つの非絡み合った意味的および構文的埋め込みに解析する。 実験により、AMRPGは既存の教師なしアプローチと比較して、定量的かつ質的に、より正確な構文制御されたパラフレーズを生成することが示された。
  論文  参考訳（メタデータ） (2022-11-02T04:58:38Z)
• Learning to Selectively Learn for Weakly-supervised Paraphrase Generation [81.65399115750054]
  弱監督データを用いた高品質なパラフレーズを生成するための新しい手法を提案する。 具体的には、弱制御されたパラフレーズ生成問題に以下のように取り組む。 検索に基づく擬似パラフレーズ展開により、豊富なラベル付き並列文を得る。 提案手法は,既存の教師なしアプローチよりも大幅に改善され,教師付き最先端技術と同等の性能を示す。
  論文  参考訳（メタデータ） (2021-09-25T23:31:13Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• A Correspondence Variational Autoencoder for Unsupervised Acoustic Word Embeddings [50.524054820564395]
  そこで本稿では,変数分割音声セグメントを固定次元表現にマッピングするための教師なしモデルを提案する。 結果として得られる音響単語の埋め込みは、低リソース言語とゼロリソース言語のための検索、発見、インデックスシステムの基礎を形成することができる。
  論文  参考訳（メタデータ） (2020-12-03T19:24:42Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Coupling Distant Annotation and Adversarial Training for Cross-Domain Chinese Word Segmentation [40.27961925319402]
  本論文は,中国語の単語セグメント化のための遠隔アノテーションと逆行訓練を併用することを提案する。 遠隔アノテーションのために、ターゲットドメインからの監視や事前定義された辞書を必要としない自動遠隔アノテーション機構を設計する。 逆行訓練では、音源領域情報の雑音低減と最大限の活用を行うための文レベルの訓練手法を開発する。
  論文  参考訳（メタデータ） (2020-07-16T08:54:17Z)
• Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood Ensemble [163.3333439344695]
  Dirichlet Neighborhood Ensemble (DNE) は、ロバストモデルを用いて置換攻撃を防御するランダムな平滑化手法である。 DNEは、単語とその同義語で区切られた凸殻から入力文中の各単語の埋め込みベクトルをサンプリングして仮想文を生成し、訓練データでそれらを増強する。 我々は,提案手法が最近提案した防衛手法を,異なるネットワークアーキテクチャと複数のデータセット間で有意差で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-20T18:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。