論文の概要: Learning to Selectively Learn for Weakly-supervised Paraphrase Generation

• arxiv url: http://arxiv.org/abs/2109.12457v1
• Date: Sat, 25 Sep 2021 23:31:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-30 07:21:39.493903
• Title: Learning to Selectively Learn for Weakly-supervised Paraphrase Generation
• Title（参考訳）: 弱教師付きパラフレーズ生成のための選択的学習
• Authors: Kaize Ding, Dingcheng Li, Alexander Hanbo Li, Xing Fan, Chenlei Guo, Yang Liu and Huan Liu
• Abstract要約: 弱監督データを用いた高品質なパラフレーズを生成するための新しい手法を提案する。 具体的には、弱制御されたパラフレーズ生成問題に以下のように取り組む。 検索に基づく擬似パラフレーズ展開により、豊富なラベル付き並列文を得る。 提案手法は,既存の教師なしアプローチよりも大幅に改善され,教師付き最先端技術と同等の性能を示す。
• 参考スコア（独自算出の注目度）: 81.65399115750054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Paraphrase generation is a longstanding NLP task that has diverse applications for downstream NLP tasks. However, the effectiveness of existing efforts predominantly relies on large amounts of golden labeled data. Though unsupervised endeavors have been proposed to address this issue, they may fail to generate meaningful paraphrases due to the lack of supervision signals. In this work, we go beyond the existing paradigms and propose a novel approach to generate high-quality paraphrases with weak supervision data. Specifically, we tackle the weakly-supervised paraphrase generation problem by: (1) obtaining abundant weakly-labeled parallel sentences via retrieval-based pseudo paraphrase expansion; and (2) developing a meta-learning framework to progressively select valuable samples for fine-tuning a pre-trained language model, i.e., BART, on the sentential paraphrasing task. We demonstrate that our approach achieves significant improvements over existing unsupervised approaches, and is even comparable in performance with supervised state-of-the-arts.
• Abstract（参考訳）: パラフレーズ生成は、下流のNLPタスクに様々な応用がある長年のNLPタスクである。 しかし、既存の取り組みの有効性は主に大量のゴールデンラベルデータに依存している。 この問題に対処するために教師なしの取り組みが提案されているが、監督信号の欠如により意味のある言い回しを起こさない可能性がある。 本研究では,既存のパラダイムを超越し,弱い監督データを持つ高品質なパラフレーズを生成するための新しい手法を提案する。 具体的には,(1)検索に基づく疑似言い換え拡張により,豊富な弱ラベルの並列文を得る,(2)事前学習された言語モデル,すなわちbartの微調整のための貴重なサンプルを段階的に選択するメタ学習フレームワークを開発すること、等により,弱教師付き言い換え生成問題に取り組む。 提案手法は,既存の教師なしアプローチよりも大幅に改善され,教師付き最先端技術と同等の性能を示す。

関連論文リスト

• Unsupervised Syntactically Controlled Paraphrase Generation with Abstract Meaning Representations [59.10748929158525]
  抽象表現(AMR)は、教師なし構文制御されたパラフレーズ生成の性能を大幅に向上させることができる。 提案モデルであるAMRPGは,AMRグラフを符号化し,入力文を2つの非絡み合った意味的および構文的埋め込みに解析する。 実験により、AMRPGは既存の教師なしアプローチと比較して、定量的かつ質的に、より正確な構文制御されたパラフレーズを生成することが示された。
  論文  参考訳（メタデータ） (2022-11-02T04:58:38Z)
• Learning from Bootstrapping and Stepwise Reinforcement Reward: A Semi-Supervised Framework for Text Style Transfer [30.622772801446132]
  テキストスタイル転送のための半教師付きフレームワークを提案する。 まず、擬似並列ペアを自動構築し、教師付きで学習プロセスをブートストラップする。 そして、モデルは強化報酬を通じてラベルなしのデータから学習する。
  論文  参考訳（メタデータ） (2022-05-19T05:18:06Z)
• Entailment Relation Aware Paraphrase Generation [17.6146622291895]
  本稿では、既存のパラフレーズと自然言語推論コーパスを用いて学習できる強化学習に基づく弱教師付きパラフレーズシステムERAPを提案する。 自動評価と人的評価の組み合わせは、ERAPが特定の包含関係に従ってパラフレーズを生成することを示している。
  論文  参考訳（メタデータ） (2022-03-20T08:02:09Z)
• Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
  本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。 我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
  論文  参考訳（メタデータ） (2022-01-06T11:00:49Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• ConRPG: Paraphrase Generation using Contexts as Regularizer [31.967883219986362]
  パラフレーズ生成の長年の問題として、信頼できる監視信号を得る方法がある。 本稿では,同じ文脈で同じ意味を持つ2つの文を生成する確率が同じであるという仮定に基づいて,パラフレーズ生成のための教師なしパラダイムを提案する。 本稿では、文脈言語モデルに基づくパラフレーズ候補生成、スコアリング関数を用いた候補フィルタリング、選択した候補に基づくパラフレーズモデルトレーニングからなるパイプラインシステムを提案する。
  論文  参考訳（メタデータ） (2021-09-01T12:57:30Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Reflective Decoding: Beyond Unidirectional Generation with Off-the-Shelf Language Models [63.808843089941405]
  大規模な事前訓練された言語モデル(LM)は、顕著な品質のテキストを生成するが、左から右へ連続的にしか生成しない。 非順序タスクへの一方向LMの直接適用を可能にする新しい教師なしアルゴリズムであるReflective Decodingを提案する。 2段階のアプローチでは、監視もパラレルコーパスも必要ありません。
  論文  参考訳（メタデータ） (2020-10-16T18:02:07Z)
• Unsupervised Paraphrase Generation using Pre-trained Language Models [0.0]
  OpenAIのGPT-2は、流動的で、十分に定式化された、文法的に一貫性のあるテキストを生成する能力で有名である。 我々は、GPT-2のこの生成能力を活用し、ラベル付きデータから何の監督も受けずにパラフレーズを生成する。 実験の結果,我々のモデルで生成したパラフレーズは質が良く,多種多様であり,データ拡張に使用する場合のダウンストリームタスク性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-06-09T19:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。