論文の概要: ConRPG: Paraphrase Generation using Contexts as Regularizer
- arxiv url: http://arxiv.org/abs/2109.00363v1
- Date: Wed, 1 Sep 2021 12:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 15:39:16.508365
- Title: ConRPG: Paraphrase Generation using Contexts as Regularizer
- Title（参考訳）: ConRPG: コンテキストを正規化子とするパラフレーズ生成
- Authors: Yuxian Meng, Xiang Ao, Qing He, Xiaofei Sun, Qinghong Han, Fei Wu,
Chun fan and Jiwei Li
- Abstract要約: パラフレーズ生成の長年の問題として、信頼できる監視信号を得る方法がある。
本稿では,同じ文脈で同じ意味を持つ2つの文を生成する確率が同じであるという仮定に基づいて,パラフレーズ生成のための教師なしパラダイムを提案する。
本稿では、文脈言語モデルに基づくパラフレーズ候補生成、スコアリング関数を用いた候補フィルタリング、選択した候補に基づくパラフレーズモデルトレーニングからなるパイプラインシステムを提案する。
- 参考スコア（独自算出の注目度）: 31.967883219986362
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A long-standing issue with paraphrase generation is how to obtain reliable
supervision signals. In this paper, we propose an unsupervised paradigm for
paraphrase generation based on the assumption that the probabilities of
generating two sentences with the same meaning given the same context should be
the same. Inspired by this fundamental idea, we propose a pipelined system
which consists of paraphrase candidate generation based on contextual language
models, candidate filtering using scoring functions, and paraphrase model
training based on the selected candidates. The proposed paradigm offers merits
over existing paraphrase generation methods: (1) using the context regularizer
on meanings, the model is able to generate massive amounts of high-quality
paraphrase pairs; and (2) using human-interpretable scoring functions to select
paraphrase pairs from candidates, the proposed framework provides a channel for
developers to intervene with the data generation process, leading to a more
controllable model. Experimental results across different tasks and datasets
demonstrate that the effectiveness of the proposed model in both supervised and
unsupervised setups.
- Abstract（参考訳）: パラフレーズ生成の長年の問題として、信頼できる監視信号を得る方法がある。
本稿では、同じ文脈で同じ意味を持つ2つの文を生成する確率は同じであるべきという仮定に基づいて、パラフレーズ生成のための教師なしパラダイムを提案する。
この基本的な考え方に触発されて,文脈言語モデルに基づくパラフレーズ候補生成,スコアリング関数を用いた候補フィルタリング,選択した候補に基づくパラフレーズモデルトレーニングからなるパイプラインシステムを提案する。
提案手法は,(1)意味の文脈正規化子を用い,大量のハイクオリティなparaphraseペアを生成すること,(2)候補からparaphraseペアを選択するためのヒューマン・コンタプリタブル・スコアリング機能を使用することにより,開発者がデータ生成プロセスに介入できるチャネルを提供し,より制御可能なモデルを実現すること,など,既存のparaphrase生成手法に対するメリットを提供する。
異なるタスクとデータセットにおける実験の結果は、教師なしと教師なしの両方のセットアップにおいて、提案モデルの有効性を示している。
関連論文リスト
- One2set + Large Language Model: Best Partners for Keyphrase Generation [42.969689556605005]
キーワード生成(KPG)は、与えられたドキュメントの中核概念を表すフレーズの集合を自動的に生成することを目的としている。
KPGを2つのステップに分解するジェネレータ-then-selectフレームワークを導入し、候補を生成するために12setベースのモデルをジェネレータとして採用し、LLMをセレクタとして使用し、これらの候補からキーフレーズを選択する。
我々のフレームワークは最先端のモデル、特にキーフレーズの欠如をはるかに上回っている。
論文 参考訳（メタデータ） (2024-10-04T13:31:09Z) - Unsupervised Syntactically Controlled Paraphrase Generation with
Abstract Meaning Representations [59.10748929158525]
抽象表現(AMR)は、教師なし構文制御されたパラフレーズ生成の性能を大幅に向上させることができる。
提案モデルであるAMRPGは,AMRグラフを符号化し,入力文を2つの非絡み合った意味的および構文的埋め込みに解析する。
実験により、AMRPGは既存の教師なしアプローチと比較して、定量的かつ質的に、より正確な構文制御されたパラフレーズを生成することが示された。
論文 参考訳（メタデータ） (2022-11-02T04:58:38Z) - Learning to Selectively Learn for Weakly-supervised Paraphrase
Generation [81.65399115750054]
弱監督データを用いた高品質なパラフレーズを生成するための新しい手法を提案する。
具体的には、弱制御されたパラフレーズ生成問題に以下のように取り組む。
検索に基づく擬似パラフレーズ展開により、豊富なラベル付き並列文を得る。
提案手法は,既存の教師なしアプローチよりも大幅に改善され,教師付き最先端技術と同等の性能を示す。
論文 参考訳（メタデータ） (2021-09-25T23:31:13Z) - Towards Document-Level Paraphrase Generation with Sentence Rewriting and
Reordering [88.08581016329398]
文書レベルのパラフレーズ生成のためのCoRPG(Coherence Relation Guided Paraphrase Generation)を提案する。
グラフGRUを用いて、コヒーレンス関係グラフを符号化し、各文のコヒーレンス対応表現を得る。
我々のモデルは、より多様性とセマンティックな保存を伴う文書パラフレーズを生成することができる。
論文 参考訳（メタデータ） (2021-09-15T05:53:40Z) - Paraphrase Generation as Unsupervised Machine Translation [30.99150547499427]
タスクを教師なし機械翻訳(UMT)として扱うことで、新しいパラフレーズ生成パラダイムを提案する。
提案したパラダイムは,まず大きなラベルのないコーパスを複数のクラスタに分割し,これらのクラスタのペアを用いて複数のUTTモデルを訓練する。
すると、これらのUTTモデルによって生成されたパラフレーズペアに基づいて、統一的なサロゲートモデルが最後のSeq2Seqモデルとして機能してパラフレーズを生成するように訓練することができる。
論文 参考訳（メタデータ） (2021-09-07T09:08:58Z) - Sentence Similarity Based on Contexts [31.135984064747607]
提案するフレームワークは,文の意味を文脈によって定義する,という中核的な考え方に基づいている。
2つの文間の意味的類似度スコアを教師なしの方法で高品質の大規模データセットを生成することができます。
論文 参考訳（メタデータ） (2021-05-17T06:03:56Z) - Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。
我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
論文 参考訳（メタデータ） (2020-10-26T21:34:39Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。
提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
論文 参考訳（メタデータ） (2020-10-12T17:02:50Z) - Unsupervised Paraphrase Generation using Pre-trained Language Models [0.0]
OpenAIのGPT-2は、流動的で、十分に定式化された、文法的に一貫性のあるテキストを生成する能力で有名である。
我々は、GPT-2のこの生成能力を活用し、ラベル付きデータから何の監督も受けずにパラフレーズを生成する。
実験の結果,我々のモデルで生成したパラフレーズは質が良く,多種多様であり,データ拡張に使用する場合のダウンストリームタスク性能が向上することがわかった。
論文 参考訳（メタデータ） (2020-06-09T19:40:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。