論文の概要: Learning from Bootstrapping and Stepwise Reinforcement Reward: A
Semi-Supervised Framework for Text Style Transfer
- arxiv url: http://arxiv.org/abs/2205.09324v1
- Date: Thu, 19 May 2022 05:18:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 12:05:47.111356
- Title: Learning from Bootstrapping and Stepwise Reinforcement Reward: A
Semi-Supervised Framework for Text Style Transfer
- Title（参考訳）: ブートストラップとステップワイズ強化リワードから学ぶ:テキストスタイル転送のための半スーパービジョンフレームワーク
- Authors: Zhengyuan Liu, Nancy F. Chen
- Abstract要約: テキストスタイル転送のための半教師付きフレームワークを提案する。
まず、擬似並列ペアを自動構築し、教師付きで学習プロセスをブートストラップする。
そして、モデルは強化報酬を通じてラベルなしのデータから学習する。
- 参考スコア（独自算出の注目度）: 30.622772801446132
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text style transfer is an important task in controllable language generation.
Supervised approaches have pushed performance improvement on style-oriented
rewriting such as formality conversion. However, challenges remain due to the
scarcity of large-scale parallel data in many domains. While unsupervised
approaches do not rely on annotated sentence pairs for each style, they are
often plagued with instability issues such as mode collapse or quality
degradation. To take advantage of both supervised and unsupervised paradigms
and tackle the challenges, in this work, we propose a semi-supervised framework
for text style transfer. First, the learning process is bootstrapped with
supervision guided by automatically constructed pseudo-parallel pairs using
lexical and semantic-based methods. Then the model learns from unlabeled data
via reinforcement rewards. Specifically, we propose to improve the
sequence-to-sequence policy gradient via stepwise reward optimization,
providing fine-grained learning signals and stabilizing the reinforced learning
process. Experimental results show that the proposed approach achieves
state-of-the-art performance on multiple datasets, and produces effective
generation with as minimal as 10\% of training data.
- Abstract（参考訳）: テキストスタイル転送は、制御可能な言語生成において重要なタスクである。
教師付きアプローチは形式変換のようなスタイル指向の書き換えのパフォーマンス向上を促した。
しかし、多くの領域で大規模並列データが不足しているため、課題は残る。
教師なしのアプローチでは各スタイルに注釈付き文対は依存しないが、モード崩壊や品質劣化といった不安定な問題に悩まされることが多い。
本研究では,教師なしと教師なしの両方のパラダイムを活用し,課題に取り組むため,テキストスタイル転送のための半教師なしフレームワークを提案する。
まず、語彙と意味に基づく手法を用いて擬似並列ペアを自動構築し、教師付きで学習プロセスをブートストラップする。
そして、モデルがラベルのないデータから強化報酬を通じて学習する。
具体的には,段階的な報酬最適化,きめ細かな学習信号の提供,強化学習プロセスの安定化などを通じて,シーケンス・ツー・シーケンスの政策勾配を改善することを提案する。
実験の結果,提案手法は,複数のデータセットにおいて最先端のパフォーマンスを達成し,最大10\%のトレーニングデータで効率的な生成を実現することがわかった。
関連論文リスト
- Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。
実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-06-06T15:17:51Z) - Sequential Visual and Semantic Consistency for Semi-supervised Text
Recognition [56.968108142307976]
Scene Text Recognition (STR) は、大規模なアノテートデータを必要とする課題である。
既存のSTR法の多くは、STRモデルの性能を低下させ、ドメイン差を生じさせる合成データに頼っている。
本稿では,視覚的・意味的両面から単語レベルの整合性正則化を取り入れたSTRの半教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2024-02-24T13:00:54Z) - Prefix-Tuning Based Unsupervised Text Style Transfer [29.86587278794342]
教師なしテキストスタイル転送は、その内容を保持しながら入力文のスタイルを変更することができる生成モデルを訓練することを目的としている。
本稿では,事前学習された強力な大規模言語モデルを用いて,教師なしテキストスタイル転送のためのプレフィックス・チューニング方式を提案する。
論文 参考訳（メタデータ） (2023-10-23T06:13:08Z) - Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。
並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。
テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
論文 参考訳（メタデータ） (2022-04-15T07:38:08Z) - $\textit{latent}$-GLAT: Glancing at Latent Variables for Parallel Text
Generation [65.29170569821093]
並列テキスト生成は、ジェネレーション効率の成功により、広く注目を集めています。
本稿では,単語分類情報を取得するために,離散潜在変数を用いた$textitlatent$-GLATを提案する。
実験結果から,本手法は自己回帰モデルを用いることなく,強いベースラインを達成できることが示唆された。
論文 参考訳（メタデータ） (2022-04-05T07:34:12Z) - Gradient-guided Unsupervised Text Style Transfer via Contrastive
Learning [6.799826701166569]
そこで本研究では,テキストスタイル転送のためのコントラストパラダイムによる勾配誘導モデルを提案し,類似した意味文を明示的に収集する。
2つのデータセットの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2022-01-23T12:45:00Z) - Bridge the Gap Between CV and NLP! A Gradient-based Textual Adversarial
Attack Framework [17.17479625646699]
そこで本研究では,テキストの敵対的サンプルを作成するための統一的なフレームワークを提案する。
本稿では,T-PGD(Textual Projected Gradient Descent)という攻撃アルゴリズムを用いて,我々のフレームワークをインスタンス化する。
論文 参考訳（メタデータ） (2021-10-28T17:31:51Z) - Learning to Selectively Learn for Weakly-supervised Paraphrase
Generation [81.65399115750054]
弱監督データを用いた高品質なパラフレーズを生成するための新しい手法を提案する。
具体的には、弱制御されたパラフレーズ生成問題に以下のように取り組む。
検索に基づく擬似パラフレーズ展開により、豊富なラベル付き並列文を得る。
提案手法は,既存の教師なしアプローチよりも大幅に改善され,教師付き最先端技術と同等の性能を示す。
論文 参考訳（メタデータ） (2021-09-25T23:31:13Z) - Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。
ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。
雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
論文 参考訳（メタデータ） (2021-06-14T18:48:40Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。