論文の概要: NAST: A Non-Autoregressive Generator with Word Alignment for Unsupervised Text Style Transfer

• arxiv url: http://arxiv.org/abs/2106.02210v1
• Date: Fri, 4 Jun 2021 02:23:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 15:10:19.266096
• Title: NAST: A Non-Autoregressive Generator with Word Alignment for Unsupervised Text Style Transfer
• Title（参考訳）: NAST:教師なしテキストスタイル転送のための単語アライメント付き非自動生成装置
• Authors: Fei Huang, Zikai Chen, Chen Henry Wu, Qihan Guo, Xiaoyan Zhu, Minlie Huang
• Abstract要約: 教師なしテキストスタイル転送(NAST)のための非自己回帰生成器を提案する。 提案するジェネレータは,スタイル間の単語レベルの伝達を学習する,一致した単語間の接続に焦点を当てている。 その結果、NASTは全体的な性能を大幅に改善し、説明可能な単語アライメントを提供することができた。
• 参考スコア（独自算出の注目度）: 35.46186429606169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive models have been widely used in unsupervised text style transfer. Despite their success, these models still suffer from the content preservation problem that they usually ignore part of the source sentence and generate some irrelevant words with strong styles. In this paper, we propose a Non-Autoregressive generator for unsupervised text Style Transfer (NAST), which alleviates the problem from two aspects. First, we observe that most words in the transferred sentence can be aligned with related words in the source sentence, so we explicitly model word alignments to suppress irrelevant words. Second, existing models trained with the cycle loss align sentences in two stylistic text spaces, which lacks fine-grained control at the word level. The proposed non-autoregressive generator focuses on the connections between aligned words, which learns the word-level transfer between styles. For experiments, we integrate the proposed generator into two base models and evaluate them on two style transfer tasks. The results show that NAST can significantly improve the overall performance and provide explainable word alignments. Moreover, the non-autoregressive generator achieves over 10x speedups at inference. Our codes are available at https://github.com/thu-coai/NAST.
• Abstract（参考訳）: 自動回帰モデルは教師なしのテキストスタイル転送で広く使われている。 その成功にもかかわらず、これらのモデルは、通常、原文の一部を無視し、強いスタイルを持つ無関係な単語を生成するコンテンツ保存問題に苦しんでいる。 本稿では,2つの側面から問題を緩和する非教師なしテキストスタイル転送(nast)のための非自己回帰生成器を提案する。 まず, 転置文中の単語のほとんどが, 語源文の関連語と整合できることを観察し, 無関係語を抑制するために, 単語のアライメントを明示的にモデル化する。 第二に、サイクル損失で訓練された既存のモデルは、単語レベルできめ細かい制御をしていない2つのスタイルのテキスト空間で文を整列させる。 提案した非自己回帰生成器は、スタイル間の単語レベルの伝達を学習する整列語間の接続に焦点を当てている。 実験では,提案する生成器を2つのベースモデルに統合し,2つのスタイル転送タスクで評価する。 その結果、nastは全体的な性能を大幅に向上させ、説明可能な単語アライメントを提供することができる。 さらに、非自己回帰生成器は推論時に10倍のスピードアップを達成している。 私たちのコードはhttps://github.com/thu-coai/NASTで公開しています。

関連論文リスト

• DuNST: Dual Noisy Self Training for Semi-Supervised Controllable Text Generation [34.49194429157166]
  ラベル付きデータが不十分な場合、事前学習された言語モデルの微調整を増強することにより、言語理解において再び自己学習(ST)が向上した。 STを属性制御可能な言語生成に組み込むことは依然として困難である。
  論文  参考訳（メタデータ） (2022-12-16T21:44:34Z)
• Suffix Retrieval-Augmented Language Modeling [1.8710230264817358]
  因果語モデリング(LM)は単語履歴を用いて次の単語を予測する。 一方,BERTは文中の双方向の単語情報を用いて,マスキング位置での単語の予測を行う。 本稿では,双方向の文脈効果を自己回帰的にシミュレートする新しいモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-06T07:53:19Z)
• Towards Robust and Semantically Organised Latent Representations for Unsupervised Text Style Transfer [6.467090475885798]
  この摂動モデルを完成させるEPAAE(Perturbed Adrial AutoEncoders)を導入する。 これは、(a)スタイル的に類似した文をまとめるより優れた組織化された潜在空間を生み出すことを実証的に示す。 また、テキストスタイルの転送タスクをNLIデータセットに拡張し、これらのより複雑なスタイル定義がEPAAEによって最もよく学習されていることを示す。
  論文  参考訳（メタデータ） (2022-05-04T20:04:24Z)
• StylePTB: A Compositional Benchmark for Fine-grained Controllable Text Style Transfer [90.6768813620898]
  スタイル転送は、ソース文定数からコアの意味を維持しながら、ターゲットのスタイル変更を伴うテキストを制御的に生成することを目的としています。 テキストの原子語彙,構文,セマンティック,セマンティックトランスファーにまたがる21のきめ細かなスタイリスティックな文を含む大規模ベンチマークであるStylePTBを導入する。 StylePTBの既存のメソッドは、細かい変更をモデル化するのに苦労し、複数のスタイルを構成するのにさらに困難です。
  論文  参考訳（メタデータ） (2021-04-12T04:25:09Z)
• SLUA: A Super Lightweight Unsupervised Word Alignment Model via Cross-Lingual Contrastive Learning [79.91678610678885]
  超軽量非教師付き単語アライメントモデル(SLUA)を提案する。 いくつかの公開ベンチマークによる実験結果から,我々のモデルは性能が向上しても競争力を発揮することが示された。 特に、我々のモデルはバイリンガル単語の埋め込みと単語のアライメントを統一する先駆的な試みであると認識している。
  論文  参考訳（メタデータ） (2021-02-08T05:54:11Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer [60.07283363509065]
  教師なしのスタイル転送は、元のコンテンツを保持しながら入力文のスタイルを変更することを目的としている。 本稿では,各出力語がターゲットスタイルに関連性があることを活かした,新たな注目シーケンス・ツー・シーケンスモデルを提案する。 実験結果から,提案手法は転送精度とコンテンツ保存の両面から,最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-05-05T10:24:28Z)
• Contextual Text Style Transfer [73.66285813595616]
  コンテキストテキストスタイル転送は、文をその周囲のコンテキストを考慮した所望のスタイルに変換することを目的としている。 本稿では,各入力文とその周辺コンテキストに対して2つの異なるエンコーダを使用するコンテキスト認識スタイル転送(CAST)モデルを提案する。 Enron-ContextとReddit-Contextという2つの新しいベンチマークが、フォーマル性と攻撃性スタイルの転送のために導入された。
  論文  参考訳（メタデータ） (2020-04-30T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。