論文の概要: Generic resources are what you need: Style transfer tasks without task-specific parallel training data

• arxiv url: http://arxiv.org/abs/2109.04543v1
• Date: Thu, 9 Sep 2021 20:15:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 13:37:26.984547
• Title: Generic resources are what you need: Style transfer tasks without task-specific parallel training data
• Title（参考訳）: ジェネリックリソースは必要なもの:タスク固有の並列トレーニングデータを持たないスタイル転送タスク
• Authors: Huiyuan Lai, Antonio Toral, Malvina Nissim
• Abstract要約: スタイル転送は、コンテンツを保存しながら、ソーステキストを異なるターゲットスタイルで書き直すことを目的としている。 本稿では, 汎用資源を活用した新しい手法を提案する。 我々は、汎用的な事前学習シーケンス・ツー・シーケンスモデルに基づくマルチステップ手順を採用する。
• 参考スコア（独自算出の注目度）: 4.181049191386633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Style transfer aims to rewrite a source text in a different target style while preserving its content. We propose a novel approach to this task that leverages generic resources, and without using any task-specific parallel (source-target) data outperforms existing unsupervised approaches on the two most popular style transfer tasks: formality transfer and polarity swap. In practice, we adopt a multi-step procedure which builds on a generic pre-trained sequence-to-sequence model (BART). First, we strengthen the model's ability to rewrite by further pre-training BART on both an existing collection of generic paraphrases, as well as on synthetic pairs created using a general-purpose lexical resource. Second, through an iterative back-translation approach, we train two models, each in a transfer direction, so that they can provide each other with synthetically generated pairs, dynamically in the training process. Lastly, we let our best reresulting model generate static synthetic pairs to be used in a supervised training regime. Besides methodology and state-of-the-art results, a core contribution of this work is a reflection on the nature of the two tasks we address, and how their differences are highlighted by their response to our approach.
• Abstract（参考訳）: スタイル転送は、コンテンツを保存しながら異なるターゲットスタイルでソーステキストを書き直すことを目的としている。 本稿では, 汎用リソースを活用する新しい手法を提案する。また, タスク固有の並列(ソースターゲット)データを使わずに, 定式化と極性スワップという2つの最もポピュラーなスタイル転送タスクにおいて, 既存の教師なしアプローチよりも優れていることを示す。 実際に我々は、汎用的な事前学習シーケンス・ツー・シーケンス・モデル(BART)に基づくマルチステップ手順を採用する。 まず,既存の一般的なパラフレーズのコレクションと,汎用語彙を用いた合成ペアの両方に対してbartをさらに事前学習することで,モデルの書き直し能力を強化する。 第二に、反復的バックトランスレーション手法により、2つのモデルをそれぞれ転送方向で訓練し、トレーニングプロセスにおいて動的に合成されたペアを互いに提供できるようにします。 最後に, 教師付きトレーニングシステムで使用する静的合成ペアを, 最良再帰モデルに生成させる。 方法論と最先端の結果に加えて、この研究のコアコントリビューションは、私たちが取り組んだ2つのタスクの性質と、その違いがアプローチに対する反応によってどのように強調されるかの反映である。

関連論文リスト

• EAGER: Two-Stream Generative Recommender with Behavior-Semantic Collaboration [63.112790050749695]
  本稿では,行動情報と意味情報の両方をシームレスに統合する新しい生成推薦フレームワークであるEAGERを紹介する。 EAGERの有効性を4つの公開ベンチマークで検証し,既存手法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-06-20T06:21:56Z)
• Generalized One-shot Domain Adaption of Generative Adversarial Networks [72.84435077616135]
  GAN(Generative Adversarial Network)の適応は、事前訓練されたGANを、限られたトレーニングデータを持つ特定のドメインに転送することを目的としている。 我々は、ソースドメインからターゲットドメインへの適応を、テクスチャや色といったグローバルなスタイルの移行と、ソースドメインに属さない新しいエンティティの出現の2つの部分に分離できると考えている。 我々の中核的な目的は、参照と合成の内部分布のギャップをワッサーシュタイン距離によって制限することである。
  論文  参考訳（メタデータ） (2022-09-08T09:24:44Z)
• Learning from Bootstrapping and Stepwise Reinforcement Reward: A Semi-Supervised Framework for Text Style Transfer [30.622772801446132]
  テキストスタイル転送のための半教師付きフレームワークを提案する。 まず、擬似並列ペアを自動構築し、教師付きで学習プロセスをブートストラップする。 そして、モデルは強化報酬を通じてラベルなしのデータから学習する。
  論文  参考訳（メタデータ） (2022-05-19T05:18:06Z)
• Non-Parallel Text Style Transfer with Self-Parallel Supervision [19.441780035577352]
  大規模言語モデルに基づく新しいテキストスタイル転送フレームワークであるLaMerを提案する。 LaMerはまず、シーングラフで非並列データセットのほぼ並列表現をマイニングし、続いてMLEトレーニングを使用し、続いて模倣学習の改良を行い、データ内の本質的な並列性を活用する。 2つのベンチマークタスク(センチメントとフォーマル性転送)と、新たに提案された課題タスク(政治的スタンス転送)において、我々のモデルは、転送精度、コンテンツ保存および流速の質的な進歩を達成する。
  論文  参考訳（メタデータ） (2022-04-18T01:38:35Z)
• Transductive Learning for Unsupervised Text Style Transfer [60.65782243927698]
  教師なしスタイル転送モデルは、主に帰納的学習アプローチに基づいている。 本稿では,検索に基づく文脈認識スタイルの表現に基づく新しいトランスダクティブ学習手法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T08:57:20Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization [52.867459839641526]
  フォーマル・スタイル・トランスファー(英: Formality style transfer)とは、非公式な文を文法的に正しい形式文に変換するタスクである。 本稿では,言語モデルに基づく識別器を用いて,文が形式的である確率を最大化する半教師付き形式表現スタイル転送モデルを提案する。 実験の結果,我々のモデルは,自動計測と人的判断の両面で,従来の最先端のベースラインを著しく上回りました。
  論文  参考訳（メタデータ） (2020-10-10T21:05:56Z)
• StyleDGPT: Stylized Response Generation with Pre-trained Language Models [39.526613595499356]
  KL損失とスタイル分類器を導入し、単語レベルと文レベルの両方において、ターゲットスタイルに対して応答生成を操る。 我々のモデルは、スタイル整合性とコンテキスト整合性の両方の観点から、最先端の手法を著しく上回ります。
  論文  参考訳（メタデータ） (2020-10-06T09:29:50Z)
• Contextual Text Style Transfer [73.66285813595616]
  コンテキストテキストスタイル転送は、文をその周囲のコンテキストを考慮した所望のスタイルに変換することを目的としている。 本稿では,各入力文とその周辺コンテキストに対して2つの異なるエンコーダを使用するコンテキスト認識スタイル転送(CAST)モデルを提案する。 Enron-ContextとReddit-Contextという2つの新しいベンチマークが、フォーマル性と攻撃性スタイルの転送のために導入された。
  論文  参考訳（メタデータ） (2020-04-30T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。