論文の概要: Non-Parallel Text Style Transfer with Self-Parallel Supervision

• arxiv url: http://arxiv.org/abs/2204.08123v1
• Date: Mon, 18 Apr 2022 01:38:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-19 12:37:42.451225
• Title: Non-Parallel Text Style Transfer with Self-Parallel Supervision
• Title（参考訳）: セルフパラレルによるノンパラレルテキストスタイル転送
• Authors: Ruibo Liu, Chongyang Gao, Chenyan Jia, Guangxuan Xu, Soroush Vosoughi
• Abstract要約: 大規模言語モデルに基づく新しいテキストスタイル転送フレームワークであるLaMerを提案する。 LaMerはまず、シーングラフで非並列データセットのほぼ並列表現をマイニングし、続いてMLEトレーニングを使用し、続いて模倣学習の改良を行い、データ内の本質的な並列性を活用する。 2つのベンチマークタスク(センチメントとフォーマル性転送)と、新たに提案された課題タスク(政治的スタンス転送)において、我々のモデルは、転送精度、コンテンツ保存および流速の質的な進歩を達成する。
• 参考スコア（独自算出の注目度）: 19.441780035577352
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The performance of existing text style transfer models is severely limited by the non-parallel datasets on which the models are trained. In non-parallel datasets, no direct mapping exists between sentences of the source and target style; the style transfer models thus only receive weak supervision of the target sentences during training, which often leads the model to discard too much style-independent information, or utterly fail to transfer the style. In this work, we propose LaMer, a novel text style transfer framework based on large-scale language models. LaMer first mines the roughly parallel expressions in the non-parallel datasets with scene graphs, and then employs MLE training, followed by imitation learning refinement, to leverage the intrinsic parallelism within the data. On two benchmark tasks (sentiment & formality transfer) and a newly proposed challenging task (political stance transfer), our model achieves qualitative advances in transfer accuracy, content preservation, and fluency. Further empirical and human evaluations demonstrate that our model not only makes training more efficient, but also generates more readable and diverse expressions than previous models.
• Abstract（参考訳）: 既存のテキストスタイル転送モデルの性能は、モデルをトレーニングする並列でないデータセットによって著しく制限されている。 非並列データセットでは、ソースとターゲットスタイルの文の間に直接マッピングが存在しないため、スタイル転送モデルはトレーニング中にターゲット文の弱い監督しか受け取らない。 本研究では,大規模言語モデルに基づく新しいテキストスタイル転送フレームワークであるLaMerを提案する。 lamer氏はまず、シーングラフで非並列データセットの概平行表現を発掘し、次にmleトレーニング、次いで模倣学習の洗練を採用して、データ内の本質的並列性を活用する。 2つのベンチマークタスク (sentiment & formality transfer) と新たに提案するチャレンジタスク (political stance transfer) について, 本モデルは, 伝達精度, コンテンツ保存, フラレンシの質的進歩を実現する。 さらに経験的および人的評価により、我々のモデルはトレーニングをより効率的にするだけでなく、以前のモデルよりも読みやすく多様な表現を生成することを示した。

関連論文リスト

• Specializing Small Language Models towards Complex Style Transfer via Latent Attribute Pre-Training [29.143887057933327]
  複雑なテキストスタイルの転送タスクの概念を導入し、2つの広く適用可能なシナリオに基づいて複雑なテキストデータセットを構築した。 我々のデータセットは、ゲームGenshin Impactの700文と1000文からなる、この種の最初の大規模データセットである。
  論文  参考訳（メタデータ） (2023-09-19T21:01:40Z)
• Balancing Effect of Training Dataset Distribution of Multiple Styles for Multi-Style Text Transfer [8.305622604531074]
  本稿では,データ入力の多様性がマルチスタイル転送モデルから生成したテキストの品質に与える影響について検討する。 トレーニングサンプルのスタイル分布を調整するために,擬似並列データセットを構築した。 バランスの取れたデータセットは、バランスの取れていないデータセットや歪んだデータセットよりも、複数のスタイルに対して効果的な制御効果をもたらす。
  論文  参考訳（メタデータ） (2023-05-24T21:36:15Z)
• StoryTrans: Non-Parallel Story Author-Style Transfer with Discourse Representations and Content Enhancing [73.81778485157234]
  長文は通常、文よりも談話構造のような複雑な著者の言語的嗜好を含んでいる。 我々は、入力されたストーリーを特定の著者スタイルに転送する必要があるノン並列ストーリー作者スタイル転送のタスクを定式化する。 モデルが自動エンコーダに退化することを防ぐために,学習した談話表現からスタイル的特徴を引き離すための追加の学習目標を用いる。
  論文  参考訳（メタデータ） (2022-08-29T08:47:49Z)
• GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer [119.70961704127157]
  近年,非並列テキストスタイルの転送が研究の関心を集めている。 現在のアプローチでは、元の文の内容やロジックを保存できない。 文を言語グラフとしてモデル化し,グラフレベルで特徴抽出とスタイル転送を行う,グラフトランスフォーマーベースのAuto-GTAEを提案する。
  論文  参考訳（メタデータ） (2021-02-01T11:08:45Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation [101.26235068460551]
  大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。 モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。 我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
  論文  参考訳（メタデータ） (2020-10-24T08:36:49Z)
• Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization [52.867459839641526]
  フォーマル・スタイル・トランスファー(英: Formality style transfer)とは、非公式な文を文法的に正しい形式文に変換するタスクである。 本稿では,言語モデルに基づく識別器を用いて,文が形式的である確率を最大化する半教師付き形式表現スタイル転送モデルを提案する。 実験の結果,我々のモデルは,自動計測と人的判断の両面で,従来の最先端のベースラインを著しく上回りました。
  論文  参考訳（メタデータ） (2020-10-10T21:05:56Z)
• Parallel Data Augmentation for Formality Style Transfer [27.557690344637034]
  本稿では,並列データの拡張手法について検討し,この課題に対する新しい単純なデータ拡張手法を提案する。 実験により、我々の拡張並列データにより、モデルの事前トレーニングに使用する場合、フォーマルなスタイルの転送が大幅に改善されることが示されている。
  論文  参考訳（メタデータ） (2020-05-14T04:05:29Z)
• Contextual Text Style Transfer [73.66285813595616]
  コンテキストテキストスタイル転送は、文をその周囲のコンテキストを考慮した所望のスタイルに変換することを目的としている。 本稿では,各入力文とその周辺コンテキストに対して2つの異なるエンコーダを使用するコンテキスト認識スタイル転送(CAST)モデルを提案する。 Enron-ContextとReddit-Contextという2つの新しいベンチマークが、フォーマル性と攻撃性スタイルの転送のために導入された。
  論文  参考訳（メタデータ） (2020-04-30T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。