論文の概要: Replacing Language Model for Style Transfer
- arxiv url: http://arxiv.org/abs/2211.07343v1
- Date: Mon, 14 Nov 2022 13:35:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 16:20:26.833520
- Title: Replacing Language Model for Style Transfer
- Title(参考訳): スタイル転送のための言語モデルを置き換える
- Authors: Pengyu Cheng, Ruineng Li
- Abstract要約: テキストスタイル転送のためのシーケンス・ツー・シーケンス言語モデリングフレームワークである置換言語モデル(RLM)を導入する。
本手法は,原文の各トークンをターゲットスタイルのテキストスパンに自動的に置き換える。
新しいスパンは、非自動回帰マスク付き言語モデルによって生成される。
- 参考スコア(独自算出の注目度): 7.583807480400293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce replacing language model (RLM), a sequence-to-sequence language
modeling framework for text style transfer. Our method autoregressively
replaces each token in the original sentence with a text span in the target
style. In contrast, the new span is generated via a non-autoregressive masked
language model. The RLM generation scheme gathers the flexibility of
autoregressive models and the accuracy of non-autoregressive models, which
bridges the gap between sentence-level and word-level style transfer methods.
To further control the style of generated sentences, we conduct a style-content
disentanglement on the hidden representations of RLM. Empirical results on
real-world text style transfer tasks demonstrate the effectiveness of RLM
compared with other baselines.
- Abstract(参考訳): テキストスタイル転送のためのシーケンス・ツー・シーケンス言語モデリングフレームワークである置換言語モデル(RLM)を導入する。
本手法は,原文の各トークンをターゲットスタイルのテキストスパンに自動的に置き換える。
対照的に、新しいスパンは非回帰マスク言語モデルによって生成される。
rlm生成方式は、自己回帰モデルの柔軟性と非自己回帰モデルの精度を収集し、文レベルと単語レベルの変換方法のギャップを橋渡しする。
生成文のスタイルをさらに制御するために、rlmの隠れた表現に対してスタイル・コンテントの絡み合いを行う。
実世界のテキストスタイル転送タスクにおける実証的な結果は、他のベースラインと比較してRLMの有効性を示す。
関連論文リスト
- TransMI: A Framework to Create Strong Baselines from Multilingual Pretrained Language Models for Transliterated Data [50.40191599304911]
そこで我々は,Transliterate Transliteration-Merge (TransMI)を提案する。
結果は、モデルやタスクによって異なるが、3%から34%の改善が一貫したことを示している。
論文 参考訳(メタデータ) (2024-05-16T09:08:09Z) - Unsupervised Text Style Transfer via LLMs and Attention Masking with
Multi-way Interactions [18.64326057581588]
非教師付きテキストスタイル転送(UTST)が自然言語処理(NLP)分野における重要な課題として浮上している。
本稿では,命令を調整したパイプライン・フレームワークであるLarge Language Models (LLMs) から注目マスキング・モデルへの知識蒸留,構築された並列例を用いたコンテキスト内学習の4つの方法を提案する。
これらのマルチウェイインタラクションは、スタイルの強さ、コンテンツ保存、テキストの流布といった観点から、ベースラインを改善することを実証的に示しています。
論文 参考訳(メタデータ) (2024-02-21T09:28:02Z) - FLIP: Towards Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
本稿では,クリックスルー率(CTR)予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
具体的には、1つのモダリティ(トークンや特徴)のマスキングされたデータは、他のモダリティの助けを借りて回復し、特徴レベルの相互作用とアライメントを確立する必要がある。
3つの実世界のデータセットの実験により、FLIPはSOTAベースラインより優れており、様々なIDベースのモデルやPLMと高い互換性を持つことが示された。
論文 参考訳(メタデータ) (2023-10-30T11:25:03Z) - On Text Style Transfer via Style Masked Language Models [5.754152248672319]
テキストスタイル転送(TST)は、潜在空間のゆがみ、サイクル整合性損失、プロトタイプ編集などのアプローチで実行可能である。
本稿では,a)ソーススタイル関連トークンのマスキング,b)ターゲットスタイルを条件としたこのソーススタイルマスク文の再構成という2つの重要なフェーズを含むプロトタイプ編集手法を提案する。
この非世代的アプローチは、Discourseのような複雑なベースラインであっても、TSTのようなタスクの"コンテンツ保存"基準をうまく組み合っていることを実証的に示す。
論文 参考訳(メタデータ) (2022-10-12T16:44:06Z) - Collocation2Text: Controllable Text Generation from Guide Phrases in
Russian [0.0]
Collocation2Textはロシア語で自動制御可能なテキスト生成のためのプラグイン・アンド・プレイ方式である。
この手法は、自己回帰言語ruGPT-3モデルと自己符号化言語ruRoBERTaモデルという2つの相互作用モデルに基づいている。
提案手法を用いてニュース記事を生成する実験は,自動生成された流布文に対して有効性を示した。
論文 参考訳(メタデータ) (2022-06-18T17:10:08Z) - Text Detoxification using Large Pre-trained Neural Models [57.72086777177844]
テキスト中の毒性を除去する2つの新しい教師なし手法を提案する。
最初の方法は、生成プロセスのガイダンスと、小さなスタイル条件言語モデルを組み合わせることである。
第2の方法は、BERTを使用して有害な単語を非攻撃的同義語に置き換える。
論文 参考訳(メタデータ) (2021-09-18T11:55:32Z) - LT-LM: a novel non-autoregressive language model for single-shot lattice
rescoring [55.16665077221941]
本稿では,格子全体をモデルへの単一呼び出しで処理する新しいリスコリング手法を提案する。
当社のリコリングポリシーの主な特徴は、新しい非回帰的格子変換言語モデル(LT-LM)です。
論文 参考訳(メタデータ) (2021-04-06T14:06:07Z) - Unsupervised Text Style Transfer with Padded Masked Language Models [25.397832729384064]
Maskerは、スタイル転送のための教師なしのテキスト編集方法である。
完全に教師なしの設定で競争力を発揮する。
低リソース環境では、教師ありメソッドの精度を10%以上向上させる。
論文 参考訳(メタデータ) (2020-10-02T15:33:42Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳(メタデータ) (2020-05-01T18:11:54Z) - PALM: Pre-training an Autoencoding&Autoregressive Language Model for
Context-conditioned Generation [92.7366819044397]
自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。
本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。
広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
論文 参考訳(メタデータ) (2020-04-14T06:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。