論文の概要: Replacing Language Model for Style Transfer

• arxiv url: http://arxiv.org/abs/2211.07343v2
• Date: Wed, 28 Feb 2024 12:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 19:34:35.958074
• Title: Replacing Language Model for Style Transfer
• Title（参考訳）: スタイル転送のための言語モデルを置き換える
• Authors: Pengyu Cheng, Ruineng Li
• Abstract要約: テキストスタイル転送(TST)のためのシーケンス・ツー・シーケンス言語モデリングフレームワークである置換言語モデル(RLM)を導入する。 提案手法は,ソース文の各トークンを類似した意味を持つテキストスパンで自動回帰的に置き換える。 新しいスパンは非自己回帰型マスキング言語モデルによって生成され、置換されたトークンのローカルコンテキストの意味をよりよく保存することができる。
• 参考スコア（独自算出の注目度）: 6.364517234783756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce replacing language model (RLM), a sequence-to-sequence language modeling framework for text style transfer (TST). Our method autoregressively replaces each token of the source sentence with a text span that has a similar meaning but in the target style. The new span is generated via a non-autoregressive masked language model, which can better preserve the local-contextual meaning of the replaced token. This RLM generation scheme gathers the flexibility of autoregressive models and the accuracy of non-autoregressive models, which bridges the gap between sentence-level and word-level style transfer methods. To control the generation style more precisely, we conduct a token-level style-content disentanglement on the hidden representations of RLM. Empirical results on real-world text datasets demonstrate the effectiveness of RLM compared with other TST baselines. The code is at https://github.com/Linear95/RLM.
• Abstract（参考訳）: 本稿では、テキストスタイル転送(TST)のためのシーケンス・ツー・シーケンス言語モデリングフレームワークである置換言語モデル(RLM)を紹介する。 本手法では,ソース文の各トークンを,目的文に類似した意味を持つテキストスパンに自己回帰的に置き換える。 新しいスパンは、置き換えられたトークンのローカルコンテキストの意味をよりよく保存できる、非回帰的なマスク付き言語モデルを介して生成される。 このRLM生成方式は, 自己回帰モデルの柔軟性と非自己回帰モデルの精度を収集し, 文レベルと単語レベルの転送方法のギャップを埋める。 生成スタイルをより正確に制御するために,RLMの隠蔽表現に対してトークンレベルスタイル・コンテント・アンタングルを行う。 実世界のテキストデータセットにおける実験結果は、他のTSTベースラインと比較してRTMの有効性を示す。 コードはhttps://github.com/Linear95/RLMにある。

関連論文リスト

• TransMI: A Framework to Create Strong Baselines from Multilingual Pretrained Language Models for Transliterated Data [50.40191599304911]
  そこで我々は,Transliterate Transliteration-Merge (TransMI)を提案する。 結果は、モデルやタスクによって異なるが、3%から34%の改善が一貫したことを示している。
  論文  参考訳（メタデータ） (2024-05-16T09:08:09Z)
• Unsupervised Text Style Transfer via LLMs and Attention Masking with Multi-way Interactions [18.64326057581588]
  非教師付きテキストスタイル転送(UTST)が自然言語処理(NLP)分野における重要な課題として浮上している。 本稿では,命令を調整したパイプライン・フレームワークであるLarge Language Models (LLMs) から注目マスキング・モデルへの知識蒸留,構築された並列例を用いたコンテキスト内学習の4つの方法を提案する。 これらのマルチウェイインタラクションは、スタイルの強さ、コンテンツ保存、テキストの流布といった観点から、ベースラインを改善することを実証的に示しています。
  論文  参考訳（メタデータ） (2024-02-21T09:28:02Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• On Text Style Transfer via Style Masked Language Models [5.754152248672319]
  テキストスタイル転送(TST)は、潜在空間のゆがみ、サイクル整合性損失、プロトタイプ編集などのアプローチで実行可能である。 本稿では,a)ソーススタイル関連トークンのマスキング,b)ターゲットスタイルを条件としたこのソーススタイルマスク文の再構成という2つの重要なフェーズを含むプロトタイプ編集手法を提案する。 この非世代的アプローチは、Discourseのような複雑なベースラインであっても、TSTのようなタスクの"コンテンツ保存"基準をうまく組み合っていることを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-12T16:44:06Z)
• Collocation2Text: Controllable Text Generation from Guide Phrases in Russian [0.0]
  Collocation2Textはロシア語で自動制御可能なテキスト生成のためのプラグイン・アンド・プレイ方式である。 この手法は、自己回帰言語ruGPT-3モデルと自己符号化言語ruRoBERTaモデルという2つの相互作用モデルに基づいている。 提案手法を用いてニュース記事を生成する実験は,自動生成された流布文に対して有効性を示した。
  論文  参考訳（メタデータ） (2022-06-18T17:10:08Z)
• Text Detoxification using Large Pre-trained Neural Models [57.72086777177844]
  テキスト中の毒性を除去する2つの新しい教師なし手法を提案する。 最初の方法は、生成プロセスのガイダンスと、小さなスタイル条件言語モデルを組み合わせることである。 第2の方法は、BERTを使用して有害な単語を非攻撃的同義語に置き換える。
  論文  参考訳（メタデータ） (2021-09-18T11:55:32Z)
• LT-LM: a novel non-autoregressive language model for single-shot lattice rescoring [55.16665077221941]
  本稿では,格子全体をモデルへの単一呼び出しで処理する新しいリスコリング手法を提案する。 当社のリコリングポリシーの主な特徴は、新しい非回帰的格子変換言語モデル(LT-LM)です。
  論文  参考訳（メタデータ） (2021-04-06T14:06:07Z)
• Unsupervised Text Style Transfer with Padded Masked Language Models [25.397832729384064]
  Maskerは、スタイル転送のための教師なしのテキスト編集方法である。 完全に教師なしの設定で競争力を発揮する。 低リソース環境では、教師ありメソッドの精度を10%以上向上させる。
  論文  参考訳（メタデータ） (2020-10-02T15:33:42Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。