Fugu-MT 論文翻訳(概要): Replacing Language Model for Style Transfer

論文の概要: Replacing Language Model for Style Transfer

arxiv url: http://arxiv.org/abs/2211.07343v1
Date: Mon, 14 Nov 2022 13:35:55 GMT
ステータス: 処理完了
システム内更新日: 2022-11-15 16:20:26.833520
Title: Replacing Language Model for Style Transfer
Title（参考訳）: スタイル転送のための言語モデルを置き換える
Authors: Pengyu Cheng, Ruineng Li
Abstract要約: テキストスタイル転送のためのシーケンス・ツー・シーケンス言語モデリングフレームワークである置換言語モデル(RLM)を導入する。本手法は,原文の各トークンをターゲットスタイルのテキストスパンに自動的に置き換える。新しいスパンは、非自動回帰マスク付き言語モデルによって生成される。
参考スコア（独自算出の注目度）: 7.583807480400293
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce replacing language model (RLM), a sequence-to-sequence language modeling framework for text style transfer. Our method autoregressively replaces each token in the original sentence with a text span in the target style. In contrast, the new span is generated via a non-autoregressive masked language model. The RLM generation scheme gathers the flexibility of autoregressive models and the accuracy of non-autoregressive models, which bridges the gap between sentence-level and word-level style transfer methods. To further control the style of generated sentences, we conduct a style-content disentanglement on the hidden representations of RLM. Empirical results on real-world text style transfer tasks demonstrate the effectiveness of RLM compared with other baselines.
Abstract（参考訳）: テキストスタイル転送のためのシーケンス・ツー・シーケンス言語モデリングフレームワークである置換言語モデル(RLM)を導入する。本手法は,原文の各トークンをターゲットスタイルのテキストスパンに自動的に置き換える。対照的に、新しいスパンは非回帰マスク言語モデルによって生成される。 rlm生成方式は、自己回帰モデルの柔軟性と非自己回帰モデルの精度を収集し、文レベルと単語レベルの変換方法のギャップを橋渡しする。生成文のスタイルをさらに制御するために、rlmの隠れた表現に対してスタイル・コンテントの絡み合いを行う。実世界のテキストスタイル転送タスクにおける実証的な結果は、他のベースラインと比較してRLMの有効性を示す。

関連論文リスト

TransMI: A Framework to Create Strong Baselines from Multilingual Pretrained Language Models for Transliterated Data [50.40191599304911]
そこで我々は,Transliterate Transliteration-Merge (TransMI)を提案する。結果は、モデルやタスクによって異なるが、3%から34%の改善が一貫したことを示している。
論文参考訳（メタデータ） (2024-05-16T09:08:09Z)
Unsupervised Text Style Transfer via LLMs and Attention Masking with Multi-way Interactions [18.64326057581588]
非教師付きテキストスタイル転送(UTST)が自然言語処理(NLP)分野における重要な課題として浮上している。本稿では,命令を調整したパイプライン・フレームワークであるLarge Language Models (LLMs) から注目マスキング・モデルへの知識蒸留,構築された並列例を用いたコンテキスト内学習の4つの方法を提案する。これらのマルチウェイインタラクションは、スタイルの強さ、コンテンツ保存、テキストの流布といった観点から、ベースラインを改善することを実証的に示しています。
論文参考訳（メタデータ） (2024-02-21T09:28:02Z)
FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
論文参考訳（メタデータ） (2023-10-30T11:25:03Z)
On Text Style Transfer via Style Masked Language Models [5.754152248672319]
テキストスタイル転送(TST)は、潜在空間のゆがみ、サイクル整合性損失、プロトタイプ編集などのアプローチで実行可能である。本稿では,a)ソーススタイル関連トークンのマスキング,b)ターゲットスタイルを条件としたこのソーススタイルマスク文の再構成という2つの重要なフェーズを含むプロトタイプ編集手法を提案する。この非世代的アプローチは、Discourseのような複雑なベースラインであっても、TSTのようなタスクの"コンテンツ保存"基準をうまく組み合っていることを実証的に示す。
論文参考訳（メタデータ） (2022-10-12T16:44:06Z)
Collocation2Text: Controllable Text Generation from Guide Phrases in Russian [0.0]
Collocation2Textはロシア語で自動制御可能なテキスト生成のためのプラグイン・アンド・プレイ方式である。この手法は、自己回帰言語ruGPT-3モデルと自己符号化言語ruRoBERTaモデルという2つの相互作用モデルに基づいている。提案手法を用いてニュース記事を生成する実験は,自動生成された流布文に対して有効性を示した。
論文参考訳（メタデータ） (2022-06-18T17:10:08Z)
Text Detoxification using Large Pre-trained Neural Models [57.72086777177844]
テキスト中の毒性を除去する2つの新しい教師なし手法を提案する。最初の方法は、生成プロセスのガイダンスと、小さなスタイル条件言語モデルを組み合わせることである。第2の方法は、BERTを使用して有害な単語を非攻撃的同義語に置き換える。
論文参考訳（メタデータ） (2021-09-18T11:55:32Z)
LT-LM: a novel non-autoregressive language model for single-shot lattice rescoring [55.16665077221941]
本稿では,格子全体をモデルへの単一呼び出しで処理する新しいリスコリング手法を提案する。当社のリコリングポリシーの主な特徴は、新しい非回帰的格子変換言語モデル(LT-LM)です。
論文参考訳（メタデータ） (2021-04-06T14:06:07Z)
Unsupervised Text Style Transfer with Padded Masked Language Models [25.397832729384064]
Maskerは、スタイル転送のための教師なしのテキスト編集方法である。完全に教師なしの設定で競争力を発揮する。低リソース環境では、教師ありメソッドの精度を10%以上向上させる。
論文参考訳（メタデータ） (2020-10-02T15:33:42Z)
POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文参考訳（メタデータ） (2020-05-01T18:11:54Z)
PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
論文参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。