論文の概要: On Text Style Transfer via Style Masked Language Models

• arxiv url: http://arxiv.org/abs/2210.06394v1
• Date: Wed, 12 Oct 2022 16:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 14:10:18.828004
• Title: On Text Style Transfer via Style Masked Language Models
• Title（参考訳）: スタイルマスキング言語モデルによるテキストスタイル転送について
• Authors: Sharan Narasimhan, Pooja Shekar, Suvodip Dey, Maunendra Sankar Desarkar
• Abstract要約: テキストスタイル転送(TST)は、潜在空間のゆがみ、サイクル整合性損失、プロトタイプ編集などのアプローチで実行可能である。 本稿では,a)ソーススタイル関連トークンのマスキング,b)ターゲットスタイルを条件としたこのソーススタイルマスク文の再構成という2つの重要なフェーズを含むプロトタイプ編集手法を提案する。 この非世代的アプローチは、Discourseのような複雑なベースラインであっても、TSTのようなタスクの"コンテンツ保存"基準をうまく組み合っていることを実証的に示す。
• 参考スコア（独自算出の注目度）: 5.754152248672319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text Style Transfer (TST) is performable through approaches such as latent space disentanglement, cycle-consistency losses, prototype editing etc. The prototype editing approach, which is known to be quite successful in TST, involves two key phases a) Masking of source style-associated tokens and b) Reconstruction of this source-style masked sentence conditioned with the target style. We follow a similar transduction method, in which we transpose the more difficult direct source to target TST task to a simpler Style-Masked Language Model (SMLM) Task, wherein, similar to BERT \cite{bert}, the goal of our model is now to reconstruct the source sentence from its style-masked version. We arrive at the SMLM mechanism naturally by formulating prototype editing/ transduction methods in a probabilistic framework, where TST resolves into estimating a hypothetical parallel dataset from a partially observed parallel dataset, wherein each domain is assumed to have a common latent style-masked prior. To generate this style-masked prior, we use "Explainable Attention" as our choice of attribution for a more precise style-masking step and also introduce a cost-effective and accurate "Attribution-Surplus" method of determining the position of masks from any arbitrary attribution model in O(1) time. We empirically show that this non-generational approach well suites the "content preserving" criteria for a task like TST, even for a complex style like Discourse Manipulation. Our model, the Style MLM, outperforms strong TST baselines and is on par with state-of-the-art TST models, which use complex architectures and orders of more parameters.
• Abstract（参考訳）: テキストスタイル転送(TST)は、潜在空間のゆがみ、サイクル一貫性損失、プロトタイプ編集などのアプローチで実行可能である。 tstでかなり成功したと知られているプロトタイプ編集アプローチには、2つの重要なフェーズがある a)ソーススタイル関連トークンのマスキング及び b) 対象文を条件としたソース型マスキング文の再構成 我々は、TSTタスクをターゲットとするより難しいソースを、より単純なスタイルマインド言語モデル(SMLM)タスクに変換する、同様のトランスダクション手法に従い、BERT \cite{bert}と同様に、我々のモデルの目的は、そのスタイルマインドされたバージョンからソース文を再構築することである。 我々は、確率的フレームワークでプロトタイプの編集/翻訳方法を定式化することによって、SMLMメカニズムに自然に到達し、TSTは部分的に観察された並列データセットから仮説の並列データセットを推定し、各ドメインが共通の潜時型マスクを持つと仮定する。 このスタイルマストを事前に生成するために,より正確なスタイルマストステップに対するアトリビューションの選択として「説明可能な注意」を用い,o(1)時間内の任意のアトリビューションモデルからマスクの位置を決定するコスト効率が高く正確な「アトリビューション・サープラス」手法を導入する。 我々は、この非世代的アプローチが、TSTのようなタスクの"コンテンツ保存"基準を、Discourse Manipulationのような複雑なスタイルでもうまく組み合っていることを実証的に示す。 我々のモデルであるStyle MLMは、強力なTSTベースラインより優れており、複雑なアーキテクチャとより多くのパラメータの順序を使用する最先端のTSTモデルと同等である。

関連論文リスト

• Style-Specific Neurons for Steering LLMs in Text Style Transfer [55.06697862691798]
  テキストスタイル転送(TST)は、本来の意味を変更することなく、テキストのスタイルを変更することを目的としている。 スタイル特異的ニューロンを用いた大規模言語モデルのステアリング手法であるsNeuron-TSTを提案する。
  論文  参考訳（メタデータ） (2024-10-01T11:25:36Z)
• MaskInversion: Localized Embeddings via Optimization of Explainability Maps [49.50785637749757]
  MaskInversionは、テスト時にマスクによって指定されたクエリ画像領域に対するコンテキスト認識の埋め込みを生成する。 オープン語彙のクラス検索、表現理解の参照、局所的なキャプションや画像生成など、幅広いタスクに使用することができる。
  論文  参考訳（メタデータ） (2024-07-29T14:21:07Z)
• Unsupervised Text Style Transfer via LLMs and Attention Masking with Multi-way Interactions [18.64326057581588]
  非教師付きテキストスタイル転送(UTST)が自然言語処理(NLP)分野における重要な課題として浮上している。 本稿では,命令を調整したパイプライン・フレームワークであるLarge Language Models (LLMs) から注目マスキング・モデルへの知識蒸留,構築された並列例を用いたコンテキスト内学習の4つの方法を提案する。 これらのマルチウェイインタラクションは、スタイルの強さ、コンテンツ保存、テキストの流布といった観点から、ベースラインを改善することを実証的に示しています。
  論文  参考訳（メタデータ） (2024-02-21T09:28:02Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Stylized Data-to-Text Generation: A Case Study in the E-Commerce Domain [53.22419717434372]
  本稿では,特定のスタイルに従ってコヒーレントテキストを生成することを目的とした新しいタスク,すなわちスタイル化されたデータ・テキスト生成を提案する。 このタスクは、生成されたテキストのロジック、構造化されていないスタイル参照、バイアスのあるトレーニングサンプルという3つの課題のため、簡単ではない。 本稿では,論理計画型データ埋め込み,マスク型スタイル埋め込み,非バイアス型スタイリングテキスト生成の3つのコンポーネントからなる,新しいスタイル付きデータ・テキスト生成モデルであるStyleD2Tを提案する。
  論文  参考訳（メタデータ） (2023-05-05T03:02:41Z)
• Typhoon: Towards an Effective Task-Specific Masking Strategy for Pre-trained Language Models [0.0]
  本稿では,事前学習された大規模言語モデルのためのタスク固有マスキングフレームワークについて検討する。 我々はトークン入力勾配に基づく独自のマスキングアルゴリズムであるTyphoonを開発し、これを他の標準ベースラインと比較する。 私たちの実装は、公開のGithubリポジトリで確認できます。
  論文  参考訳（メタデータ） (2023-03-27T22:27:23Z)
• Replacing Language Model for Style Transfer [6.364517234783756]
  テキストスタイル転送(TST)のためのシーケンス・ツー・シーケンス言語モデリングフレームワークである置換言語モデル(RLM)を導入する。 提案手法は,ソース文の各トークンを類似した意味を持つテキストスパンで自動回帰的に置き換える。 新しいスパンは非自己回帰型マスキング言語モデルによって生成され、置換されたトークンのローカルコンテキストの意味をよりよく保存することができる。
  論文  参考訳（メタデータ） (2022-11-14T13:35:55Z)
• Syntax Matters! Syntax-Controlled in Text Style Transfer [24.379552683296392]
  既存のテキストスタイル転送(TST)メソッドは、テキストの内容とスタイル属性をアンタングルするスタイル分類器に依存している。 本稿では,構文認識スタイル分類器を含む新しい構文認識制御可能生成(SACG)モデルを提案する。 提案手法は最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-12T17:35:23Z)
• MST: Masked Self-Supervised Transformer for Visual Representation [52.099722121603506]
  Transformerは自然言語処理(NLP)における自己教師型事前学習に広く利用されている。 我々は、画像の局所的コンテキストを明示的にキャプチャできる、MSTと呼ばれる新しいMasked Self-supervised Transformerアプローチを提案する。 MSTは、線形評価による300エポック事前トレーニングのみを使用して、DeiT-Sで76.9%のTop-1精度を達成する。
  論文  参考訳（メタデータ） (2021-06-10T11:05:18Z)
• Generative Pre-training for Paraphrase Generation by Representing and Predicting Spans in Exemplars [0.8411385346896411]
  本稿では, GPT-2モデルから拡張した言い換え文に対する新しいアプローチを提案する。 本研究では,POSタグを用いたテンプレートマスキング手法を開発し,無関係な単語をマスクアウトする。 提案手法は,特に意味保存面において,競争基準よりも優れている。
  論文  参考訳（メタデータ） (2020-11-29T11:36:13Z)
• Contextual Text Style Transfer [73.66285813595616]
  コンテキストテキストスタイル転送は、文をその周囲のコンテキストを考慮した所望のスタイルに変換することを目的としている。 本稿では,各入力文とその周辺コンテキストに対して2つの異なるエンコーダを使用するコンテキスト認識スタイル転送(CAST)モデルを提案する。 Enron-ContextとReddit-Contextという2つの新しいベンチマークが、フォーマル性と攻撃性スタイルの転送のために導入された。
  論文  参考訳（メタデータ） (2020-04-30T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。