論文の概要: Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization

• arxiv url: http://arxiv.org/abs/2010.05090v1
• Date: Sat, 10 Oct 2020 21:05:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 22:18:51.042937
• Title: Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization
• Title（参考訳）: 言語モデル判別器と相互情報最大化を用いた半教師あり形式変換
• Authors: Kunal Chawla, Diyi Yang
• Abstract要約: フォーマル・スタイル・トランスファー(英: Formality style transfer)とは、非公式な文を文法的に正しい形式文に変換するタスクである。 本稿では,言語モデルに基づく識別器を用いて,文が形式的である確率を最大化する半教師付き形式表現スタイル転送モデルを提案する。 実験の結果,我々のモデルは,自動計測と人的判断の両面で,従来の最先端のベースラインを著しく上回りました。
• 参考スコア（独自算出の注目度）: 52.867459839641526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Formality style transfer is the task of converting informal sentences to grammatically-correct formal sentences, which can be used to improve performance of many downstream NLP tasks. In this work, we propose a semi-supervised formality style transfer model that utilizes a language model-based discriminator to maximize the likelihood of the output sentence being formal, which allows us to use maximization of token-level conditional probabilities for training. We further propose to maximize mutual information between source and target styles as our training objective instead of maximizing the regular likelihood that often leads to repetitive and trivial generated responses. Experiments showed that our model outperformed previous state-of-the-art baselines significantly in terms of both automated metrics and human judgement. We further generalized our model to unsupervised text style transfer task, and achieved significant improvements on two benchmark sentiment style transfer datasets.
• Abstract（参考訳）: 形式性スタイル転送は、非公式の文を文法的に正しい形式文に変換する作業であり、多くの下流のnlpタスクのパフォーマンスを改善するために使用できる。 本研究では,言語モデルに基づく判別器を用いて,出力文の確率を最大化し,トークンレベルの条件付き確率の最大化を訓練に活用する半教師付き形式変換モデルを提案する。 我々はまた、しばしば繰り返しや自明な応答につながる正規確率を最大化するのではなく、ソースとターゲットのスタイル間の相互情報をトレーニング目的として最大化することを提案する。 実験の結果,我々のモデルは,自動測定と人的判断の両面で,従来の最先端のベースラインを著しく上回りました。 我々はさらに,教師なしテキストスタイル転送タスクにモデルを一般化し,2つのベンチマーク感情スタイル転送データセットで大幅な改善を行った。

関連論文リスト

• Leveraging Estimated Transferability Over Human Intuition for Model Selection in Text Ranking [17.475727043819635]
  モデル選択に対する効果的なアプローチとして、転送可能性推定(TE)が登場している。 本稿では,予測ランクを転送可能性として計算し,モデルのランク付け能力を明確に反映することを提案する。 得られた手法であるAdaptive Ranking Transferability (AiRTran)は、モデル間の微妙な差異を効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-09-24T15:48:03Z)
• Aligning Large Language Models with Counterfactual DPO [1.8130068086063336]
  本稿では,人的介入に頼らずにモデルスタイルを整列させる反事実的プロンプトの利用について検討する。 本研究では,この手法が望ましい行動を効果的に抑制し,望ましくない行動を緩和し,不適切な指示を無視するようモデルに促すことを実証する。
  論文  参考訳（メタデータ） (2024-01-17T19:43:43Z)
• Fine-grained Text Style Transfer with Diffusion-Based Language Models [50.02698074338317]
  微細テキストスタイル転送の標準ベンチマークであるStylePTBデータセットを用いて拡散モデルを構築した。 本モデルでは, 個人と作曲の両方において, 最先端の性能を達成できた。
  論文  参考訳（メタデータ） (2023-05-31T02:51:26Z)
• POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models [62.23255433487586]
  モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。 本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
  論文  参考訳（メタデータ） (2023-04-29T22:05:22Z)
• Non-Parallel Text Style Transfer with Self-Parallel Supervision [19.441780035577352]
  大規模言語モデルに基づく新しいテキストスタイル転送フレームワークであるLaMerを提案する。 LaMerはまず、シーングラフで非並列データセットのほぼ並列表現をマイニングし、続いてMLEトレーニングを使用し、続いて模倣学習の改良を行い、データ内の本質的な並列性を活用する。 2つのベンチマークタスク(センチメントとフォーマル性転送)と、新たに提案された課題タスク(政治的スタンス転送)において、我々のモデルは、転送精度、コンテンツ保存および流速の質的な進歩を達成する。
  論文  参考訳（メタデータ） (2022-04-18T01:38:35Z)
• GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer [119.70961704127157]
  近年,非並列テキストスタイルの転送が研究の関心を集めている。 現在のアプローチでは、元の文の内容やロジックを保存できない。 文を言語グラフとしてモデル化し,グラフレベルで特徴抽出とスタイル転送を行う,グラフトランスフォーマーベースのAuto-GTAEを提案する。
  論文  参考訳（メタデータ） (2021-02-01T11:08:45Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• StyleDGPT: Stylized Response Generation with Pre-trained Language Models [39.526613595499356]
  KL損失とスタイル分類器を導入し、単語レベルと文レベルの両方において、ターゲットスタイルに対して応答生成を操る。 我々のモデルは、スタイル整合性とコンテキスト整合性の両方の観点から、最先端の手法を著しく上回ります。
  論文  参考訳（メタデータ） (2020-10-06T09:29:50Z)
• A Probabilistic Formulation of Unsupervised Text Style Transfer [128.80213211598752]
  従来提案されていた非生成的手法を統一した教師なしテキストスタイル転送のための深層生成モデルを提案する。 観測された各シーケンスを生成する並列潜時シーケンスを仮定することにより、我々のモデルは、完全に教師なしの方法で、あるドメインから別のドメインへシーケンスを変換することを学ぶ。
  論文  参考訳（メタデータ） (2020-02-10T16:20:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。