Fugu-MT 論文翻訳(概要): Towards Robust and Semantically Organised Latent Representations for Unsupervised Text Style Transfer

論文の概要: Towards Robust and Semantically Organised Latent Representations for Unsupervised Text Style Transfer

arxiv url: http://arxiv.org/abs/2205.02309v1
Date: Wed, 4 May 2022 20:04:24 GMT
ステータス: 処理完了
システム内更新日: 2022-05-06 14:21:26.106499
Title: Towards Robust and Semantically Organised Latent Representations for Unsupervised Text Style Transfer
Title（参考訳）: 教師なしテキストスタイル転送のためのロバストかつセマンティックな潜在表現に向けて
Authors: Sharan Narasimhan, Suvodip Dey, Maunendra Sankar Desarkar
Abstract要約: この摂動モデルを完成させるEPAAE(Perturbed Adrial AutoEncoders)を導入する。これは、(a)スタイル的に類似した文をまとめるより優れた組織化された潜在空間を生み出すことを実証的に示す。また、テキストスタイルの転送タスクをNLIデータセットに拡張し、これらのより複雑なスタイル定義がEPAAEによって最もよく学習されていることを示す。
参考スコア（独自算出の注目度）: 6.467090475885798
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent studies show that auto-encoder based approaches successfully perform language generation, smooth sentence interpolation, and style transfer over unseen attributes using unlabelled datasets in a zero-shot manner. The latent space geometry of such models is organised well enough to perform on datasets where the style is "coarse-grained" i.e. a small fraction of words alone in a sentence are enough to determine the overall style label. A recent study uses a discrete token-based perturbation approach to map "similar" sentences ("similar" defined by low Levenshtein distance/ high word overlap) close by in latent space. This definition of "similarity" does not look into the underlying nuances of the constituent words while mapping latent space neighbourhoods and therefore fails to recognise sentences with different style-based semantics while mapping latent neighbourhoods. We introduce EPAAEs (Embedding Perturbed Adversarial AutoEncoders) which completes this perturbation model, by adding a finely adjustable noise component on the continuous embeddings space. We empirically show that this (a) produces a better organised latent space that clusters stylistically similar sentences together, (b) performs best on a diverse set of text style transfer tasks than similar denoising-inspired baselines, and (c) is capable of fine-grained control of Style Transfer strength. We also extend the text style transfer tasks to NLI datasets and show that these more complex definitions of style are learned best by EPAAE. To the best of our knowledge, extending style transfer to NLI tasks has not been explored before.
Abstract（参考訳）: 近年の研究では、自動エンコーダに基づくアプローチが、ゼロショット方式で、未認識の属性に対する言語生成、スムーズな文補間、スタイル転送に成功していることが示されている。このようなモデルの潜在空間幾何学は、そのスタイルが「粗い粒度」であるようなデータセット上では十分に機能し、すなわち文中の少数の単語だけで全体のスタイルラベルを決定するのに十分である。最近の研究では、離散トークンベースの摂動法を用いて、「類似した」文(低レベンシュテイン距離と高単語重なりによって定義される)を潜在空間に近接させる。この「類似性」の定義は、潜在空間近傍をマッピングしながら構成語の根底にあるニュアンスを考慮せず、それゆえ、潜在近傍をマッピングしながら異なるスタイルに基づく意味論を持つ文を認識できない。連続埋め込み空間に微調整可能なノイズ成分を加えることで、この摂動モデルを完成させるEPAAE(Embedding Perturbed Adversarial AutoEncoders)を導入する。これを実証的に示す (a)様式的に類似した文をまとめるより優れた組織化された潜伏空間を作り出す。 (b)類似の着想に基づくベースラインよりも多種多様なテキストスタイルの転送タスクで最善を尽くし、 (c)スタイル転写強度の細粒度制御が可能。また、テキストスタイル転送タスクをNLIデータセットに拡張し、これらのより複雑なスタイル定義がEPAAEによって最もよく学習されていることを示す。我々の知る限り、NLIタスクへのスタイル転送の拡張は、これまで検討されていない。

関連論文リスト

ParaGuide: Guided Diffusion Paraphrasers for Plug-and-Play Textual Style Transfer [57.6482608202409]
テキストスタイル転送は、意味を保ちながらテキストのスタイル特性を変換するタスクである。任意のスタイルに柔軟に適応できる汎用型転送のための新しい拡散型フレームワークを提案する。本研究では,人的評価と自動評価の両面から,Enron Email Corpusの手法を検証するとともに,形式性,感情,さらにはオーサシップスタイルの伝達にも優れることを示す。
論文参考訳（メタデータ） (2023-08-29T17:36:02Z)
Representation Of Lexical Stylistic Features In Language Models' Embedding Space [28.60690854046176]
これらのスタイリスティックな概念のそれぞれに対して,少数のシードペアのみからベクトル表現を導出できることが示されている。 5つのデータセットで実験を行い、静的な埋め込みがこれらの特徴を単語やフレーズのレベルでより正確にエンコードすることを発見した。単語レベルでの文脈化表現の低い性能は、ベクトル空間の異方性に起因する。
論文参考訳（メタデータ） (2023-05-29T23:44:26Z)
Sequential Integrated Gradients: a simple but effective method for explaining language models [0.18459705687628122]
SIG(Sequential Integrated Gradients)と呼ばれる言語モデルを記述する新しい手法を提案する。 SIGは、文中の各単語の重要性を計算し、他のすべての単語を固定し、ベースラインと興味のある単語の間にのみ生成する。我々はSIGが言語モデルを説明するのに非常に効果的な方法であることを証明した様々なモデルとデータセットを示す。
論文参考訳（メタデータ） (2023-05-25T08:44:11Z)
StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized Tokenizer of a Large-Scale Generative Model [64.26721402514957]
本論文では,自然言語を用いて抽象芸術スタイルを記述するスタイル転送手法であるStylerDALLEを提案する。具体的には、非自己回帰的なトークンシーケンス変換として、言語誘導型転送タスクを定式化する。スタイル情報を組み込むために,CLIPに基づく言語指導による強化学習戦略を提案する。
論文参考訳（メタデータ） (2023-03-16T12:44:44Z)
Zero-Shot Cross-Lingual Dependency Parsing through Contextual Embedding Transformation [7.615096161060399]
クロスリンガル埋め込み空間マッピングは通常、静的ワードレベル埋め込みで研究される。感覚レベルと辞書のない文脈埋め込みアライメントアプローチを検討する。組み込み変換によって構築された概念共有空間によるゼロショット依存性解析の実験は、多言語埋め込みを使用して最先端の方法を大幅に上回る。
論文参考訳（メタデータ） (2021-03-03T06:50:43Z)
GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer [119.70961704127157]
近年,非並列テキストスタイルの転送が研究の関心を集めている。現在のアプローチでは、元の文の内容やロジックを保存できない。文を言語グラフとしてモデル化し,グラフレベルで特徴抽出とスタイル転送を行う,グラフトランスフォーマーベースのAuto-GTAEを提案する。
論文参考訳（メタデータ） (2021-02-01T11:08:45Z)
A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文参考訳（メタデータ） (2020-09-23T15:45:32Z)
Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer [60.07283363509065]
教師なしのスタイル転送は、元のコンテンツを保持しながら入力文のスタイルを変更することを目的としている。本稿では,各出力語がターゲットスタイルに関連性があることを活かした,新たな注目シーケンス・ツー・シーケンスモデルを提案する。実験結果から,提案手法は転送精度とコンテンツ保存の両面から,最先端の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2020-05-05T10:24:28Z)
Contextual Text Style Transfer [73.66285813595616]
コンテキストテキストスタイル転送は、文をその周囲のコンテキストを考慮した所望のスタイルに変換することを目的としている。本稿では,各入力文とその周辺コンテキストに対して2つの異なるエンコーダを使用するコンテキスト認識スタイル転送(CAST)モデルを提案する。 Enron-ContextとReddit-Contextという2つの新しいベンチマークが、フォーマル性と攻撃性スタイルの転送のために導入された。
論文参考訳（メタデータ） (2020-04-30T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。