論文の概要: Unsupervised Text Style Transfer via LLMs and Attention Masking with Multi-way Interactions

• arxiv url: http://arxiv.org/abs/2402.13647v1
• Date: Wed, 21 Feb 2024 09:28:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 16:22:46.581297
• Title: Unsupervised Text Style Transfer via LLMs and Attention Masking with Multi-way Interactions
• Title（参考訳）: LLMによる教師なしテキストスタイル転送とマルチウェイインタラクションによる注意タスク
• Authors: Lei Pan, Yunshi Lan, Yang Li, Weining Qian
• Abstract要約: 非教師付きテキストスタイル転送(UTST)が自然言語処理(NLP)分野における重要な課題として浮上している。 本稿では,命令を調整したパイプライン・フレームワークであるLarge Language Models (LLMs) から注目マスキング・モデルへの知識蒸留,構築された並列例を用いたコンテキスト内学習の4つの方法を提案する。 これらのマルチウェイインタラクションは、スタイルの強さ、コンテンツ保存、テキストの流布といった観点から、ベースラインを改善することを実証的に示しています。
• 参考スコア（独自算出の注目度）: 18.64326057581588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised Text Style Transfer (UTST) has emerged as a critical task within the domain of Natural Language Processing (NLP), aiming to transfer one stylistic aspect of a sentence into another style without changing its semantics, syntax, or other attributes. This task is especially challenging given the intrinsic lack of parallel text pairings. Among existing methods for UTST tasks, attention masking approach and Large Language Models (LLMs) are deemed as two pioneering methods. However, they have shortcomings in generating unsmooth sentences and changing the original contents, respectively. In this paper, we investigate if we can combine these two methods effectively. We propose four ways of interactions, that are pipeline framework with tuned orders; knowledge distillation from LLMs to attention masking model; in-context learning with constructed parallel examples. We empirically show these multi-way interactions can improve the baselines in certain perspective of style strength, content preservation and text fluency. Experiments also demonstrate that simply conducting prompting followed by attention masking-based revision can consistently surpass the other systems, including supervised text style transfer systems. On Yelp-clean and Amazon-clean datasets, it improves the previously best mean metric by 0.5 and 3.0 absolute percentages respectively, and achieves new SOTA results.
• Abstract（参考訳）: Unsupervised Text Style Transfer (UTST) は、自然言語処理(NLP)の領域において重要なタスクとして現れており、意味論、構文、その他の属性を変更することなく、文の1つのスタイルを別のスタイルに変換することを目的としている。 並列テキストペアリングの本質的な欠如を考えると、この作業は特に困難である。 既存のutstタスクでは,注意マスキングアプローチと大規模言語モデル(llm)が2つの先駆的手法とみなされている。 しかし、不規則な文を生成し、元の内容を変更することには欠点がある。 本稿では,これら2つの手法を効果的に組み合わせることができるか検討する。 そこで本研究では,LLMからアテンションマスキングモデルへの知識蒸留,コンテクスト内学習,並列的な例による並列学習の4つの方法を提案する。 これらのマルチウェイインタラクションが,スタイル強度,コンテンツ保存性,テキストフラレンシといった観点でベースラインを改善できることを実証的に示す。 実験では、単に注意マスクに基づくリビジョンを行うだけで、教師付きテキストスタイルの転送システムを含む他のシステムを追い越せることを示した。 Yelp-cleanデータセットとAmazon-cleanデータセットでは、それぞれ0.5と3.0の絶対パーセンテージで、これまで最高の平均メトリックを改善し、新たなSOTA結果を達成する。

関連論文リスト

• Mixture of Prompt Learning for Vision Language Models [12.828490399811376]
  ルーティングモジュールを組み込んだソフトプロンプト学習手法の混合を提案する。 このモジュールはデータセットのさまざまなスタイルをキャプチャし、インスタンス毎に最も適切なプロンプトを動的に選択することができる。 また、意味的にグループ化されたテキストレベルの監視を実装し、各ソフトプロンプトを、そのグループから手動で設計されたテンプレートのトークン埋め込みで初期化する。
  論文  参考訳（メタデータ） (2024-09-18T14:25:02Z)
• Advancing Prompt Learning through an External Layer [24.77977865016954]
  本稿では,新しい外部層(EnLa)を備えたEnPromptというパラダイムを提案する。 学習可能な外部レイヤは、トレーニング済みのCLIPの有効な埋め込みに基づいて構築される。 4つの実験により,本手法が既存の即時学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-29T03:30:09Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Cross-Modal Multi-Tasking for Speech-to-Text Translation via Hard Parameter Sharing [72.56219471145232]
  ハードパラメータ共有を伴うST/MTマルチタスクフレームワークを提案する。 本手法は,事前処理による音声文のモダリティギャップを低減する。 我々は,注意エンコーダ・デコーダ,コネクショニスト時間分類(CTC),トランスデューサ,共同CTC/アテンションモデルを平均+0.5BLEUで改善することを示す。
  論文  参考訳（メタデータ） (2023-09-27T17:48:14Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)
• Contextual Text Style Transfer [73.66285813595616]
  コンテキストテキストスタイル転送は、文をその周囲のコンテキストを考慮した所望のスタイルに変換することを目的としている。 本稿では,各入力文とその周辺コンテキストに対して2つの異なるエンコーダを使用するコンテキスト認識スタイル転送(CAST)モデルを提案する。 Enron-ContextとReddit-Contextという2つの新しいベンチマークが、フォーマル性と攻撃性スタイルの転送のために導入された。
  論文  参考訳（メタデータ） (2020-04-30T23:01:12Z)
• Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
  我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。 詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。 出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
  論文  参考訳（メタデータ） (2020-02-24T12:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。