論文の概要: Style-Specific Neurons for Steering LLMs in Text Style Transfer

• arxiv url: http://arxiv.org/abs/2410.00593v1
• Date: Tue, 1 Oct 2024 11:25:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 04:47:16.893967
• Title: Style-Specific Neurons for Steering LLMs in Text Style Transfer
• Title（参考訳）: テキストスタイル伝達におけるステアリングLDMのためのスタイル特異的ニューロン
• Authors: Wen Lai, Viktor Hangya, Alexander Fraser,
• Abstract要約: テキストスタイル転送(TST)は、本来の意味を変更することなく、テキストのスタイルを変更することを目的としている。 スタイル特異的ニューロンを用いた大規模言語モデルのステアリング手法であるsNeuron-TSTを提案する。
• 参考スコア（独自算出の注目度）: 55.06697862691798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text style transfer (TST) aims to modify the style of a text without altering its original meaning. Large language models (LLMs) demonstrate superior performance across multiple tasks, including TST. However, in zero-shot setups, they tend to directly copy a significant portion of the input text to the output without effectively changing its style. To enhance the stylistic variety and fluency of the text, we present sNeuron-TST, a novel approach for steering LLMs using style-specific neurons in TST. Specifically, we identify neurons associated with the source and target styles and deactivate source-style-only neurons to give target-style words a higher probability, aiming to enhance the stylistic diversity of the generated text. However, we find that this deactivation negatively impacts the fluency of the generated text, which we address by proposing an improved contrastive decoding method that accounts for rapid token probability shifts across layers caused by deactivated source-style neurons. Empirical experiments demonstrate the effectiveness of the proposed method on six benchmarks, encompassing formality, toxicity, politics, politeness, authorship, and sentiment.
• Abstract（参考訳）: テキストスタイル転送(TST)は、本来の意味を変更することなく、テキストのスタイルを変更することを目的としている。 大規模言語モデル(LLM)は、TSTを含む複数のタスクで優れたパフォーマンスを示す。 しかし、ゼロショット設定では、入力テキストのかなりの部分をそのスタイルを効果的に変更することなく直接出力にコピーする傾向がある。 テキストのスタイリスティックな多様性と流布性を高めるため,我々は,スタイル特異的ニューロンを用いたLLMのステアリング手法であるsNeuron-TSTを提案する。 具体的には、ソースとターゲットのスタイルに関連するニューロンを識別し、ソーススタイルのみのニューロンを非活性化し、ターゲットスタイルの単語に高い確率を与える。 しかし,この不活性化が生成したテキストの流速に悪影響を及ぼすことが判明し,非活性化源型ニューロンによって生じる層間のトークン確率の急激なシフトを考慮に入れた改良されたコントラスト復号法を提案する。 実証実験では, 形式性, 毒性, 政治性, 礼儀正しく, 著者性, 感情の6つのベンチマークにおいて, 提案手法の有効性を実証した。

関連論文リスト

• Style Vectors for Steering Generative Large Language Model [1.4815455267254962]
  入力テキストに対する記録層アクティベーションから,特定のスタイルでスタイルベクトルを計算可能であることを示す。 提案した研究は、より適応的で効果的なAIを活用したインタラクティブシステムを開発するための重要なステップとなる。
  論文  参考訳（メタデータ） (2024-02-02T18:31:15Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• MSSRNet: Manipulating Sequential Style Representation for Unsupervised Text Style Transfer [82.37710853235535]
  教師なしのテキストスタイル転送タスクは、メインのコンテンツを保持しながらテキストをターゲットのスタイルに書き換えることを目的としている。 従来の方法では、固定サイズのベクトルを使ってテキストスタイルを規制するが、個々のトークンのスタイル強度を正確に伝達することは困難である。 提案手法は,テキスト中の各トークンに個々のスタイルベクトルを割り当てることでこの問題に対処する。
  論文  参考訳（メタデータ） (2023-06-12T13:12:29Z)
• VAE based Text Style Transfer with Pivot Words Enhancement Learning [5.717913255287939]
  本稿では,VT-STOWER法(PivOt Words Enhancement leaRning)を用いたVAEベースのテキストスタイル転送を提案する。 本稿では,特定のスタイルで決定的な単語を学習するためのピボット・ワード・ラーニングを紹介する。 提案したVT-STOWERは、新しいフレキシブルなスタイルの強度制御機構により、異なるTSTシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2021-12-06T16:41:26Z)
• Fine-grained style control in Transformer-based Text-to-speech Synthesis [78.92428622630861]
  本稿では,Transformer-based text-to-speech synthesis (TransformerTTS) におけるきめ細かいスタイル制御を実現する新しいアーキテクチャを提案する。 参照音声から局所的スタイルトークン(LST)の時系列を抽出することにより、発話スタイルをモデル化する。 実験により, きめ細かいスタイル制御では, 自然性, 知能性, スタイル伝達性が向上することが示された。
  論文  参考訳（メタデータ） (2021-10-12T19:50:02Z)
• Neural Text Generation with Part-of-Speech Guided Softmax [82.63394952538292]
  テキスト生成を導くために,言語アノテーション,すなわち部分音声(POS)を用いることを提案する。 提案手法は,比較品質を維持しつつ,より多様なテキストを生成できることを示した。
  論文  参考訳（メタデータ） (2021-05-08T08:53:16Z)
• StylePTB: A Compositional Benchmark for Fine-grained Controllable Text Style Transfer [90.6768813620898]
  スタイル転送は、ソース文定数からコアの意味を維持しながら、ターゲットのスタイル変更を伴うテキストを制御的に生成することを目的としています。 テキストの原子語彙,構文,セマンティック,セマンティックトランスファーにまたがる21のきめ細かなスタイリスティックな文を含む大規模ベンチマークであるStylePTBを導入する。 StylePTBの既存のメソッドは、細かい変更をモデル化するのに苦労し、複数のスタイルを構成するのにさらに困難です。
  論文  参考訳（メタデータ） (2021-04-12T04:25:09Z)
• Syntax-driven Iterative Expansion Language Models for Controllable Text Generation [2.578242050187029]
  本稿では,ニューラルテキスト生成に構文的帰納バイアスを導入するための新しいパラダイムを提案する。 実験の結果,このパラダイムはテキスト生成に有効であり,LSTMとトランスフォーマーの質と同等の多様性を持つことがわかった。
  論文  参考訳（メタデータ） (2020-04-05T14:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。