論文の概要: Adapter-TST: A Parameter Efficient Method for Multiple-Attribute Text Style Transfer

• arxiv url: http://arxiv.org/abs/2305.05945v1
• Date: Wed, 10 May 2023 07:33:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 14:09:04.663749
• Title: Adapter-TST: A Parameter Efficient Method for Multiple-Attribute Text Style Transfer
• Title（参考訳）: Adapter-TST:多属性テキストスタイル転送のためのパラメータ効率向上手法
• Authors: Zhiqiang Hu, Roy Ka-Wei Lee, Nancy F. Chen
• Abstract要約: AdapterTSTは、事前訓練されたモデルのオリジナルのパラメータを凍結し、複数属性のテキストスタイルの転送モデルの開発を可能にするフレームワークである。 従来の感情伝達タスクと多属性伝達タスクの両方において提案したモデルを評価する。
• 参考スコア（独自算出の注目度）: 29.67331801326995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting a large language model for multiple-attribute text style transfer via fine-tuning can be challenging due to the significant amount of computational resources and labeled data required for the specific task. In this paper, we address this challenge by introducing AdapterTST, a framework that freezes the pre-trained model's original parameters and enables the development of a multiple-attribute text style transfer model. Using BART as the backbone model, Adapter-TST utilizes different neural adapters to capture different attribute information, like a plug-in connected to BART. Our method allows control over multiple attributes, like sentiment, tense, voice, etc., and configures the adapters' architecture to generate multiple outputs respected to attributes or compositional editing on the same sentence. We evaluate the proposed model on both traditional sentiment transfer and multiple-attribute transfer tasks. The experiment results demonstrate that Adapter-TST outperforms all the state-of-the-art baselines with significantly lesser computational resources. We have also empirically shown that each adapter is able to capture specific stylistic attributes effectively and can be configured to perform compositional editing.
• Abstract（参考訳）: 大量の計算資源と特定のタスクに必要なラベル付きデータのために、微調整による多属性テキストスタイルの転送に大規模言語モデルを適用することは困難である。 本稿では、事前学習したモデルのパラメータを凍結し、複数属性のテキストスタイル転送モデルの開発を可能にするフレームワークである adaptertst を導入することで、この課題に対処する。 バックボーンモデルとしてBARTを使用することで、Adapter-TSTは異なるニューラルネットワークを使用して、BARTに接続されたプラグインのような異なる属性情報をキャプチャする。 本手法では感情・時制・声などの複数の属性を制御でき、アダプタのアーキテクチャによって属性に敬意を表した複数の出力を生成するか、同じ文で合成編集を行うように構成する。 従来の感情伝達タスクと多属性伝達タスクの両方において提案したモデルを評価する。 実験の結果、Adapter-TSTは、最先端のベースラインをはるかに少ない計算資源で上回ることを示した。 また,各アダプタが特定のスタイル属性を効果的にキャプチャし,構成編集を行うように構成できることを実証的に示した。

関連論文リスト

• iConFormer: Dynamic Parameter-Efficient Tuning with Input-Conditioned Adaptation [15.97351561456467]
  本稿では,iConFormerと呼ばれる新しいPEFT手法,入出力トランスフォーマーを提案する。 インスタンスレベルの特徴変換を可能にする動的アダプタに,入出力ネットワーク(iCoN)を導入する。 具体的に言うと、iCoNは各機能に対してチャネルワイドな畳み込みカーネルを生成し、それを適応畳み込みプロセスを使って変換し、下流タスクに適したタスク固有できめ細かな詳細を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-09-04T16:06:23Z)
• MV-Adapter: Multimodal Video Transfer Learning for Video Text Retrieval [60.454321238910474]
  最先端のビデオテキスト検索手法は、通常、特定のデータセット上で事前訓練されたモデルを完全に微調整する。 本稿では,事前学習モデルを用いてパラメータ効率の高いVTRを実現する先駆的手法を提案する。 本稿では,Multimodal Video Adapter (MV-Adapter) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-01-19T03:42:56Z)
• ManiCLIP: Multi-Attribute Face Manipulation from Text [104.30600573306991]
  テキスト記述に基づく新しい多属性顔操作法を提案する。 本手法は,テキスト関連属性の編集を最小限に抑えた自然な顔を生成する。
  論文  参考訳（メタデータ） (2022-10-02T07:22:55Z)
• AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large Language Models [119.7093605087114]
  大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。 これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。 パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2022-05-24T23:41:22Z)
• Adaptable Adapters [74.65986170056945]
  最先端のNLPモデルには1億から1兆のパラメータが含まれる。 適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。 適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
  論文  参考訳（メタデータ） (2022-05-03T14:59:27Z)
• Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks [37.2958914602899]
  共有ハイパーネットワークを用いて、すべてのレイヤやタスクのアダプタパラメータを生成できることを示す。 よく知られたGLUEベンチマークの実験では、タスク当たり0.29%のパラメータしか追加することなく、マルチタスク学習のパフォーマンスが改善された。
  論文  参考訳（メタデータ） (2021-06-08T16:16:40Z)
• Lightweight Adapter Tuning for Multilingual Speech Translation [47.89784337058167]
  適応モジュールはNLPのファインチューニングの代替として最近導入された。 本稿では,多言語音声翻訳用アダプタの包括的解析を提案する。
  論文  参考訳（メタデータ） (2021-06-02T20:51:42Z)
• AdapterHub: A Framework for Adapting Transformers [148.6877231725939]
  AdapterHubは、さまざまなタスクや言語のためのトレーニング済みアダプタの動的"スティッチイン"を可能にするフレームワークである。 我々のフレームワークは、タスク固有のモデルの共有にスケーラブルで簡単にアクセスできる。
  論文  参考訳（メタデータ） (2020-07-15T15:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。