論文の概要: Adapter-TST: A Parameter Efficient Method for Multiple-Attribute Text
Style Transfer
- arxiv url: http://arxiv.org/abs/2305.05945v1
- Date: Wed, 10 May 2023 07:33:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 14:09:04.663749
- Title: Adapter-TST: A Parameter Efficient Method for Multiple-Attribute Text
Style Transfer
- Title(参考訳): Adapter-TST:多属性テキストスタイル転送のためのパラメータ効率向上手法
- Authors: Zhiqiang Hu, Roy Ka-Wei Lee, Nancy F. Chen
- Abstract要約: AdapterTSTは、事前訓練されたモデルのオリジナルのパラメータを凍結し、複数属性のテキストスタイルの転送モデルの開発を可能にするフレームワークである。
従来の感情伝達タスクと多属性伝達タスクの両方において提案したモデルを評価する。
- 参考スコア(独自算出の注目度): 29.67331801326995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adapting a large language model for multiple-attribute text style transfer
via fine-tuning can be challenging due to the significant amount of
computational resources and labeled data required for the specific task. In
this paper, we address this challenge by introducing AdapterTST, a framework
that freezes the pre-trained model's original parameters and enables the
development of a multiple-attribute text style transfer model. Using BART as
the backbone model, Adapter-TST utilizes different neural adapters to capture
different attribute information, like a plug-in connected to BART. Our method
allows control over multiple attributes, like sentiment, tense, voice, etc.,
and configures the adapters' architecture to generate multiple outputs
respected to attributes or compositional editing on the same sentence. We
evaluate the proposed model on both traditional sentiment transfer and
multiple-attribute transfer tasks. The experiment results demonstrate that
Adapter-TST outperforms all the state-of-the-art baselines with significantly
lesser computational resources. We have also empirically shown that each
adapter is able to capture specific stylistic attributes effectively and can be
configured to perform compositional editing.
- Abstract(参考訳): 大量の計算資源と特定のタスクに必要なラベル付きデータのために、微調整による多属性テキストスタイルの転送に大規模言語モデルを適用することは困難である。
本稿では、事前学習したモデルのパラメータを凍結し、複数属性のテキストスタイル転送モデルの開発を可能にするフレームワークである adaptertst を導入することで、この課題に対処する。
バックボーンモデルとしてBARTを使用することで、Adapter-TSTは異なるニューラルネットワークを使用して、BARTに接続されたプラグインのような異なる属性情報をキャプチャする。
本手法では感情・時制・声などの複数の属性を制御でき、アダプタのアーキテクチャによって属性に敬意を表した複数の出力を生成するか、同じ文で合成編集を行うように構成する。
従来の感情伝達タスクと多属性伝達タスクの両方において提案したモデルを評価する。
実験の結果、Adapter-TSTは、最先端のベースラインをはるかに少ない計算資源で上回ることを示した。
また,各アダプタが特定のスタイル属性を効果的にキャプチャし,構成編集を行うように構成できることを実証的に示した。
関連論文リスト
- MSdocTr-Lite: A Lite Transformer for Full Page Multi-script Handwriting
Recognition [3.0682439731292592]
フルページマルチスクリプト手書き文字認識のためのライトトランスアーキテクチャを提案する。
提案されたモデルには3つの利点がある。
カリキュラム学習戦略により,ページレベルの読み順を学習することができる。
簡単なトランスファー学習プロセスを適用することで、他のスクリプトに容易に適応できる。
論文 参考訳(メタデータ) (2023-03-24T11:40:50Z) - MV-Adapter: Multimodal Video Transfer Learning for Video Text Retrieval [60.454321238910474]
最先端のビデオテキスト検索手法は、通常、特定のデータセット上で事前訓練されたモデルを完全に微調整する。
本稿では,事前学習モデルを用いてパラメータ効率の高いVTRを実現する先駆的手法を提案する。
本稿では,Multimodal Video Adapter (MV-Adapter) と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-01-19T03:42:56Z) - ManiCLIP: Multi-Attribute Face Manipulation from Text [104.30600573306991]
テキスト記述に基づく新しい多属性顔操作法を提案する。
本手法は,テキスト関連属性の編集を最小限に抑えた自然な顔を生成する。
論文 参考訳(メタデータ) (2022-10-02T07:22:55Z) - AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large
Language Models [119.7093605087114]
大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。
これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。
パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
論文 参考訳(メタデータ) (2022-05-24T23:41:22Z) - Adaptable Adapters [74.65986170056945]
最先端のNLPモデルには1億から1兆のパラメータが含まれる。
適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。
適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
論文 参考訳(メタデータ) (2022-05-03T14:59:27Z) - Parameter-efficient Multi-task Fine-tuning for Transformers via Shared
Hypernetworks [37.2958914602899]
共有ハイパーネットワークを用いて、すべてのレイヤやタスクのアダプタパラメータを生成できることを示す。
よく知られたGLUEベンチマークの実験では、タスク当たり0.29%のパラメータしか追加することなく、マルチタスク学習のパフォーマンスが改善された。
論文 参考訳(メタデータ) (2021-06-08T16:16:40Z) - Lightweight Adapter Tuning for Multilingual Speech Translation [47.89784337058167]
適応モジュールはNLPのファインチューニングの代替として最近導入された。
本稿では,多言語音声翻訳用アダプタの包括的解析を提案する。
論文 参考訳(メタデータ) (2021-06-02T20:51:42Z) - AdapterHub: A Framework for Adapting Transformers [148.6877231725939]
AdapterHubは、さまざまなタスクや言語のためのトレーニング済みアダプタの動的"スティッチイン"を可能にするフレームワークである。
我々のフレームワークは、タスク固有のモデルの共有にスケーラブルで簡単にアクセスできる。
論文 参考訳(メタデータ) (2020-07-15T15:56:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。