論文の概要: PIP: Parse-Instructed Prefix for Syntactically Controlled Paraphrase
Generation
- arxiv url: http://arxiv.org/abs/2305.16701v1
- Date: Fri, 26 May 2023 07:42:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 16:19:00.412870
- Title: PIP: Parse-Instructed Prefix for Syntactically Controlled Paraphrase
Generation
- Title(参考訳): pip:構文制御paraphrase生成のためのパースインストラクションプレフィックス
- Authors: Yixin Wan, Kuan-Hao Huang, Kai-Wei Chang
- Abstract要約: Parse-Instructed Prefix (PIP) は、大規模な事前学習言語モデルをチューニングするためのプレフィックスチューニングの新しい適応である。
このタスクの従来の微調整手法とは対照的に、PIPは学習可能なパラメータの10倍少ない計算効率の代替手段である。
- 参考スコア(独自算出の注目度): 61.05254852400895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Syntactically controlled paraphrase generation requires language models to
generate paraphrases for sentences according to specific syntactic structures.
Existing fine-tuning methods for this task are costly as all the parameters of
the model need to be updated during the training process. Inspired by recent
studies on parameter-efficient learning, we propose Parse-Instructed Prefix
(PIP), a novel adaptation of prefix-tuning to tune large pre-trained language
models on syntactically controlled paraphrase generation task in a low-data
setting with significantly less training cost. We introduce two methods to
instruct a model's encoder prefix to capture syntax-related knowledge: direct
initiation (PIP-Direct) and indirect optimization (PIP-Indirect). In contrast
to traditional fine-tuning methods for this task, PIP is a compute-efficient
alternative with 10 times less learnable parameters. Compared to existing
prefix-tuning methods, PIP excels at capturing syntax control information,
achieving significantly higher performance at the same level of learnable
parameter count.
- Abstract(参考訳): 構文制御されたパラフレーズ生成は、特定の構文構造に従って文のパラフレーズを生成する言語モデルを必要とする。
このタスクの既存の微調整方法は、トレーニングプロセス中にモデルのすべてのパラメータを更新する必要があるため、コストがかかる。
パラメータ効率学習の最近の研究から着想を得たParse-Instructed Prefix (PIP)を提案する。これはプレフィックスチューニングの新たな適応であり、構文的に制御されたパラフレーズ生成タスクで大きな事前学習言語モデルを調整し、トレーニングコストを大幅に削減する。
本稿では,モデルのエンコーダプレフィックスに構文関連知識(直接開始(PIP-Direct)と間接最適化(PIP-Indirect)の2つの手法を導入する。
このタスクの従来の微調整手法とは対照的に、PIPは学習可能なパラメータの10倍少ない計算効率の代替手段である。
既存のプレフィックスチューニング手法と比較して、PIPは構文制御情報の取得に優れ、学習可能なパラメータ数と同じレベルで大幅に高い性能を実現している。
関連論文リスト
- RIFF: Learning to Rephrase Inputs for Few-shot Fine-tuning of Language
Models [4.8263889433108424]
本研究では,パラメータ効率のよい微調整手法とともに,元のタスクの入力テキストを変更することの影響について検討する。
入力テキストの書き直しを効果的に行うため,最大辺縁類似度を目標とした数発のパラフレーズモデルを訓練する。
本研究では, パラメータ効率のよい微調整だけで達成できることを超えて, 列車におけるパラフレーズとテスト時間によるデータ豊か化により, 性能が向上することを示す。
論文 参考訳(メタデータ) (2024-03-04T17:58:09Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-27T05:43:47Z) - Meta-Learning the Difference: Preparing Large Language Models for
Efficient Adaptation [11.960178399478718]
大規模な事前訓練言語モデル(PLM)は、しばしば細調整やプロンプトによってドメインまたはタスク適応される。
その代わりに、一般と適応のPLMの違いを学習することで、データおよびパラメータ効率の適応のためのPLMを作成する。
論文 参考訳(メタデータ) (2022-07-07T18:00:22Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳(メタデータ) (2022-06-04T10:08:50Z) - IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。
本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
論文 参考訳(メタデータ) (2022-04-09T15:45:27Z) - Making Pre-trained Language Models End-to-end Few-shot Learners with
Contrastive Prompt Tuning [41.15017636192417]
CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。
完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。
IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-04-01T02:24:24Z) - An Exploration of Prompt Tuning on Generative Spoken Language Model for
Speech Processing Tasks [112.1942546460814]
生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。
実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2022-03-31T03:26:55Z) - Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。
自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。
パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
論文 参考訳(メタデータ) (2021-01-01T08:00:36Z) - WARP: Word-level Adversarial ReProgramming [13.08689221166729]
多くのアプリケーションでは、多くのパラメータを複数のタスクで共有できるように、より小さなパラメータセットをチューニングすることが望ましい。
自動プロンプト生成に関する初期の研究を拡張した逆転プログラミングに基づく代替アプローチを提案する。
提案手法は,SST-2およびMNLIデータセット上で,類似のトレーニング可能なパラメータ数で他の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-01-01T00:41:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。