論文の概要: Meta-Learning the Difference: Preparing Large Language Models for
Efficient Adaptation
- arxiv url: http://arxiv.org/abs/2207.03509v1
- Date: Thu, 7 Jul 2022 18:00:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-11 13:43:49.018914
- Title: Meta-Learning the Difference: Preparing Large Language Models for
Efficient Adaptation
- Title(参考訳): メタラーニング 違い: 効率的な適応のための大規模言語モデルの作成
- Authors: Zejiang Hou, Julian Salazar, George Polovets
- Abstract要約: 大規模な事前訓練言語モデル(PLM)は、しばしば細調整やプロンプトによってドメインまたはタスク適応される。
その代わりに、一般と適応のPLMの違いを学習することで、データおよびパラメータ効率の適応のためのPLMを作成する。
- 参考スコア(独自算出の注目度): 11.960178399478718
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large pretrained language models (PLMs) are often domain- or task-adapted via
fine-tuning or prompting. Finetuning requires modifying all of the parameters
and having enough data to avoid overfitting while prompting requires no
training and few examples but limits performance. Instead, we prepare PLMs for
data- and parameter-efficient adaptation by learning to learn the difference
between general and adapted PLMs. This difference is expressed in terms of
model weights and sublayer structure through our proposed dynamic low-rank
reparameterization and learned architecture controller. Experiments on few-shot
dialogue completion, low-resource abstractive summarization, and multi-domain
language modeling show improvements in adaptation time and performance over
direct finetuning or preparation via domain-adaptive pretraining. Ablations
show our task-adaptive reparameterization (TARP) and model search (TAMS)
components individually improve on other parameter-efficient transfer like
adapters and structure-learning methods like learned sparsification.
- Abstract(参考訳): 大規模な事前訓練言語モデル(PLM)は、しばしば細調整やプロンプトによってドメインまたはタスク適応される。
微調整には、すべてのパラメータを変更し、オーバーフィッティングを避けるのに十分なデータを持つ必要がある。
その代わりに、一般と適応のPLMの違いを学習することで、データおよびパラメータ効率の適応のためのPLMを作成する。
この違いは,提案する動的低ランク再パラメータ化と学習型アーキテクチャコントローラを通じて,モデルウェイトとサブレイヤ構造の観点から表現される。
少数シーンの対話補完、低リソースの抽象要約、マルチドメイン言語モデリングの実験は、ドメイン適応プリトレーニングによる直接的微調整や準備よりも適応時間と性能が改善されたことを示している。
アブレーションは我々のタスク適応型再パラメータ化(TARP)とモデル探索(TAMS)コンポーネントを個別に、アダプタのようなパラメータ効率の変換や学習スペーシングのような構造学習手法で改善することを示している。
関連論文リスト
- Re-parameterized Low-rank Prompt: Generalize a Vision-Language Model
within 0.5K Parameters [75.28536311904489]
そこで我々は,RLP(Re- parameterized Low-rank Prompt)という新しいタイプのプロンプトを開発した。
11データセットを超える一連のタスクにおいて、RLPは0.5Kパラメータだけで古典的なプロンプトチューニングの平均下流精度を最大5.25%向上させる。
論文 参考訳(メタデータ) (2023-12-17T20:42:43Z) - Context-PEFT: Efficient Multi-Modal, Multi-Task Fine-Tuning [12.648711621637663]
この論文は小説を紹介します。
COCO-Efficient Fine-Tuning (PEFT) framework for multi-modal, multi-task transfer learning with pre-trained language model。
トークンのドメインに基づいて異なる適応パラメータ群を学習するContext-PEFTを提案する。
提案手法はキャプションタスクで評価され、類似したデータ制約下での完全な微調整よりも優れる。
論文 参考訳(メタデータ) (2023-12-14T13:00:24Z) - AdaptIR: Parameter Efficient Multi-task Adaptation for Pre-trained Image
Restoration Models [58.10797482129863]
本稿では,事前学習した復元モデルに適応するためのパラメータ効率の良い移動学習手法であるAdaptIRを提案する。
実験により,提案手法は0.6%しか使用せず,完全微調整よりも同等あるいはさらに優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2023-12-12T14:27:59Z) - On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。
タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文 参考訳(メタデータ) (2023-07-04T02:47:42Z) - AdapterEM: Pre-trained Language Model Adaptation for Generalized Entity
Matching using Adapter-tuning [3.4754314910585626]
本稿では,アダプタをベースとした微調整PrLMのためのパラメータ効率のパラダイムを提案する。
提案手法は,フルスケールのPrLMファインチューニングとプロンプトチューニングのベースラインに匹敵する,あるいは優れた性能を実現する。
論文 参考訳(メタデータ) (2023-05-30T04:03:23Z) - PIP: Parse-Instructed Prefix for Syntactically Controlled Paraphrase
Generation [61.05254852400895]
Parse-Instructed Prefix (PIP) は、大規模な事前学習言語モデルをチューニングするためのプレフィックスチューニングの新しい適応である。
このタスクの従来の微調整手法とは対照的に、PIPは学習可能なパラメータの10倍少ない計算効率の代替手段である。
論文 参考訳(メタデータ) (2023-05-26T07:42:38Z) - TADA: Efficient Task-Agnostic Domain Adaptation for Transformers [3.9379577980832843]
本研究では,タスクに依存しない新しいドメイン適応手法であるTADを紹介する。
TADA内では、トランスフォーマーエンコーダ用のドメイン認識型入力表現とトークン化器を学習するために埋め込みを再学習する。
メタ埋め込みと新しいメタトケナイザを用いて実験を行い、マルチドメインのユースケースでタスク毎に1つのモデルを作成する。
論文 参考訳(メタデータ) (2023-05-22T04:53:59Z) - Gradient-Regulated Meta-Prompt Learning for Generalizable
Vision-Language Models [137.74524357614285]
グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。
パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。
GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
論文 参考訳(メタデータ) (2023-03-12T05:03:37Z) - Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。
U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
論文 参考訳(メタデータ) (2023-03-01T17:38:03Z) - Parameter-Efficient Tuning with Special Token Adaptation [25.37998979962568]
PASTAは自然言語理解タスクの微調整に匹敵するパフォーマンスを実現している。
我々の研究は、事前訓練された言語モデルにおける特別なトークンの重要な役割を実証している。
論文 参考訳(メタデータ) (2022-10-10T01:02:51Z) - Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。
近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。
我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-08T20:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。