論文の概要: LFPT5: A Unified Framework for Lifelong Few-shot Language Learning Based
on Prompt Tuning of T5
- arxiv url: http://arxiv.org/abs/2110.07298v1
- Date: Thu, 14 Oct 2021 12:06:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-15 13:58:52.864059
- Title: LFPT5: A Unified Framework for Lifelong Few-shot Language Learning Based
on Prompt Tuning of T5
- Title（参考訳）: LFPT5:T5のプロンプトチューニングに基づく一貫したFew-shot言語学習フレームワーク
- Authors: Chengwei Qin and Shafiq Joty
- Abstract要約: 本稿では,T5の即時チューニングに基づくLFLL(Lifelong Few-shot Language Learning)の統一フレームワークを提案する。
LFPT5と呼ばれる我々のフレームワークはPTの強力な数発学習能力を最大限に活用し、タスクソルバとデータジェネレータとしてモデルを同時に訓練する。
広範な実験により、LFPT5は様々な種類のタスクに適用でき、異なるLFLL設定で従来のメソッドよりも大幅に優れていたことが実証された。
- 参考スコア（独自算出の注目度）: 3.04585143845864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing approaches to lifelong language learning rely on plenty of labeled
data for learning a new task, which is hard to obtain in most real scenarios.
Considering that humans can continually learn new tasks from a handful of
examples, we expect the models also to be able to generalize well on new
few-shot tasks without forgetting the previous ones. In this work, we define
this more challenging yet practical problem as Lifelong Few-shot Language
Learning (LFLL) and propose a unified framework for it based on prompt tuning
of T5. Our framework called LFPT5 takes full advantage of PT's strong few-shot
learning ability, and simultaneously trains the model as a task solver and a
data generator. Before learning a new domain of the same task type, LFPT5
generates pseudo (labeled) samples of previously learned domains, and later
gets trained on those samples to alleviate forgetting of previous knowledge as
it learns the new domain. In addition, a KL divergence loss is minimized to
achieve label consistency between the previous and the current model. While
adapting to a new task type, LFPT5 includes and tunes additional prompt
embeddings for the new task. With extensive experiments, we demonstrate that
LFPT5 can be applied to various different types of tasks and significantly
outperform previous methods in different LFLL settings.
- Abstract（参考訳）: 生涯の言語学習に対する既存のアプローチは、新しいタスクを学ぶために多くのラベル付きデータに依存している。
人間がいくつかの例から新しいタスクを継続的に学習できることを考えると、従来のタスクを忘れずに新しいタスクをうまく一般化できることを期待している。
本稿では,この課題をより困難かつ実用的な問題としてlll(lifelong few-shot language learning)を定義し,t5のプロンプトチューニングに基づく統一フレームワークを提案する。
LFPT5と呼ばれるフレームワークはPTの強力な数発学習能力を最大限に活用し、タスクソルバとデータジェネレータとしてモデルを同時に訓練する。
同じタスクタイプの新しいドメインを学ぶ前に、lfpt5は、以前に学習したドメインの擬似(ラベル付き)サンプルを生成し、その後、新しいドメインを学ぶ際に、以前の知識を忘れないようにトレーニングされる。
さらに、kl分岐損失を最小化し、前モデルと現在のモデルとのラベル一貫性を実現する。
新しいタスクタイプに適応しながら、LFPT5は、新しいタスクのための追加のプロンプト埋め込みを含む。
広範な実験により、LFPT5は様々な種類のタスクに適用でき、異なるLFLL設定で従来のメソッドよりも大幅に優れていた。
関連論文リスト
- Limits of Transformer Language Models on Learning to Compose Algorithms [77.2443883991608]
我々は,LLaMAモデルのトレーニングと,複数の個別サブタスクの合成学習を必要とする4つのタスクにおけるGPT-4とGeminiの促進について検討した。
その結果,現在最先端のTransformer言語モデルにおける構成学習は,非常に非効率なサンプルであることが示唆された。
論文 参考訳（メタデータ） (2024-02-08T16:23:29Z) - Generalization to New Sequential Decision Making Tasks with In-Context
Learning [23.36106067650874]
少数のデモから新しいタスクを学習できる自律エージェントの訓練は、機械学習における長年の問題である。
本稿では,変換器を逐次決定問題に適用しても,新しいタスクの文脈内学習は不可能であることを示す。
我々は、異なる設計選択を調査し、より大きなモデルとデータセットサイズ、さらにタスクの多様性、環境、トラジェクトリのバーストネスが、新しいアウト・オブ・ディストリビューションタスクのコンテキスト内学習の改善をもたらすことを発見した。
論文 参考訳（メタデータ） (2023-12-06T15:19:28Z) - Preventing Catastrophic Forgetting in Continual Learning of New Natural
Language Tasks [17.879087904904935]
マルチタスク学習(MTL)は、自然言語処理において、1つのモデルで複数の関連するタスクを学習するための標準技術として広く受け入れられている。
通常、システムは時間とともに進化するので、既存のMTLモデルに新しいタスクを追加するには、通常、すべてのタスクをスクラッチから再トレーニングする必要があります。
本稿では、n+1タスクを解くための新しいタスクに、既に訓練済みのnタスクに関するモデルの知識を蒸留することにより、MTLモデルの能力を漸進的に拡張し、新しいタスクを時間とともに解決する問題にアプローチする。
論文 参考訳（メタデータ） (2023-02-22T00:18:25Z) - Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。
新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能
我々は,我々のモデルの有効性を示す広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-01-06T08:42:05Z) - Improving Cross-task Generalization of Unified Table-to-text Models with
Compositional Task Configurations [63.04466647849211]
メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。
本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。
これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
論文 参考訳（メタデータ） (2022-12-17T02:20:14Z) - Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。
TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。
提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文 参考訳（メタデータ） (2022-11-18T15:09:03Z) - Investigating Numeracy Learning Ability of a Text-to-Text Transfer Model [18.922352061424302]
本稿では,テキストからテキストへの移動学習モデル(T5)の数値学習能力について検討する。
数値化、等級予測、列内の最小値と最大値の探索、ソートという4つの数値処理について検討する。
T5モデルは適度に性能が良いが、4つのタスクすべてにわたる外挿設定ではかなり苦労している。
論文 参考訳（メタデータ） (2021-09-10T05:33:17Z) - Lifelong Learning of Few-shot Learners across NLP Tasks [45.273018249235705]
私たちは、さまざまなNLPタスクのシーケンスを通じて、生涯学習の難しさを研究します。
アダプタウェイトの生成をいくつかの例から学ぶ,継続的なメタラーニングアプローチを提案する。
私たちのアプローチは、トレーニングタスクよりもモデルのパフォーマンスを維持し、将来のタスクが学習されるとポジティブな知識伝達につながります。
論文 参考訳（メタデータ） (2021-04-18T10:41:56Z) - Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。
タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。
私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
論文 参考訳（メタデータ） (2021-03-30T18:11:30Z) - Parameter-Efficient Transfer from Sequential Behaviors for User Modeling
and Recommendation [111.44445634272235]
本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。
PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。
我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
論文 参考訳（メタデータ） (2020-01-13T14:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。