論文の概要: Improving Task Generalization via Unified Schema Prompt
- arxiv url: http://arxiv.org/abs/2208.03229v1
- Date: Fri, 5 Aug 2022 15:26:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-08 12:31:33.972166
- Title: Improving Task Generalization via Unified Schema Prompt
- Title(参考訳): Unified Schema Promptによるタスク一般化の改善
- Authors: Wanjun Zhong, Yifan Gao, Ning Ding, Zhiyuan Liu, Ming Zhou, Jiahai
Wang, Jian Yin, Nan Duan
- Abstract要約: Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。
異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。
このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 87.31158568180514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Task generalization has been a long standing challenge in Natural Language
Processing (NLP). Recent research attempts to improve the task generalization
ability of pre-trained language models by mapping NLP tasks into human-readable
prompted forms. However, these approaches require laborious and inflexible
manual collection of prompts, and different prompts on the same downstream task
may receive unstable performance. We propose Unified Schema Prompt, a flexible
and extensible prompting method, which automatically customizes the learnable
prompts for each task according to the task input schema. It models the shared
knowledge between tasks, while keeping the characteristics of different task
schema, and thus enhances task generalization ability. The schema prompt takes
the explicit data structure of each task to formulate prompts so that little
human effort is involved. To test the task generalization ability of schema
prompt at scale, we conduct schema prompt-based multitask pre-training on a
wide variety of general NLP tasks. The framework achieves strong zero-shot and
few-shot generalization performance on 16 unseen downstream tasks from 8 task
types (e.g., QA, NLI, etc). Furthermore, comprehensive analyses demonstrate the
effectiveness of each component in the schema prompt, its flexibility in task
compositionality, and its ability to improve performance under a full-data
fine-tuning setting.
- Abstract(参考訳): タスクの一般化は自然言語処理(NLP)における長年の課題である。
近年,NLPタスクを人間の読みやすい入力形式にマッピングすることで,事前学習言語モデルのタスク一般化能力の向上が試みられている。
しかし、これらのアプローチには、手間と柔軟性のないプロンプトの手動コレクションが必要であり、同じ下流タスクで異なるプロンプトが不安定なパフォーマンスを受ける可能性がある。
タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする,フレキシブルで拡張可能なプロンプト手法であるunified schema promptを提案する。
異なるタスクスキーマの特性を維持しながら、タスク間の共有知識をモデル化し、タスクの一般化能力を高める。
スキーマプロンプトは各タスクの明示的なデータ構造を使ってプロンプトを定式化し、人間の労力がほとんどかからないようにします。
大規模なスキーマプロンプトのタスク一般化能力をテストするため,多種多様なNLPタスクに対して,スキーマプロンプトに基づくマルチタスク事前学習を行う。
このフレームワークは、8つのタスクタイプ(QA、NLIなど)から16のダウンストリームタスクに対して、強力なゼロショットと数ショットの一般化性能を達成する。
さらに、包括的な分析により、スキーマプロンプトにおける各コンポーネントの有効性、タスク構成性における柔軟性、およびフルデータ微調整環境での性能向上能力を示す。
関連論文リスト
- Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳(メタデータ) (2023-11-01T04:40:05Z) - TransPrompt v2: A Transferable Prompting Framework for Cross-task Text
Classification [37.824031151922604]
そこで本研究では,テキスト分類タスク間の数ショット学習を実現するための,トランスプロンプトv2を提案する。
類似したタスクを学習するために、メタラーナーを訓練するためにマルチタスクメタ知識獲得(MMA)手順を用いる。
遠隔タスクを学習するために、タスクタイプ記述をプロンプトに注入し、タイプ内およびタイプ間プロンプト埋め込みをキャプチャする。
論文 参考訳(メタデータ) (2023-08-29T04:16:57Z) - Continual Task Allocation in Meta-Policy Network via Sparse Prompting [42.386912478509814]
タスクの連続を継続的に学習することで、一般化可能なメタ政治の訓練方法を示す。
スパース・プロンプティング(CoTASP)による連続タスク割当(Continual Task Allocation)"で対処する。
実験では、CoTASPは過去のタスクの経験を保存または再生することなく、有望な可塑性-安定性トレードオフを達成する。
論文 参考訳(メタデータ) (2023-05-29T03:36:32Z) - Multitask Vision-Language Prompt Tuning [103.5967011236282]
マルチタスク視覚言語プロンプトチューニング(MV)を提案する。
MVはクロスタスクの知識を視覚言語モデルの迅速なチューニングに取り入れている。
20個の視覚タスクの結果、提案手法は全ての単一タスクのベースライン・プロンプト・チューニング法より優れていることが示された。
論文 参考訳(メタデータ) (2022-11-21T18:41:44Z) - Decomposed Prompting: A Modular Approach for Solving Complex Tasks [55.42850359286304]
本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。
このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。
Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
論文 参考訳(メタデータ) (2022-10-05T17:28:20Z) - Towards Unified Prompt Tuning for Few-shot Text Classification [47.71344780587704]
We present the Unified Prompt Tuning (UPT) framework that to improve few-shot text classification for BERT-style model。
UPTでは、異なるNLPタスク間での協調学習のために、新しいパラダイムであるPrompt-Options-Verbalizerを提案する。
また, PLMの一般化能力を向上させるために, 知識向上型選択マスケッド言語モデリングという自己教師型タスクを設計する。
論文 参考訳(メタデータ) (2022-05-11T07:40:45Z) - Improving Multi-task Generalization Ability for Neural Text Matching via
Prompt Learning [54.66399120084227]
最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。
我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。
特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。
一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
論文 参考訳(メタデータ) (2022-04-06T11:01:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。