論文の概要: Improving Task Generalization via Unified Schema Prompt

• arxiv url: http://arxiv.org/abs/2208.03229v1
• Date: Fri, 5 Aug 2022 15:26:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-08 12:31:33.972166
• Title: Improving Task Generalization via Unified Schema Prompt
• Title（参考訳）: Unified Schema Promptによるタスク一般化の改善
• Authors: Wanjun Zhong, Yifan Gao, Ning Ding, Zhiyuan Liu, Ming Zhou, Jiahai Wang, Jian Yin, Nan Duan
• Abstract要約: Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。 異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。 このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 87.31158568180514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task generalization has been a long standing challenge in Natural Language Processing (NLP). Recent research attempts to improve the task generalization ability of pre-trained language models by mapping NLP tasks into human-readable prompted forms. However, these approaches require laborious and inflexible manual collection of prompts, and different prompts on the same downstream task may receive unstable performance. We propose Unified Schema Prompt, a flexible and extensible prompting method, which automatically customizes the learnable prompts for each task according to the task input schema. It models the shared knowledge between tasks, while keeping the characteristics of different task schema, and thus enhances task generalization ability. The schema prompt takes the explicit data structure of each task to formulate prompts so that little human effort is involved. To test the task generalization ability of schema prompt at scale, we conduct schema prompt-based multitask pre-training on a wide variety of general NLP tasks. The framework achieves strong zero-shot and few-shot generalization performance on 16 unseen downstream tasks from 8 task types (e.g., QA, NLI, etc). Furthermore, comprehensive analyses demonstrate the effectiveness of each component in the schema prompt, its flexibility in task compositionality, and its ability to improve performance under a full-data fine-tuning setting.
• Abstract（参考訳）: タスクの一般化は自然言語処理(NLP)における長年の課題である。 近年,NLPタスクを人間の読みやすい入力形式にマッピングすることで,事前学習言語モデルのタスク一般化能力の向上が試みられている。 しかし、これらのアプローチには、手間と柔軟性のないプロンプトの手動コレクションが必要であり、同じ下流タスクで異なるプロンプトが不安定なパフォーマンスを受ける可能性がある。 タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする,フレキシブルで拡張可能なプロンプト手法であるunified schema promptを提案する。 異なるタスクスキーマの特性を維持しながら、タスク間の共有知識をモデル化し、タスクの一般化能力を高める。 スキーマプロンプトは各タスクの明示的なデータ構造を使ってプロンプトを定式化し、人間の労力がほとんどかからないようにします。 大規模なスキーマプロンプトのタスク一般化能力をテストするため,多種多様なNLPタスクに対して,スキーマプロンプトに基づくマルチタスク事前学習を行う。 このフレームワークは、8つのタスクタイプ(QA、NLIなど)から16のダウンストリームタスクに対して、強力なゼロショットと数ショットの一般化性能を達成する。 さらに、包括的な分析により、スキーマプロンプトにおける各コンポーネントの有効性、タスク構成性における柔軟性、およびフルデータ微調整環境での性能向上能力を示す。

関連論文リスト

• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• UniverSLU: Universal Spoken Language Understanding for Diverse Tasks with Natural Language Instructions [64.50935101415776]
  我々は,様々な音声言語理解(SLU)タスクを共同で行う単一モデルを構築した。 我々は17のデータセットと9の言語にまたがる12の音声分類とシーケンス生成タスクタイプに対して,1つのマルチタスク学習モデル"UniverSLU"の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-04T17:10:23Z)
• Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts [75.75548749888029]
  本稿では,全てのタスクに対してパラメータを共同で訓練し,複数の異種タスク間で完全に共有する視覚言語モデルを提案する。 単一のモデルで、Musteteerは単一のタスクでトレーニングされた強いベースラインに匹敵する結果を得る。
  論文  参考訳（メタデータ） (2023-05-11T17:57:49Z)
• Decomposed Prompting: A Modular Approach for Solving Complex Tasks [55.42850359286304]
  本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。 このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。 Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:28:20Z)
• Prompt Tuning with Soft Context Sharing for Vision-Language Models [42.61889428498378]
  本稿では,複数目的の複数ショットタスクにおいて,事前学習した視覚言語モデルを協調的にチューニングする新しい手法を提案する。 我々は,SoftCPTがシングルタスクのプロンプトチューニング方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-29T10:19:10Z)
• Towards Unified Prompt Tuning for Few-shot Text Classification [47.71344780587704]
  We present the Unified Prompt Tuning (UPT) framework that to improve few-shot text classification for BERT-style model。 UPTでは、異なるNLPタスク間での協調学習のために、新しいパラダイムであるPrompt-Options-Verbalizerを提案する。 また, PLMの一般化能力を向上させるために, 知識向上型選択マスケッド言語モデリングという自己教師型タスクを設計する。
  論文  参考訳（メタデータ） (2022-05-11T07:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。