論文の概要: Vector-Quantized Input-Contextualized Soft Prompts for Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2205.11024v1
• Date: Mon, 23 May 2022 03:51:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-29 13:09:10.050360
• Title: Vector-Quantized Input-Contextualized Soft Prompts for Natural Language Understanding
• Title（参考訳）: 自然言語理解のためのベクトル量子入力型ソフトプロンプト
• Authors: Rishabh Bhardwaj, Amrita Saha, Steven C.H. Hoi
• Abstract要約: 本稿では,Vector-quantized Input-contextualized Prompt Tuning (VIP)を提案する。 自然言語理解タスクの幅広い範囲において,提案するVIPフレームワークが1.19%の差でPTモデルに勝っている。
• 参考スコア（独自算出の注目度）: 62.45760673220339
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt Tuning (PT) has been largely successful as a parameter-efficient way of conditioning large-scale pre-trained language models towards a downstream task. More recently, soft prompt tuning has aimed to learn a fixed set of task-specific continuous vectors, i.e., soft tokens that remain static across the task samples. However, a fixed prompt may not generalize well to the diverse kinds of inputs the task comprises. With this motivation, we propose a novel way of prompting, Vector-quantized Input-contextualized Prompt Tuning or VIP. Essentially, VIP focuses on two aspects i) input-adaptation: input-specific contextualization of the soft tokens; and ii) vector quantization: we pass the tokens through a quantizer which effectively reduces representation variance by sampling prompts from a compact latent space. Over a wide range of natural language understanding tasks (SuperGLUE, QA, Relation Classification, NER, NLI), our proposed VIP framework beats the PT model by a margin of 1.19\%. Additionally, on Out-of-domain QA and Multi-Task setups over 4 different tasks spanning over 12 domains, we find that VIP outperforms PT by 0.75\%.
• Abstract（参考訳）: プロンプトチューニング(pt)は、大規模な事前学習された言語モデルを下流タスクにコンディショニングするパラメータ効率のよい方法として、大きな成功を収めています。 最近では、ソフトプロンプトチューニングはタスク固有の連続ベクトルの固定セット、すなわちタスクサンプル全体にわたって静的なトークンの学習を目的としている。 しかし、固定プロンプトは、タスクが構成する様々な入力に対してうまく一般化できない。 そこで本研究では,ベクトル量子化入力コンテキスト化プロンプトチューニング(vip)を提案する。 本質的にVIPは2つの側面に焦点を当てている i) 入力適応:ソフトトークンの入力固有のコンテキスト化 i) ベクトル量子化: コンパクトな潜在空間からプロンプトをサンプリングすることで、表現の分散を効果的に低減する量子化器を通してトークンを渡す。 自然言語理解タスク(SuperGLUE, QA, Relation Classification, NER, NLI)の幅広い範囲において,提案するVIPフレームワークは,PTモデルを1.19倍のマージンで上回っている。 さらに、12ドメインにまたがる4つの異なるタスクにまたがるドメイン外QAとマルチタスクのセットアップでは、VIPがPTより0.75\%向上することがわかった。

関連論文リスト

• VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing [81.32613443072441]
  テキスト音声(TTS)、音声変換(VC)、自動音声認識(ASR)などのタスクでは、クロスモーダルな粒度(フレームレベル)シーケンス表現が望まれる。 本稿では,テキストと音声を共同空間に組み込むために,クロスモーダルシーケンストランスコーダを用いた量子コントラスト・トーケン・音響事前学習(VQ-CTAP)手法を提案する。
  論文  参考訳（メタデータ） (2024-08-11T12:24:23Z)
• Task Prompt Vectors: Effective Initialization through Multi-Task Soft-Prompt Transfer [0.6053347262128919]
  調律されたソフトプロンプトの重みとランダムな初期化の要素的差分によって生成されるタスクプロンプトベクトルを導入する。 我々は,タスクプロンプトベクトルを低リソース設定で使用して,類似タスクのプロンプトチューニングを効果的に初期化することを示す。 これにより、異なるタスクから事前訓練されたベクトルで即時算術を行うことができる。
  論文  参考訳（メタデータ） (2024-08-02T09:00:03Z)
• MADTP: Multimodal Alignment-Guided Dynamic Token Pruning for Accelerating Vision-Language Transformer [66.71930982549028]
  VLT(Vision-Language Transformer)は近年大きな成功を収めている。 各種VLTの高速化を目的としたマルチモーダルアライメント誘導動的トーケンプルーニング(MADTP)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-05T14:13:50Z)
• MPrompt: Exploring Multi-level Prompt Tuning for Machine Reading Comprehension [19.12663587559988]
  機械読取理解のためのマルチレベルプロンプトチューニング(MPrompt)手法を提案する。 タスク特化、ドメイン特化、コンテキスト特化レベルでのプロンプトを利用して、入力セマンティクスの理解を強化する。 各種QAフォーマットのベンチマーク12件について広範な実験を行い,最先端手法よりも平均1.94%向上した。
  論文  参考訳（メタデータ） (2023-10-27T14:24:06Z)
• Patch-Prompt Aligned Bayesian Prompt Tuning for Vision-Language Models [48.77653835765705]
  そこでは,まず下位分布から潜在ベクトルをサンプリングし,次に軽量な生成モデルを用いてラベル固有のプロンプトを階層的に生成する。 提案手法の有効性は,少数ショット画像認識,ベース・ツー・ニュージェネリゼーション,データセット転送学習,ドメインシフトの4つのタスクで評価する。
  論文  参考訳（メタデータ） (2023-03-16T06:09:15Z)
• Dynamic Prompting: A Unified Framework for Prompt Tuning [33.175097465669374]
  本稿では、特定のタスクやインスタンスに基づいて、異なるプロンプトの要因を動的に決定する統合動的プロンプト(DP)チューニング戦略を提案する。 実験結果は、幅広いタスクにわたる動的プロンプトチューニングによって達成された顕著なパフォーマンス改善を裏付けるものである。 我々は、全データ、少数ショット、マルチタスクのシナリオの下で、我々のアプローチの普遍的な適用性を確立する。
  論文  参考訳（メタデータ） (2023-03-06T06:04:46Z)
• SpeechPrompt v2: Prompt Tuning for Speech Classification Tasks [94.30385972442387]
  本稿では,多種多様な音声分類タスクを実行できるプロンプトチューニングフレームワークであるSpeechPrompt v2を提案する。 実験の結果、SpeechPrompt v2は0.15M未満のトレーニング可能なパラメータを持つ以前の作業と同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-03-01T18:47:41Z)
• Towards Unified Prompt Tuning for Few-shot Text Classification [47.71344780587704]
  We present the Unified Prompt Tuning (UPT) framework that to improve few-shot text classification for BERT-style model。 UPTでは、異なるNLPタスク間での協調学習のために、新しいパラダイムであるPrompt-Options-Verbalizerを提案する。 また, PLMの一般化能力を向上させるために, 知識向上型選択マスケッド言語モデリングという自己教師型タスクを設計する。
  論文  参考訳（メタデータ） (2022-05-11T07:40:45Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。