論文の概要: Dynamic Prompting: A Unified Framework for Prompt Tuning

• arxiv url: http://arxiv.org/abs/2303.02909v1
• Date: Mon, 6 Mar 2023 06:04:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 16:59:44.614281
• Title: Dynamic Prompting: A Unified Framework for Prompt Tuning
• Title（参考訳）: 動的プロンプト:プロンプトチューニングのための統一フレームワーク
• Authors: Xianjun Yang, Wei Cheng, Xujiang Zhao, Linda Petzold and Haifeng Chen
• Abstract要約: 言語モデル(LM)から知識を効率的に抽出する上で,迅速なチューニングが極めて効果的であることが実証されている。 本稿では、動的プロンプト(DP)、位置、長さ、およびプロンプト表現を、それぞれ異なるタスクやインスタンスに対して動的に最適化することができることを提案する。 実験結果から、単純なインスタンスレベルの位置認識ソフトプロンプトにより、5つのデータセットの平均6ポイントの分類精度が向上することが示された。
• 参考スコア（独自算出の注目度）: 30.92856678021534
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: It has been demonstrated that prompt tuning is highly effective in efficiently eliciting knowledge from language models (LMs). However, the prompt tuning still lags behind fine-tuning, especially when the LMs are small. P-tuning v2 (Liu et al., 2021b) makes it comparable with finetuning by adding continuous prompts for every layer of the pre-trained model. However, prepending fixed soft prompts for all instances, regardless of their discrepancy, is doubtful. In particular, the inserted prompt position, length, and the representations of prompts for diversified instances through different tasks could all affect the prompt tuning performance. To fill this gap, we propose dynamic prompting (DP): the position, length, and prompt representation can all be dynamically optimized with respect to different tasks and instances. We conduct comprehensive experiments on the SuperGlue benchmark to validate our hypothesis and demonstrate substantial improvements. We also derive a unified framework for supporting our dynamic prompting strategy. In particular, we use a simple learning network and Gumble- Softmax for learning instance-dependent guidance. Experimental results show that simple instance-level position-aware soft prompts can improve the classification accuracy of up to 6 points on average on five datasets, reducing its gap with fine-tuning. Besides, we also prove its universal usefulness under full-data, few-shot, and multitask regimes. Combining them together can even further unleash the power of DP, narrowing the distance between finetuning.
• Abstract（参考訳）: 言語モデル(lms)からの知識を効率的に引き出すには,迅速なチューニングが有効であることが実証されている。 しかし、特にLMが小さい場合、迅速なチューニングは微調整よりも遅れている。 p-tuning v2 (liu et al., 2021b) は、事前学習されたモデルのすべての層に対して連続的なプロンプトを追加することで、微調整と同等である。 しかし、不一致にかかわらず、全ての事例に対する固定されたソフトプロンプトの予測は疑わしい。 特に、挿入されたプロンプト位置、長さ、および異なるタスクを通して多様化したインスタンスのプロンプトの表現は、すべてプロンプトチューニング性能に影響を与える可能性がある。 このギャップを埋めるために、我々は動的プロンプト(DP)を提案し、その位置、長さ、プロンプト表現はすべて異なるタスクやインスタンスに対して動的に最適化できる。 我々はsuperglueベンチマークの包括的な実験を行い,仮説を検証し,実質的な改善を示す。 また、動的プロンプト戦略をサポートするための統一されたフレームワークも作成します。 特に、単純な学習ネットワークとGumble-Softmaxを使って、インスタンスに依存したガイダンスを学習する。 実験結果から、単純なインスタンスレベルの位置認識ソフトプロンプトにより、5つのデータセットの平均6点の分類精度が向上し、微調整によるギャップを低減できることが示された。 さらに,全データ,少数ショット,マルチタスク体制下での汎用性も証明した。 これらを組み合わせることで、DPのパワーをさらに解放し、微調整間の距離を狭めることができる。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• Exploring the Transferability of Visual Prompting for Multimodal Large Language Models [47.162575147632396]
  Transferable Visual Prompting (TVP) は、異なるモデルに転送可能な視覚的プロンプトを生成するためのシンプルで効果的なアプローチである。 本稿では,既存の視覚的プロンプト手法のクロスモデル特徴劣化問題に対処し,学習したプロンプトの伝達可能性を高めるための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-17T09:39:07Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• Distribution-Aware Prompt Tuning for Vision-Language Models [20.02599087680773]
  プロンプトチューニングの鍵は、モデルパラメータを固定した学習可能なベクトルを介して、2つのモード間の特徴空間アライメントである。 この観測に触発されて、視覚言語モデルのための分布認識プロンプトチューニング(DAPT)を提案する。 11のベンチマークデータセットに対する実験により,本手法が一般化可能性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-09-06T23:49:11Z)
• Multitask Vision-Language Prompt Tuning [103.5967011236282]
  マルチタスク視覚言語プロンプトチューニング(MV)を提案する。 MVはクロスタスクの知識を視覚言語モデルの迅速なチューニングに取り入れている。 20個の視覚タスクの結果、提案手法は全ての単一タスクのベースライン・プロンプト・チューニング法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-21T18:41:44Z)
• Prompt Tuning with Soft Context Sharing for Vision-Language Models [42.61889428498378]
  本稿では,複数目的の複数ショットタスクにおいて,事前学習した視覚言語モデルを協調的にチューニングする新しい手法を提案する。 我々は,SoftCPTがシングルタスクのプロンプトチューニング方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-29T10:19:10Z)
• Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
  最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2022-08-16T17:17:53Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Towards Unified Prompt Tuning for Few-shot Text Classification [47.71344780587704]
  We present the Unified Prompt Tuning (UPT) framework that to improve few-shot text classification for BERT-style model。 UPTでは、異なるNLPタスク間での協調学習のために、新しいパラダイムであるPrompt-Options-Verbalizerを提案する。 また, PLMの一般化能力を向上させるために, 知識向上型選択マスケッド言語モデリングという自己教師型タスクを設計する。
  論文  参考訳（メタデータ） (2022-05-11T07:40:45Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。