論文の概要: IAPT: Instruction-Aware Prompt Tuning for Large Language Models

• arxiv url: http://arxiv.org/abs/2405.18203v1
• Date: Tue, 28 May 2024 14:11:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 18:19:39.669257
• Title: IAPT: Instruction-Aware Prompt Tuning for Large Language Models
• Title（参考訳）: IAPT: 大規模言語モデルのためのインストラクション・アウェア・プロンプトチューニング
• Authors: Wei Zhu, Aaron Xuxiang Tian, Congrui Yin, Yuan Ni, Xiaoling Wang, Guotong Xie,
• Abstract要約: ソフトトークンを4つしか必要としない新しいプロンプトチューニング手法である命令認識型プロンプトチューニング(IAPT)を提案する。 まず,各トランスフォーマー層にパラメータ効率の良いソフトプロンプト生成器を設置し,各入力命令に対して慣用的なソフトプロンプトを生成する。 第2に、ソフトプロンプトジェネレータは、自己アテンションプーリング操作、2つのリニアプロジェクション、およびアクティベーション関数からなるボトルネックアーキテクチャを持つモジュールである。
• 参考スコア（独自算出の注目度）: 19.408462115679914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft prompt tuning is a widely studied parameter-efficient fine-tuning method. However, it has a clear drawback: many soft tokens must be inserted into the input sequences to guarantee downstream performance. As a result, soft prompt tuning is less considered than Low-rank adaptation (LoRA) in the large language modeling (LLM) era. In this work, we propose a novel prompt tuning method, Instruction-Aware Prompt Tuning (IAPT), that requires only four soft tokens. First, we install a parameter-efficient soft prompt generator at each Transformer layer to generate idiosyncratic soft prompts for each input instruction. The generated soft prompts can be seen as a semantic summary of the input instructions and can effectively guide the output generation. Second, the soft prompt generators are modules with a bottleneck architecture consisting of a self-attention pooling operation, two linear projections, and an activation function. Pilot experiments show that prompt generators at different Transformer layers require different activation functions. Thus, we propose to learn the idiosyncratic activation functions for prompt generators automatically with the help of rational functions. We have conducted experiments on various tasks, and the experimental results demonstrate that (a) our IAPT method can outperform the recent baselines with comparable tunable parameters. (b) Our IAPT method is more efficient than LoRA under the single-backbone multi-tenant setting.
• Abstract（参考訳）: ソフトプロンプトチューニングはパラメータ効率の良い微調整法として広く研究されている。 多くのソフトトークンを入力シーケンスに挿入し、下流のパフォーマンスを保証する必要がある。 その結果,大規模言語モデリング(LLM)時代において,ソフトプロンプトチューニングはローランク適応 (LoRA) よりも少ないと考えられる。 本研究では,4つのソフトトークンのみを必要とする新しいプロンプトチューニング手法,IAPT(Instruction-Aware Prompt Tuning)を提案する。 まず,各トランスフォーマー層にパラメータ効率の良いソフトプロンプト生成器を設置し,各入力命令に対して慣用的なソフトプロンプトを生成する。 生成されたソフトプロンプトは入力命令の意味的な要約と見なすことができ、出力生成を効果的に導くことができる。 第2に、ソフトプロンプトジェネレータは、自己アテンションプーリング操作、2つのリニアプロジェクション、およびアクティベーション関数からなるボトルネックアーキテクチャを持つモジュールである。 試験実験では、異なるトランスフォーマー層のプロンプトジェネレータは異なるアクティベーション関数を必要とすることが示された。 そこで本稿では,有理関数の助けを借りて自動生成を行うための慣用的アクティベーション関数の学習を提案する。 各種課題の実験を行った結果,実験結果が得られた。 (a)我々のIAPTメソッドは、同等のチューニング可能なパラメータで最近のベースラインを上回ります。 b) IAPT法はシングルバックのマルチテナント設定ではLoRAよりも効率的である。

関連論文リスト

• PAFT: Prompt-Agnostic Fine-Tuning [11.834072667345957]
  Prompt-Agnostic Fine-Tuning(PAFT)を提案する。 PAFTは2つの段階で機能する: 第一に、有意義で合成された候補プロンプトの多様なセットが構築される。 第二に、微調整の間、プロンプトはこのセットからランダムにサンプリングされ、動的トレーニングインプットを生成する。
  論文  参考訳（メタデータ） (2025-02-18T13:46:47Z)
• Efficient and Effective Prompt Tuning via Prompt Decomposition and Compressed Outer Product [8.014705094248589]
  低パラメータプロンプトチューニング法は、PT法とLoRA法で性能と効率を向上する。 6つのアーキテクチャと8つのデータセットにわたる実験により、LAMPはパフォーマンスと効率において、最先端のPTベースのメソッドとLoRAベースのメソッドより優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-16T05:50:12Z)
• PARA: Parameter-Efficient Fine-tuning with Prompt Aware Representation Adjustment [11.34564365247007]
  本稿では,アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン
  論文  参考訳（メタデータ） (2025-02-03T04:06:03Z)
• Differentiable Prompt Learning for Vision Language Models [49.132774679968456]
  本稿では,DPL(di differentiable prompt learning)という,識別可能なプロンプト学習手法を提案する。 DPLは最適化問題として定式化され、各層に追加するプロンプトの最適コンテキスト長を自動的に決定する。 DPL法は,限られたデータのみを用いることで,信頼性の高い深い連続的なプロンプト構成を実現できることを実証的に見出した。
  論文  参考訳（メタデータ） (2024-12-31T14:13:28Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts [97.20933523766182]
  プロンプトチューニングは、事前訓練モデル(PTM)を利用するためのパラメータ効率チューニング(PETuning)手法である 我々は、入力層やすべての層の代わりに遅延プロンプトをPTMの中間層に挿入するLatlas Prompt Tuning()を提案する。 フルデータおよび少数ショットの両方のシナリオで、フルモデルチューニングや他のPETuningメソッドと競合する性能を実現できることを示す。
  論文  参考訳（メタデータ） (2022-10-20T14:23:52Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。