論文の概要: Prompt Tuning Strikes Back: Customizing Foundation Models with Low-Rank Prompt Adaptation

• arxiv url: http://arxiv.org/abs/2405.15282v2
• Date: Thu, 31 Oct 2024 22:29:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:33:07.099267
• Title: Prompt Tuning Strikes Back: Customizing Foundation Models with Low-Rank Prompt Adaptation
• Title（参考訳）: Prompt Tuningが復活:低ランクのPrompt適応によるファンデーションモデルのカスタマイズ
• Authors: Abhinav Jain, Swarat Chaudhuri, Thomas Reps, Chris Jermaine,
• Abstract要約: Low-Rank Prompt Adaptation (LoPA) は、最先端のPEFTメソッドやフル微調整と同等に動作するプロンプトチューニングベースのアプローチである。 LoPAは、インスタンス間でタスク固有の情報を共有し、各インスタンスをカスタマイズすることで、ソフトプロンプトを生成する。 パラメータ効率を達成するために、各インスタンスにエンコードされたソフトプロンプトコンポーネントの低ランク分解を使用する。
• 参考スコア（独自算出の注目度）: 13.325756523035245
• License:
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) has become the standard for customising Foundation Models (FMs) to user-specific downstream tasks. However, typical PEFT methods require storing multiple task-specific adapters, creating scalability issues as these adapters must be housed and run at the FM server. Traditional prompt tuning offers a potential solution by customising them through task-specific input prefixes, but it under-performs compared to other PEFT methods like LoRA. To address this gap, we propose Low-Rank Prompt Adaptation (LoPA), a prompt-tuning-based approach that performs on par with state-of-the-art PEFT methods and full fine-tuning while being more parameter-efficient and not requiring a server-based adapter. LoPA generates soft prompts by balancing between sharing task-specific information across instances and customization for each instance. It uses a low-rank decomposition of the soft-prompt component encoded for each instance to achieve parameter efficiency. We provide a comprehensive evaluation on multiple natural language understanding and code generation and understanding tasks across a wide range of foundation models with varying sizes.
• Abstract（参考訳）: パラメータ効率のよいファインチューニング(PEFT)は、ファンデーションモデル(FM)をユーザ固有の下流タスクにカスタマイズするための標準となっている。 しかし、典型的なPEFTメソッドは複数のタスク固有のアダプタを格納する必要があるため、これらのアダプタをFMサーバに格納して実行する必要があるため、スケーラビリティの問題が発生する。 従来のプロンプトチューニングは、タスク固有の入力プレフィックスをカスタマイズすることで潜在的な解決策を提供するが、LoRAのような他のPEFTメソッドに比べて性能は低い。 このギャップに対処するため,我々は,最新のPEFTメソッドと同等に動作し,パラメータ効率が良く,サーバベースのアダプタを必要としない,プロンプトチューニングベースのアプローチであるLoPA(Lo-Rank Prompt Adaptation)を提案する。 LoPAは、インスタンス間でタスク固有の情報を共有し、各インスタンスをカスタマイズすることで、ソフトプロンプトを生成する。 パラメータ効率を達成するために、各インスタンスにエンコードされたソフトプロンプトコンポーネントの低ランク分解を使用する。 複数の自然言語の理解とコード生成と理解タスクに関する総合的な評価を,さまざまなサイズを持つ幅広い基礎モデルに対して提供する。

関連論文リスト

• ACCEPT: Adaptive Codebook for Composite and Efficient Prompt Tuning [26.43363174779337]
  複合・効率的なプロンプトチューニングのための適応型コードブック(ACCEPT)を提案する。 本手法では,すべてのソフトプロンプトが,学習可能なコードブックベクトルの集合を各部分空間で共有できる,製品量子化(PQ)の概念について述べる。 言語モデルのパラメータのわずか0.3%をチューニングすることで、17の多様な自然言語タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-10T07:48:53Z)
• Context-PEFT: Efficient Multi-Modal, Multi-Task Fine-Tuning [12.648711621637663]
  この論文は小説を紹介します。 COCO-Efficient Fine-Tuning (PEFT) framework for multi-modal, multi-task transfer learning with pre-trained language model。 トークンのドメインに基づいて異なる適応パラメータ群を学習するContext-PEFTを提案する。 提案手法はキャプションタスクで評価され、類似したデータ制約下での完全な微調整よりも優れる。
  論文  参考訳（メタデータ） (2023-12-14T13:00:24Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• AdaMix: Mixture-of-Adaptations for Parameter-efficient Model Tuning [112.97430455461097]
  本稿では,各トランスフォーマー層に導入される適応モジュールの混合を調整し,PLMの重みの大半を凍結させながら,汎用PEFT法を提案する。 PLMパラメータの0.1-0.2%だけをチューニングすることにより、AdaMix は NLU および NLG のタスクに対して SOTA パラメータ効率の良い微調整およびフルモデル微調整より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-31T16:23:36Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning [64.638804236566]
  本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。 注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
  論文  参考訳（メタデータ） (2021-10-14T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。