論文の概要: ACCEPT: Adaptive Codebook for Composite and Efficient Prompt Tuning

• arxiv url: http://arxiv.org/abs/2410.12847v2
• Date: Fri, 18 Oct 2024 02:56:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:23:19.337370
• Title: ACCEPT: Adaptive Codebook for Composite and Efficient Prompt Tuning
• Title（参考訳）: ACCEPT: 複合的で効率的なプロンプトチューニングのための適応型コードブック
• Authors: Yu-Chen Lin, Wei-Hua Li, Jun-Cheng Chen, Chu-Song Chen,
• Abstract要約: 複合・効率的なプロンプトチューニングのための適応型コードブック(ACCEPT)を提案する。 本手法では,すべてのソフトプロンプトが,学習可能なコードブックベクトルの集合を各部分空間で共有できる,製品量子化(PQ)の概念について述べる。 言語モデルのパラメータのわずか0.3%をチューニングすることで、17の多様な自然言語タスクにおいて優れたパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 26.43363174779337
• License:
• Abstract: Prompt Tuning has been a popular Parameter-Efficient Fine-Tuning method attributed to its remarkable performance with few updated parameters on various large-scale pretrained Language Models (PLMs). Traditionally, each prompt has been considered indivisible and updated independently, leading the parameters increase proportionally as prompt length grows. To address this issue, we propose Adaptive Codebook for Composite and Efficient Prompt Tuning (ACCEPT). In our method, we refer to the concept of product quantization (PQ), allowing all soft prompts to share a set of learnable codebook vectors in each subspace, with each prompt differentiated by a set of adaptive weights. We achieve the superior performance on 17 diverse natural language tasks including natural language understanding (NLU) and question answering (QA) tasks by tuning only 0.3% of parameters of the PLMs. Our approach also excels in few-shot and large model settings, highlighting its significant potential.
• Abstract（参考訳）: Prompt Tuningは、様々な大規模事前訓練言語モデル(PLM)のパラメータを更新せずに、その顕著な性能に起因して、パラメータ効率の良いファインチューニング手法として人気がある。 伝統的に、各プロンプトは独立して分割不可能とされ、更新され、プロンプトの長さが増加するにつれてパラメータが比例的に増加する。 この問題に対処するため、我々は、複合的で効率的なPrompt Tuning (ACCEPT) のためのAdaptive Codebookを提案する。 本稿では,各部分空間における学習可能なコードブックベクトルの集合をソフトプロンプトで共有し,各プロンプトを適応重みの集合で区別する製品量子化(PQ)の概念について述べる。 自然言語理解(NLU)や質問応答(QA)タスクを含む17種類の自然言語タスクにおいて,PLMのパラメータのわずか0.3%をチューニングすることで,優れた性能を実現する。 このアプローチは、いくつかのショットと大きなモデル設定にも優れており、その大きな可能性を浮き彫りにしています。

関連論文リスト

• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Prompt Tuning Strikes Back: Customizing Foundation Models with Low-Rank Prompt Adaptation [13.325756523035245]
  Low-Rank Prompt Adaptation (LoPA) は、最先端のPEFTメソッドやフル微調整と同等に動作するプロンプトチューニングベースのアプローチである。 LoPAは、インスタンス間でタスク固有の情報を共有し、各インスタンスをカスタマイズすることで、ソフトプロンプトを生成する。 パラメータ効率を達成するために、各インスタンスにエンコードされたソフトプロンプトコンポーネントの低ランク分解を使用する。
  論文  参考訳（メタデータ） (2024-05-24T07:11:42Z)
• Context-PEFT: Efficient Multi-Modal, Multi-Task Fine-Tuning [12.648711621637663]
  この論文は小説を紹介します。 COCO-Efficient Fine-Tuning (PEFT) framework for multi-modal, multi-task transfer learning with pre-trained language model。 トークンのドメインに基づいて異なる適応パラメータ群を学習するContext-PEFTを提案する。 提案手法はキャプションタスクで評価され、類似したデータ制約下での完全な微調整よりも優れる。
  論文  参考訳（メタデータ） (2023-12-14T13:00:24Z)
• Universality and Limitations of Prompt Tuning [65.8354898840308]
  トランスフォーマーアーキテクチャにおけるソフトプロンプトチューニングの役割を理解するための最初のステップの1つを取り上げる。 連続値関数に対する有限深度事前学習型変圧器を用いて、普遍性と制限のレンズからの即時チューニングを解析する。 この結果は、リプシッツ関数の集合における任意の列列列関数を近似するプロンプトを持つ強変換器の存在を保証する。
  論文  参考訳（メタデータ） (2023-05-30T06:47:07Z)
• Residual Prompt Tuning: Improving Prompt Tuning with Residual Reparameterization [57.379285443780894]
  Residual Prompt Tuningは,プロンプトチューニングの性能と安定性を大幅に向上させる,シンプルで効率的な手法である。 提案手法は,T5-Baseによるプロンプトチューニングよりも+7ポイント向上し,パフォーマンスを損なうことなく,プロンプト長を10倍短縮できることを示す。
  論文  参考訳（メタデータ） (2023-05-06T05:35:14Z)
• Evaluating Parameter-Efficient Transfer Learning Approaches on SURE Benchmark for Speech Understanding [40.27182770995891]
  ファインチューニングは、事前訓練されたモデルからのトランスファー学習のデフォルトアルゴリズムとして広く使われている。 本稿では,様々な音声処理タスクに対するパラメータ効率学習のための音声不確定評価(SURE)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-03-02T08:57:33Z)
• Parameter-Efficient Tuning with Special Token Adaptation [25.37998979962568]
  PASTAは自然言語理解タスクの微調整に匹敵するパフォーマンスを実現している。 我々の研究は、事前訓練された言語モデルにおける特別なトークンの重要な役割を実証している。
  論文  参考訳（メタデータ） (2022-10-10T01:02:51Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning [64.638804236566]
  本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。 注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
  論文  参考訳（メタデータ） (2021-10-14T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。