論文の概要: Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning

• arxiv url: http://arxiv.org/abs/2305.15212v1
• Date: Wed, 24 May 2023 14:51:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-05-25 15:10:07.809343
• Title: Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning
• Title（参考訳）: パラメータ効率の良い言語モデルの微調整のための適応プレフィックスチューニング
• Authors: Zhen-Ru Zhang, Chuanqi Tan, Haiyang Xu, Chengyu Wang, Jun Huang, Songfang Huang
• Abstract要約: ゲート機構により,粒度の細かいトークンレベルと粗い層レベルの両方でプレフィックスを調整できる適応型プリフィックスチューニング(APT)を提案する。 SuperGLUEとNERデータセットの実験は、APTの有効性を示している。
• 参考スコア（独自算出の注目度）: 32.84435258519842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large pre-trained language models on various downstream tasks with whole parameters is prohibitively expensive. Hence, Parameter-efficient fine-tuning has attracted attention that only optimizes a few task-specific parameters with the frozen pre-trained model. In this work, we focus on prefix tuning, which only optimizes continuous prefix vectors (i.e. pseudo tokens) inserted into Transformer layers. Based on the observation that the learned syntax and semantics representation varies a lot at different layers, we argue that the adaptive prefix will be further tailored to each layer than the fixed one, enabling the fine-tuning more effective and efficient. Thus, we propose Adaptive Prefix Tuning (APT) to adjust the prefix in terms of both fine-grained token level and coarse-grained layer level with a gate mechanism. Experiments on the SuperGLUE and NER datasets show the effectiveness of APT. In addition, taking the gate as a probing, we validate the efficiency and effectiveness of the variable prefix.
• Abstract（参考訳）: パラメータ全体のダウンストリームタスクで事前学習された大きな言語モデルを微調整することは、非常に高価である。 そのため、パラメータ効率のよい微調整が注目され、凍結事前学習モデルでいくつかのタスク固有のパラメータのみを最適化する。 本研究では,Transformer層に挿入される連続プレフィックスベクトル(擬似トークン)のみを最適化するプレフィックスチューニングに焦点を当てる。 学習された構文と意味論表現が異なる層で大きく異なるという観測に基づいて、適応接頭辞は固定層よりも各層にさらに調整され、より効果的で効率的な微調整が可能になると論じた。 そこで我々は, ゲート機構を用いて, きめ細かいトークンレベルと粗い層レベルの両方でプレフィックスを調整するための適応的修正調整(APT)を提案する。 SuperGLUEとNERデータセットの実験は、APTの有効性を示している。 さらに,ゲートを探索として,変数プレフィックスの有効性と有効性を検証する。

関連論文リスト

• Towards Infinite-Long Prefix in Transformer [18.24137806007111]
  本研究では,全パラメータの微調整性能に適合するプロンプト法と文脈に基づく微調整法について検討する。 無限長のプレフィックスではなく、トレーニング可能なパラメータをいくつか導入し、微調整するだけでよいアルゴリズムを実装している。 提案手法は, フルパラメータ細調整, P-Tuning V2, LoRA などの既存手法と比較して, 優れた性能, 競争性を実現している。
  論文  参考訳（メタデータ） (2024-06-20T06:56:35Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Prefix Propagation: Parameter-Efficient Tuning for Long Sequences [35.15831629770172]
  従来の隠蔽状態に対してプレフィックスを条件づける,単純かつ効果的な手法であるプレフィックスプロパゲーションを提案する。 我々は,長期文書作成作業におけるプレフィックス・プロパゲーションがプレフィックス・チューニングより優れていることを実証的に示す。 我々の知る限りでは、この研究は長文言語タスクのためのパラメータ効率の学習に最初に焦点をあてるものである。
  論文  参考訳（メタデータ） (2023-05-20T04:07:06Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Parameter-Efficient Tuning with Special Token Adaptation [25.37998979962568]
  PASTAは自然言語理解タスクの微調整に匹敵するパフォーマンスを実現している。 我々の研究は、事前訓練された言語モデルにおける特別なトークンの重要な役割を実証している。
  論文  参考訳（メタデータ） (2022-10-10T01:02:51Z)
• Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
  微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。 自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。 パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-01-01T08:00:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。