論文の概要: Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning

• arxiv url: http://arxiv.org/abs/2305.15212v1
• Date: Wed, 24 May 2023 14:51:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 15:10:07.809343
• Title: Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning
• Title（参考訳）: パラメータ効率の良い言語モデルの微調整のための適応プレフィックスチューニング
• Authors: Zhen-Ru Zhang, Chuanqi Tan, Haiyang Xu, Chengyu Wang, Jun Huang, Songfang Huang
• Abstract要約: ゲート機構により,粒度の細かいトークンレベルと粗い層レベルの両方でプレフィックスを調整できる適応型プリフィックスチューニング(APT)を提案する。 SuperGLUEとNERデータセットの実験は、APTの有効性を示している。
• 参考スコア（独自算出の注目度）: 32.84435258519842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large pre-trained language models on various downstream tasks with whole parameters is prohibitively expensive. Hence, Parameter-efficient fine-tuning has attracted attention that only optimizes a few task-specific parameters with the frozen pre-trained model. In this work, we focus on prefix tuning, which only optimizes continuous prefix vectors (i.e. pseudo tokens) inserted into Transformer layers. Based on the observation that the learned syntax and semantics representation varies a lot at different layers, we argue that the adaptive prefix will be further tailored to each layer than the fixed one, enabling the fine-tuning more effective and efficient. Thus, we propose Adaptive Prefix Tuning (APT) to adjust the prefix in terms of both fine-grained token level and coarse-grained layer level with a gate mechanism. Experiments on the SuperGLUE and NER datasets show the effectiveness of APT. In addition, taking the gate as a probing, we validate the efficiency and effectiveness of the variable prefix.
• Abstract（参考訳）: パラメータ全体のダウンストリームタスクで事前学習された大きな言語モデルを微調整することは、非常に高価である。 そのため、パラメータ効率のよい微調整が注目され、凍結事前学習モデルでいくつかのタスク固有のパラメータのみを最適化する。 本研究では,Transformer層に挿入される連続プレフィックスベクトル(擬似トークン)のみを最適化するプレフィックスチューニングに焦点を当てる。 学習された構文と意味論表現が異なる層で大きく異なるという観測に基づいて、適応接頭辞は固定層よりも各層にさらに調整され、より効果的で効率的な微調整が可能になると論じた。 そこで我々は, ゲート機構を用いて, きめ細かいトークンレベルと粗い層レベルの両方でプレフィックスを調整するための適応的修正調整(APT)を提案する。 SuperGLUEとNERデータセットの実験は、APTの有効性を示している。 さらに,ゲートを探索として,変数プレフィックスの有効性と有効性を検証する。

関連論文リスト

• Sensitivity-Aware Visual Parameter-Efficient Tuning [102.48201159569967]
  本稿では,新しい感性認識ビジュアルを提案する。 効率的なチューニング(SPT)方式。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを適応的に割り当てる。 下流認識タスクの幅広い実験から,SPTは既存のVPET法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Evaluating Parameter-Efficient Transfer Learning Approaches on SURE Benchmark for Speech Understanding [40.27182770995891]
  ファインチューニングは、事前訓練されたモデルからのトランスファー学習のデフォルトアルゴリズムとして広く使われている。 本稿では,様々な音声処理タスクに対するパラメータ効率学習のための音声不確定評価(SURE)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-03-02T08:57:33Z)
• Inducer-tuning: Connecting Prefix-tuning and Adapter-tuning [53.72897232951918]
  インデューサチューニングはプレフィックスチューニングとファインチューニングのパフォーマンスギャップを埋めることができることを示す。 そこで本研究では,アクセプションチューニングにおける残形を活用しつつ,プレフィックスチューニングとして正確なメカニズムを共有する,新しいプレフィックスチューニング-textitinducer-tuningを提案する。
  論文  参考訳（メタデータ） (2022-10-26T04:39:42Z)
• Parameter-Efficient Tuning with Special Token Adaptation [25.37998979962568]
  PASTAは自然言語理解タスクの微調整に匹敵するパフォーマンスを実現している。 我々の研究は、事前訓練された言語モデルにおける特別なトークンの重要な役割を実証している。
  論文  参考訳（メタデータ） (2022-10-10T01:02:51Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Unfreeze with Care: Space-Efficient Fine-Tuning of Semantic Parsing Models [5.893781742558463]
  本研究は2つの有望な手法であるプレフィックスチューニングとバイアス長期チューニングについて,特に意味解析について検討する。 2つの異なるセマンティック解析データセットで比較し、また、ショット数と従来のデータ設定の両方で、フルおよび部分的な微調整と比較します。 プレフィックスチューニングはセマンティック解析タスクを棚から取り出すのに役立ちませんが、特別なトークン埋め込みを追加して修正します。
  論文  参考訳（メタデータ） (2022-03-05T04:30:03Z)
• Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
  微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。 自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。 パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-01-01T08:00:36Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。