論文の概要: Inducer-tuning: Connecting Prefix-tuning and Adapter-tuning

• arxiv url: http://arxiv.org/abs/2210.14469v1
• Date: Wed, 26 Oct 2022 04:39:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 13:10:13.153509
• Title: Inducer-tuning: Connecting Prefix-tuning and Adapter-tuning
• Title（参考訳）: インデューサチューニング:プレフィックスチューニングとアダプタチューニングの接続
• Authors: Yifan Chen, Devamanyu Hazarika, Mahdi Namazifar, Yang Liu, Di Jin, Dilek Hakkani-Tur
• Abstract要約: インデューサチューニングはプレフィックスチューニングとファインチューニングのパフォーマンスギャップを埋めることができることを示す。 そこで本研究では,アクセプションチューニングにおける残形を活用しつつ,プレフィックスチューニングとして正確なメカニズムを共有する,新しいプレフィックスチューニング-textitinducer-tuningを提案する。
• 参考スコア（独自算出の注目度）: 53.72897232951918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prefix-tuning, or more generally continuous prompt tuning, has become an essential paradigm of parameter-efficient transfer learning. Using a large pre-trained language model (PLM), prefix-tuning can obtain strong performance by training only a small portion of parameters. In this paper, we propose to understand and further develop prefix-tuning through the kernel lens. Specifically, we make an analogy between \textit{prefixes} and \textit{inducing variables} in kernel methods and hypothesize that \textit{prefixes} serving as \textit{inducing variables} would improve their overall mechanism. From the kernel estimator perspective, we suggest a new variant of prefix-tuning -- \textit{inducer-tuning}, which shares the exact mechanism as prefix-tuning while leveraging the residual form found in adapter-tuning. This mitigates the initialization issue in prefix-tuning. Through comprehensive empirical experiments on natural language understanding and generation tasks, we demonstrate that inducer-tuning can close the performance gap between prefix-tuning and fine-tuning.
• Abstract（参考訳）: プレフィックスチューニング、あるいはより一般的な連続的なプロンプトチューニングは、パラメータ効率の高い転送学習の重要なパラダイムとなっている。 大規模な事前学習言語モデル(PLM)を用いることで、プレフィックスチューニングは少数のパラメータのみをトレーニングすることで、強力なパフォーマンスを得ることができる。 本稿では,カーネルレンズによるプレフィックスチューニングについて理解し,さらに発展させることを提案する。 具体的には、カーネルメソッドで \textit{prefixes} と \textit{induced variables} を類推し、 \textit{prefixes} を \textit{induced variables} として機能させることで、全体的なメカニズムが改善されると仮定する。 カーネル推定器の観点からは,アダプティブチューニングの残形を利用して,プリフィックスチューニングとして正確なメカニズムを共有する,プレフィックスチューニング -\textit{inducer-tuning} の新たな変種を提案する。 これはプレフィックスチューニングの初期化問題を緩和する。 自然言語理解と生成タスクに関する包括的実証実験を通じて,インデューサチューニングがプレフィックスチューニングと微調整のパフォーマンスギャップを解消できることを実証する。

関連論文リスト

• Prompting a Pretrained Transformer Can Be a Universal Approximator [105.59562522323274]
  従来考えられていたよりもはるかに小さな事前学習モデルでは,プレフィックスの場合には普遍近似が可能であることを示す。 また、関数を所望の精度に近似するのに必要なプレフィックスの長さにジャクソン型境界を与える。
  論文  参考訳（メタデータ） (2024-02-22T18:12:48Z)
• Universality and Limitations of Prompt Tuning [65.8354898840308]
  トランスフォーマーアーキテクチャにおけるソフトプロンプトチューニングの役割を理解するための最初のステップの1つを取り上げる。 連続値関数に対する有限深度事前学習型変圧器を用いて、普遍性と制限のレンズからの即時チューニングを解析する。 この結果は、リプシッツ関数の集合における任意の列列列関数を近似するプロンプトを持つ強変換器の存在を保証する。
  論文  参考訳（メタデータ） (2023-05-30T06:47:07Z)
• PIP: Parse-Instructed Prefix for Syntactically Controlled Paraphrase Generation [61.05254852400895]
  Parse-Instructed Prefix (PIP) は、大規模な事前学習言語モデルをチューニングするためのプレフィックスチューニングの新しい適応である。 このタスクの従来の微調整手法とは対照的に、PIPは学習可能なパラメータの10倍少ない計算効率の代替手段である。
  論文  参考訳（メタデータ） (2023-05-26T07:42:38Z)
• Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning [32.84435258519842]
  ゲート機構により,粒度の細かいトークンレベルと粗い層レベルの両方でプレフィックスを調整できる適応型プリフィックスチューニング(APT)を提案する。 SuperGLUEとNERデータセットの実験は、APTの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-24T14:51:01Z)
• Prefix Propagation: Parameter-Efficient Tuning for Long Sequences [35.15831629770172]
  従来の隠蔽状態に対してプレフィックスを条件づける,単純かつ効果的な手法であるプレフィックスプロパゲーションを提案する。 我々は,長期文書作成作業におけるプレフィックス・プロパゲーションがプレフィックス・チューニングより優れていることを実証的に示す。 我々の知る限りでは、この研究は長文言語タスクのためのパラメータ効率の学習に最初に焦点をあてるものである。
  論文  参考訳（メタデータ） (2023-05-20T04:07:06Z)
• Empowering parameter-efficient transfer learning by recognizing the kernel structure in self-attention [53.72897232951918]
  本稿では,カーネル構造を自己アテンションに利用して,可変パラメータの割り当てを誘導するアダプタを提案する。 提案するアダプタは,既存のベースラインの性能向上や性能向上を図っている。
  論文  参考訳（メタデータ） (2022-05-07T20:52:54Z)
• On Robust Prefix-Tuning for Text Classification [16.08753509741376]
  本稿では,プレフィックスチューニングの効率性とモジュール性を維持する頑健なプレフィックスチューニングフレームワークを提案する。 我々のフレームワークは、異なるタイプの5つのテキスト攻撃に対して、いくつかの強いベースラインに対するロバスト性を大幅に改善する。
  論文  参考訳（メタデータ） (2022-03-19T18:52:47Z)
• Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
  微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。 自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。 パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-01-01T08:00:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。