論文の概要: Towards Infinite-Long Prefix in Transformer

• arxiv url: http://arxiv.org/abs/2406.14036v2
• Date: Wed, 16 Oct 2024 06:33:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:40:17.108089
• Title: Towards Infinite-Long Prefix in Transformer
• Title（参考訳）: 変圧器の無限長プリフィックスに向けて
• Authors: Yingyu Liang, Zhenmei Shi, Zhao Song, Chiwun Yang,
• Abstract要約: 本研究では,全パラメータの微調整性能に適合するプロンプト法と文脈に基づく微調整法について検討する。 無限長のプレフィックスではなく、トレーニング可能なパラメータをいくつか導入し、微調整するだけでよいアルゴリズムを実装している。 提案手法は, フルパラメータ細調整, P-Tuning V2, LoRA などの既存手法と比較して, 優れた性能, 競争性を実現している。
• 参考スコア（独自算出の注目度）: 18.24137806007111
• License:
• Abstract: Prompting and context-based fine-tuning methods, which we call Prefix Learning, have been proposed to enhance the performance of language models on various downstream tasks. They are empirically efficient and effective, matching the performance of full parameter fine-tuning, but the theoretical understandings are limited. In this paper, we aim to address this limitation by studying their ability from the perspective of prefix length. In particular, we provide a convergence guarantee for training an ultra-long prefix in a stylized setting using the Neural Tangent Kernel (NTK) framework. Based on this strong theoretical guarantee, we design and implement an algorithm that only needs to introduce and fine-tune a few extra trainable parameters instead of an infinite-long prefix in each layer of a transformer, and can approximate the prefix attention to a guaranteed polynomial-small error. Preliminary experimental results on vision, natural language, and math data show that our method achieves superior or competitive performance compared to existing methods like full parameters fine-tuning, P-Tuning V2, and LoRA. This demonstrates our method is promising for parameter-efficient fine-tuning. Our code can be found at \url{https://github.com/ChristianYang37/chiwun/tree/main/src/NTK-Attention}.
• Abstract（参考訳）: 様々な下流タスクにおける言語モデルの性能向上を目的として,プレフィックスラーニング(Prefix Learning)と呼ばれるプロンプティングおよび文脈に基づく微調整手法が提案されている。 これらは経験的に効率的で効果的であり、完全なパラメータの微調整の性能と一致するが、理論的な理解は限られている。 本稿では,プレフィックス長の観点から,この制限に対処することを目的としている。 特に、ニューラルタンジェントカーネル(NTK)フレームワークを用いて、スタイリングされた環境で超長いプレフィックスをトレーニングするための収束保証を提供する。 この強力な理論的保証に基づいて、変換器の各層に無限長のプレフィックスではなく、いくつかの訓練可能なパラメータを導入・微調整するだけで、プレフィックスの注意を保証された多項式小誤差に近似できるアルゴリズムを設計・実装する。 視覚,自然言語,数学データに関する予備的な実験結果から,本手法は全パラメータ細調整,P-Tuning V2,LoRAなどの既存手法と比較して,優れた,あるいは競争的な性能を発揮することが示された。 これにより,パラメータ効率の良い微調整が期待できることを示す。 我々のコードは \url{https://github.com/ChristianYang37/chiwun/tree/main/src/NTK-Attention} にある。

関連論文リスト

• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Universality and Limitations of Prompt Tuning [65.8354898840308]
  トランスフォーマーアーキテクチャにおけるソフトプロンプトチューニングの役割を理解するための最初のステップの1つを取り上げる。 連続値関数に対する有限深度事前学習型変圧器を用いて、普遍性と制限のレンズからの即時チューニングを解析する。 この結果は、リプシッツ関数の集合における任意の列列列関数を近似するプロンプトを持つ強変換器の存在を保証する。
  論文  参考訳（メタデータ） (2023-05-30T06:47:07Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning [32.84435258519842]
  ゲート機構により,粒度の細かいトークンレベルと粗い層レベルの両方でプレフィックスを調整できる適応型プリフィックスチューニング(APT)を提案する。 SuperGLUEとNERデータセットの実験は、APTの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-24T14:51:01Z)
• Prefix Propagation: Parameter-Efficient Tuning for Long Sequences [35.15831629770172]
  従来の隠蔽状態に対してプレフィックスを条件づける,単純かつ効果的な手法であるプレフィックスプロパゲーションを提案する。 我々は,長期文書作成作業におけるプレフィックス・プロパゲーションがプレフィックス・チューニングより優れていることを実証的に示す。 我々の知る限りでは、この研究は長文言語タスクのためのパラメータ効率の学習に最初に焦点をあてるものである。
  論文  参考訳（メタデータ） (2023-05-20T04:07:06Z)
• Inducer-tuning: Connecting Prefix-tuning and Adapter-tuning [53.72897232951918]
  インデューサチューニングはプレフィックスチューニングとファインチューニングのパフォーマンスギャップを埋めることができることを示す。 そこで本研究では,アクセプションチューニングにおける残形を活用しつつ,プレフィックスチューニングとして正確なメカニズムを共有する,新しいプレフィックスチューニング-textitinducer-tuningを提案する。
  論文  参考訳（メタデータ） (2022-10-26T04:39:42Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
  微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。 自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。 パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-01-01T08:00:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。